Indexation automatique de documents vidéo


Construction d'une hiérarchie dans les prises de vue

La découpe d'un document vidéo en une série de plans constitue la base d'une hiérarchie plus importante qui vise à regrouper plusieurs plans ensembles suivant divers critères, de façon à atteindre un niveau sémantique plus élevé pour la compréhension du document.
Ainsi un document vidéo quelconque se structure et se découpe tout d'abord en plans, eux-mêmes constituant des scènes (même unité de lieu par exemple, mais divers points de vue), puis des séquences (même unité de sujet), etc.

Prenons l'exemple du journal télévisé qui nous intéresse plus particulièrement. Il est primordial pour l'indexation d'être capable de regrouper les divers plans de façon à extraire chaque reportage comme étant une unité en soi, et au sein d'un même reportage (donc d'une même séquence pour reprendre la terminologie employée ci-dessus) d'extraire les diverses scènes et illustrations de ce reportage.

L'algorithme de détection de transitions permet, lorsqu'il est appliqué aux images clés de chaque prise de vue, d'établir des relations entre ces diverses prises de vue. La seule modification de l'algorithme consiste à choisir un seuil légèrement plus haut.

De même, il est intéressant, toujours dans un objectif d'indexation, de pouvoir établir si, au cours d'une prise de vue, la scène s'est modifiée ou non. Bien sûr l'estimation de mouvement peut dans ce cas apporter beaucoup d'informations. Mais un moyen simple d'avoir une idée rapide de la réponse à la question : "Y a-t'il eu des changements ?" est encore d'utiliser l'algorithme de détection de transitions toujours sur les images clés, mais seulement à l'intérieur d'une même séquence. Cette fois-ci la valeur de seuil est choisie intermédiaire aux deux seuils précédents (pour la détection de transitions et pour la détection des relations entre prises de vue).

Ces deux informations supplémentaires, relations entre prises de vue et changements internes à une prise de vue, sont illustrées pour une séquence d'interview d'un invité. Dans un premier temps, les images clés de cette séquence sont regroupées Fig.1 ; Fig.2 et Fig.3 proposent respectivement les résultats de la détection de changements dans une même prise de vue et les résultats de détection de relations pour ces prises de vue.

Fig.1 Images clés de la séquence interview d'invité - CopyrightA2/CMM/ENSMP. Back to top
Shot 0 1 2 3 4
Change yes no no no no
Fig.2 Résultats de la détection des changements dans une même prise de vue, séquence interview d'invité. Back to top
Relations
shot 0 - shot 3
shot 2 - shot 4
Fig.3 Résultats de la détection des relations entre prises de vue, séquence interview d'invité. Back to top


Le changement détecté dans la première prise de vue est bien entendu dû à la disparition de la bande de texte incrustée dans la première image.
D'autres résultats de détection de relations et de changements sont regroupés ici.
Toutes les images originales de cette page sont issues de journaux télévisés TF1, FR3, A2 ou M6 et par conséquent tombent sous leur copyright. Toutes les autres images ou photographies sont la propriété du CMM. Ces documents sont protégés par la législation sur les droits d'auteur et toute copie ou usage non autorisé sont strictement interdits.
Dernière mise à jour : 29 - 09 - 98
demarty@cmm.ensmp.fr