La Recherche dans nos labos - COMPENSATION DE LA LATENCE GLASS-TO-GLASS VIA EXTRAPOLATION DU FLUX VIDÉO

Dans le cadre du projet de recherche ANR ZL-LVC¹ , ses chercheurs étudient des techniques innovantes afin de réduire la latence glass-to-glass (G2G) qui représente la durée de la chaîne de diffusion vidéo de bout-en-bout, depuis l’instant où la scène est capturée par la caméra jusqu’à sa restitution finale sur l’écran de l’usager. Dans le cas d’une application de télé-conduite, tous les éléments de cette chaîne ajoutent un certain délai au retour d'information pour le télépilote. La latence G2G peut alors avoir des effets désastreux sur l’interaction avec le véhicule en mouvement, équipé d’une caméra. Par conséquent, la réduction du délai G2G est essentielle pour de telles applications de télé-conduite ou de télé-présence, afin de garantir une interaction en temps réel avec une qualité d’expérience satisfaisante. Plusieurs solutions permettent de réduire chaque source de latence. Pour réduire le délai d’acquisition, on utilise traditionnellement des caméras analogiques, car elles offrent une faible latence à cause de l’absence de mise en mémoire tampon et de traitement des données.

Dans le codage vidéo, certaines configurations permettent de diminuer la latence du codage en évitant le délai de réorganisation des images. L’approche la plus courante consiste à réduire le débit vidéo pour diminuer la quantité de données transmises par image, et par conséquent, la latence. Toutefois, la réduction de la latence s’accompagne dans ce cas d’une dégradation de la qualité de la vidéo reconstruite. En effet, la réduction du débit cause de forts artefacts de codage. Le projet ZL-LVC propose une autre approche originale basée sur l’extrapolation d’images vidéo pour réduire le délai G2G. L’extrapolation vidéo exploite les techniques d’apprentissage profond en extrayant des caractéristiques profondes des images déjà acquises pour prédire les images futures. Si l’horizon d’extrapolation est judicieusement choisi, l’image extrapolée peut être transmise avant l’image acquise puis affichée par le destinataire, ce qui entraîne une réduction drastique de la latence G2G.

¹ Site web du projet ANR ZL-LVC : https://www.iemn.fr/les-collaborations/projets-collaboratifs/anr-zl-lvc - https://zllvc.wp.imt.fr/ 

Les chercheurs de l’IEMN ont étudié le compromis qualité-latence en comparant les deux méthodes de compensation de la latence G2G  : la méthode classique par réduction du débit d’encodage, et la nouvelle méthode par extrapolation d’images. Ils ont montré que l’extrapolation vidéo est plus performante que la réduction du débit en termes de compensation de latence et peut atteindre une latence G2G nulle avec un niveau de qualité vidéo satisfaisant, notamment lors de la transmission de contenus à faible information temporelle. Néanmoins, la réduction du délai d’extrapolation est une étape nécessaire lorsque des canaux de transmission de faible capacité sont considérés.

Actuellement, l’extrapolation est une technique prometteuse, mais elle est encore dans sa phase initiale concernant la qualité des images et le délai d’extrapolation. Les études en cours au sein du laboratoire visent à proposer des mécanismes adaptatifs tenant compte de la variabilité des paramètres de la chaine de diffusion vidéo (capacité du canal, débit d’encodage, etc.) afin de proposer le meilleur compromis qualité-latence pour les différents cas d’usage visés.