2024년 1월 25일부터 3월 27일까지 약 두 달 동안 국제 멀티미디어 학술대회 (ICME, International Conference on Multimedia and Expo)에서 립리딩 챌린지 'ChatCLR Challenge'가 개최되었습니다.

https://mispchallenge.github.io/ICME2024/index.html

지능정보처리연구실팀(박정균,김연진,백재은 석사과정)은 본 대회의 'Task 2: Target Speaker Lipreading' 부분에서 우수한 성적으로 최종 3위를 차지하였습니다.

ChatCLR 챌린지는 일상적인 대화를 포함한 실세계 다중 화자 시나리오에서 원거리 촬영된 영상을 바탕으로, 시각 정보만을 활용하여 립리딩 인식을 수행하는 대회입니다. 'Task2: Target Speaker Lipreading'은 특정 화자의 립리딩 인식률을 향상시키는 것을 목표로 하며, 참가자들은 특정 화자에 모델을 최적화하여 성능을 개선해야 합니다. 이번 대회에서 대회에서는 2-6명의 화자가 중국어로 발화하는 영상이 제공되었습니다.

연구팀은 원거리 촬영된 영상에 적합한 학습 데이터 증강 방법을 개발하고, 중국어 인식률을 향상하기 위해 사전 학습 모델 기반 cross-lingual 학습 전략을 적용함으로써 뛰어난 결과를 달성하였습니다.