IA identifica palavras por leitura labial e bate recorde de precisão
Publicado em · Atualizado em

Destaques
- Pesquisadores do KAIST desenvolveram IA que lê lábios em vídeos sem áudio.
- Sistema DLLM-VSR alcançou taxa de erro de 19,4% em testes, superando métodos anteriores.
- Tecnologia pode aprimorar acessibilidade e comunicação em ambientes ruidosos, mas ainda precisa de ajustes para uso em tempo real e levanta questões de privacidade.
Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram uma inteligência artificial, batizada de DLLM-VSR, capaz de identificar palavras a partir dos movimentos dos lábios em vídeos sem áudio. O sistema alcançou um novo recorde de precisão em testes de leitura labial por IA, embora ainda esteja em fase de desenvolvimento e não tenha chegado ao público ou ao mercado.
O principal desafio para ferramentas desse tipo é diferenciar palavras com movimentos labiais semelhantes, como "p", "b" e "m". Para superar essa limitação, o DLLM-VSR utiliza um modelo de linguagem baseado em difusão (DLLM). Diferente das IAs tradicionais, que interpretam palavras sequencialmente, o DLLM-VSR identifica primeiro os termos com maior confiança e usa essas palavras como referência para preencher lacunas com informações de partes anteriores e posteriores da frase.
Novo recorde de precisão
Nos testes realizados, o DLLM-VSR registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, com treinamento baseado em 433 horas de vídeos rotulados. Este resultado representa o melhor desempenho registrado entre os métodos treinados com o mesmo conjunto de dados. A métrica WER contabiliza palavras reconhecidas incorretamente, omitidas ou adicionadas durante a transcrição, mas não indica a porcentagem de conversas completas compreendidas corretamente.
Aplicações e desafios
A leitura labial automatizada tem potencial para criar novos recursos de acessibilidade para pessoas surdas ou com deficiência auditiva, permitindo a conversão de conversas em texto a partir de imagens, mesmo sem áudio.
A tecnologia também pode ser útil em ambientes industriais e situações cotidianas com alto ruído, como restaurantes ou locais com música alta, onde a comunicação por voz é prejudicada.
No entanto, o DLLM-VSR ainda necessita de ajustes para reduzir o consumo de processamento e funcionar em tempo real, sem conexão com a internet, em dispositivos como robôs e vestíveis. A precisão pode variar conforme os dados de teste. Além disso, a capacidade de interpretar conversas a partir de gravações de vídeo sem áudio levanta preocupações legítimas sobre a privacidade.


