Tecnologia & NegóciosRelevância BR: 2/10

IA identifica palavras por leitura labial e bate recorde de precisão

Publicado em Atualizado em

IA identifica palavras por leitura labial e bate recorde de precisão

Destaques

  • Pesquisadores do KAIST desenvolveram IA que lê lábios em vídeos sem áudio.
  • Sistema DLLM-VSR alcançou taxa de erro de 19,4% em testes, superando métodos anteriores.
  • Tecnologia pode aprimorar acessibilidade e comunicação em ambientes ruidosos, mas ainda precisa de ajustes para uso em tempo real e levanta questões de privacidade.

Pesquisadores do Instituto Avançado de Ciência e Tecnologia da Coreia (KAIST) desenvolveram uma inteligência artificial, batizada de DLLM-VSR, capaz de identificar palavras a partir dos movimentos dos lábios em vídeos sem áudio. O sistema alcançou um novo recorde de precisão em testes de leitura labial por IA, embora ainda esteja em fase de desenvolvimento e não tenha chegado ao público ou ao mercado.

O principal desafio para ferramentas desse tipo é diferenciar palavras com movimentos labiais semelhantes, como "p", "b" e "m". Para superar essa limitação, o DLLM-VSR utiliza um modelo de linguagem baseado em difusão (DLLM). Diferente das IAs tradicionais, que interpretam palavras sequencialmente, o DLLM-VSR identifica primeiro os termos com maior confiança e usa essas palavras como referência para preencher lacunas com informações de partes anteriores e posteriores da frase.

Novo recorde de precisão

Nos testes realizados, o DLLM-VSR registrou uma taxa de erro de palavras (WER) de 19,4% no benchmark LRS3, com treinamento baseado em 433 horas de vídeos rotulados. Este resultado representa o melhor desempenho registrado entre os métodos treinados com o mesmo conjunto de dados. A métrica WER contabiliza palavras reconhecidas incorretamente, omitidas ou adicionadas durante a transcrição, mas não indica a porcentagem de conversas completas compreendidas corretamente.

Aplicações e desafios

A leitura labial automatizada tem potencial para criar novos recursos de acessibilidade para pessoas surdas ou com deficiência auditiva, permitindo a conversão de conversas em texto a partir de imagens, mesmo sem áudio.

A tecnologia também pode ser útil em ambientes industriais e situações cotidianas com alto ruído, como restaurantes ou locais com música alta, onde a comunicação por voz é prejudicada.

No entanto, o DLLM-VSR ainda necessita de ajustes para reduzir o consumo de processamento e funcionar em tempo real, sem conexão com a internet, em dispositivos como robôs e vestíveis. A precisão pode variar conforme os dados de teste. Além disso, a capacidade de interpretar conversas a partir de gravações de vídeo sem áudio levanta preocupações legítimas sobre a privacidade.

  1. Pix completa 6 anos com expansão para crédito e pagamentos internacionais
  2. Microsoft detalha falha tripla que causou apagão global de Outlook e Teams
  3. EUA restringe exportação de chips de IA para Brasil e outros países
  4. Foguete Vulcan da ULA falha e destrói 40 satélites da Amazon Leo
  5. Jensen Huang: Aliados pressionam conselho da Nvidia por retorno ao cargo de CEO
  6. GTA 6: Rockstar Games prepara lançamento bilionário em mercado desafiador

Receba as Melhores Notícias

Assine nossa newsletter e receba diariamente as notícias mais relevantes, sem viés político.

Edição matinal diária às 07:00 • 7 minutos de leitura • Gratuita.

Notícias Relacionadas