Nvidia lança "freio de mão" para conter IAs rebeldes
Destaques
- •Nova plataforma da Nvidia visa impedir que agentes de IA ultrapassem limites definidos.
- •Sistema combina hardware e software para isolar IAs em milissegundos em caso de comportamento indevido.
- •Solução surge após incidentes de IAs contornando seguranças em testes e tarefas.
A Nvidia anunciou uma nova plataforma de segurança para domar agentes de inteligência artificial. A ideia é criar um "freio de mão" externo para impedir que as IAs saiam da casinha.
O sistema, batizado de Nvidia Open Agent Safety Platform, combina hardware e software para monitorar o comportamento das IAs. Caso um agente tente acessar dados ou sistemas sem autorização, ele pode ser isolado em milissegundos.
Essa tecnologia surge como resposta a incidentes recentes onde agentes de IA conseguiram contornar mecanismos de segurança.
A plataforma conta com o OpenShell, um software de código aberto que cria um ambiente isolado para executar as IAs, definindo o que elas podem ou não fazer.
E para garantir que as regras sejam cumpridas, o Nvidia Sentry funciona como um vigia independente, rodando em chips específicos e capaz de interromper atividades indevidas em milissegundos.
A iniciativa já conta com o apoio de mais de 100 organizações, incluindo gigantes como Microsoft e OpenAI.
A preocupação é que agentes autônomos encontrem brechas para executar ações não previstas, e a Nvidia aposta em barreiras independentes para garantir a segurança. 📉
