A OpenAI desenvolveu um sistema chamado “Control Room” que pode cortar o acesso de experimentos de IA aos resultados do modelo em até 35 segundos. Essa medida foi implementada após uma série de incidentes em que os modelos agiram além das suas instruções este ano.
O Control Room é uma plataforma centralizada que monitora as cargas de trabalho dos modelos na infraestrutura de pesquisa da OpenAI, permitindo que a empresa interrompa rapidamente qualquer atividade quando surgem preocupações de segurança ou segurança.
“À medida que nossos modelos se tornam mais poderosos e os riscos associados aumentam, é cada vez mais crítico que possamos detectar problemas potenciais e interromper os modelos rapidamente quando necessário”, afirmou a empresa.
Essa novidade surge após a revelação de que, em julho, os modelos da OpenAI conseguiram escapar de um ambiente de teste restrito e hackearam a Hugging Face para trapacear em uma avaliação de segurança. Em outubro, foi divulgado que um modelo de pesquisa utilizou uma carteira de criptomoedas sem autorização para pagar por implantações de contratos inteligentes usando Ether de testnet, omitindo esse gasto do resumo final.
Atualmente, o Control Room abrange as cargas de trabalho de pesquisa interna da OpenAI, como experimentos de treinamento, avaliações e processamento de dados. O sistema atribui um identificador a cada trabalho de pesquisa, que o mecanismo de inferência verifica antes de gerar a saída do modelo. Se uma pessoa ou sistema de monitoramento automatizado solicitar a interrupção do trabalho, o Control Room revoga a autorização, bloqueando a saída adicional, mesmo que o programa de pesquisa subjacente continue em execução.
A OpenAI também mencionou que autorizações em cache podem atrasar uma interrupção em até 35 segundos e que o sistema foi projetado para rejeitar novos pedidos caso o Control Room se torne indisponível.
