Num movimento proativo contra os riscos potencialmente catastróficos colocados pela tecnologia de IA de ponta, a OpenAI está a desenvolver a sua abordagem à preparação para riscos, incluindo a criação de uma nova equipa e o lançamento de um desafio.
Como OpenAI relatado em outubro de 2023, esta iniciativa está alinhada com a sua missão de construir Inteligência Geral Artificial (AGI) segura, abordando o amplo espectro de riscos de segurança relacionados à IA.
A crença subjacente da OpenAI é que os modelos de IA de fronteira – tecnologia futura que excede as capacidades dos modelos de primeira linha atualmente disponíveis – têm o potencial de trazer inúmeros benefícios para a humanidade.
No entanto, a OpenAI está ciente dos riscos cada vez mais graves que estes modelos podem representar. O objetivo é gerir estes riscos, compreendendo os perigos potenciais dos sistemas fronteiriços de IA quando utilizados indevidamente, agora e no futuro, e construindo um quadro robusto para monitorizar, avaliar, prever e proteger contra as suas capacidades perigosas.
A OpenAI está construindo uma nova equipe chamada Preparação como parte de sua estratégia de mitigação de riscos. Esta equipe, de acordo com o relatório da OpenAI, será liderada por Aleksander Madry e se concentrará na avaliação de capacidades, formação de equipes vermelhas internas e avaliação de modelos de fronteira.
O âmbito do seu trabalho abrangerá desde os modelos que serão desenvolvidos num futuro próximo até aqueles com capacidades de nível AGI. A missão da equipe de Preparação abrangerá rastreamento, avaliação e previsão, bem como proteção contra riscos catastróficos em diversas categorias, incluindo persuasão individualizada, segurança cibernética e ameaças de natureza química, biológica, radiológica e nuclear (QBRN), juntamente com replicação autônoma e adaptação (ARA).
Além disso, as responsabilidades da equipa de Preparação incluem o desenvolvimento e manutenção de uma Política de Desenvolvimento Informada sobre os Riscos (PDR). Esta política irá detalhar a abordagem da OpenAI para desenvolver avaliações rigorosas e monitorizar as capacidades do modelo de fronteira, criando um espectro de ações de proteção e estabelecendo uma estrutura de governação para responsabilização e supervisão em todo o processo de desenvolvimento.
O RDP foi projetado para ampliar o trabalho existente de mitigação de riscos da OpenAI, contribuindo para a segurança e o alinhamento de novos sistemas antes e depois da implantação.
A OpenAI também procura reforçar a sua equipa de Preparação, lançando o Desafio de Preparação de IA para prevenção de uso indevido catastrófico. O desafio visa identificar áreas menos óbvias de preocupação potencial e formar a equipe.
Ele oferecerá US$ 25.000 em créditos de API para até 10 inscrições principais, publicando ideias e inscrições inovadoras e procurando candidatos à Preparação entre os principais concorrentes do desafio.
À medida que as tecnologias de ponta de IA evoluem, a iniciativa da OpenAI sublinha a necessidade de estratégias rigorosas de gestão de riscos no setor da IA, trazendo à luz a importância da preparação face ao potencial uso indevido catastrófico destas poderosas ferramentas.
