A seguir, é apresentado um post e opinião de Samuel Pearton, CMO em Polyedra.
A confiabilidade continua sendo uma miragem no reino em constante expansão dos modelos de IA, afetando o mainstream Ai adoção em setores críticos como saúde e finanças. As auditorias do modelo de IA são essenciais para restaurar a confiabilidade no setor de IA, ajudando reguladores, desenvolvedores e usuários a melhorar a responsabilidade e a conformidade.
Mas as auditorias do modelo de IA podem não ser confiáveis, pois os auditores precisam revisar independentemente os estágios de pré-processamento (treinamento), processamento (inferência) e pós-processamento (implantação de modelos). Uma abordagem de ‘confiança, mas verificar’ melhora a confiabilidade nos processos de auditoria e ajuda a sociedade a reconstruir a confiança na IA.
Os sistemas de auditoria de modelo de IA tradicionais não são confiáveis
As auditorias do modelo de IA são úteis para entender como um sistema de IA funciona, seu impacto potencial e o fornecimento de relatórios baseados em evidências para as partes interessadas do setor.
Por exemplo, as empresas usam relatórios de auditoria para adquirir modelos de IA baseados em due diligence, avaliação e benefícios comparativos entre diferentes modelos de fornecedores. Esses relatórios garantem que os desenvolvedores tomem as precauções necessárias em todas as etapas e que o modelo esteja em conformidade com as estruturas regulatórias existentes.
Mas as auditorias do modelo de IA são propensas a problemas de confiabilidade devido ao seu funcionamento processual inerente e desafios de recursos humanos.
De acordo com o AIA AUTIVO DO CONSELHO DE PROTEÇÃO DE PROTEÇÃO DE PROTEÇÃO DE DADOS EUROPEIROS (EDPB) Lista de verificaçãoauditorias de um “Implementação do controlador do princípio da responsabilidade” e “Inspeção/investigação realizada por uma autoridade de supervisão” Pode ser diferente, criando confusão entre as agências de execução.
A lista de verificação da EDPB abrange mecanismos de implementação, verificação de dados e impacto nos assuntos por meio de auditorias algorítmicas. Mas o relatório também reconhece que as auditorias são baseadas em sistemas existentes e não questionam “Se um sistema deve existir em primeiro lugar.”
Além desses problemas estruturais, as equipes de auditor exigem conhecimento de domínio atualizado sobre ciências dos dados e aprendizado de máquina. Eles também requerem dados completos de treinamento, teste e amostragem de produção espalhados por vários sistemas, criando fluxos de trabalho e interdependências complexos.
Qualquer lacuna de conhecimento ou erro entre os membros da equipe de coordenação pode levar a um efeito em cascata e invalidar todo o processo de auditoria. À medida que os modelos de IA se tornam mais complexos, os auditores terão responsabilidades adicionais para verificar e validar de forma independente relatórios antes da conformidade agregada e verificações corretivas.
O progresso da indústria de IA está superando rapidamente a capacidade e a capacidade dos auditores de conduzir análises forenses e avaliar os modelos de IA. Isso deixa um vazio nos métodos de auditoria, conjuntos de habilidades e aplicação regulatória, aprofundando a crise de confiança nas auditorias do modelo de IA.
A tarefa principal de um auditor é aumentar a transparência, avaliando riscos, governança e processos subjacentes dos modelos de IA. Quando os auditores não têm conhecimento e ferramentas para avaliar a IA e sua implementação nos ambientes organizacionais, a confiança do usuário é corroída.
Um relatório da Deloitte contornos As três linhas de defesa da IA. Na primeira linha, os proprietários de modelos e a gerência têm a principal responsabilidade de gerenciar riscos. Isto é seguido pela segunda linha, onde os funcionários de políticas oferecem a supervisão necessária para a mitigação de riscos.
A terceira linha de defesa é a mais importante, onde os auditores avaliam a primeira e a segunda linhas para avaliar a eficácia operacional. Posteriormente, os auditores enviam um relatório ao Conselho de Administração, coletando dados sobre as melhores práticas e conformidade do modelo de IA.
Para aumentar a confiabilidade nas auditorias do modelo de IA, as pessoas e a tecnologia subjacente devem adotar uma filosofia de ‘confiança, mas verificar’ durante os procedimentos de auditoria.
Uma abordagem de ‘confiança, mas verifique’ para as auditorias do modelo de IA
‘Confiança, mas verificar’ é um provérbio russo que o presidente dos EUA, Ronald Reagan, popularizou durante o Tratado de Armas Nucleares da União dos Estados Unidos. Reagan’s posição de “Procedimentos extensos de verificação que permitiriam aos dois lados monitorar a conformidade” é benéfico para restabelecer a confiabilidade em auditorias do modelo de IA.
Em um sistema de ‘confiança, mas verificar’, as auditorias do modelo de IA requerem avaliação e verificação contínuas antes de confiar nos resultados da auditoria. De fato, isso significa que não existe uma auditoria de um modelo de IA, preparando um relatório e assumindo que ele esteja correto.
Portanto, apesar dos rigorosos procedimentos de verificação e mecanismos de validação de todos os componentes -chave, uma auditoria do modelo de IA nunca é segura. Em um artigo de pesquisa, o engenheiro da Penn State Phil Laplante e o membro da Divisão de Segurança de Computadores da NIST, Rick Kuhn chamado este é o ‘Confie, mas verifique continuamente’ Arquitetura da AI.
A necessidade de avaliação constante e garantia contínua de IA, alavancando a infraestrutura ‘Trust, mas verifique continuamente’ é fundamental para as auditorias do modelo de IA. Por exemplo, os modelos de IA geralmente exigem re-audição e reavaliação pós-evento, uma vez que a missão ou contexto de um sistema pode mudar ao longo de sua vida útil.
Um método de ‘confiança, mas verificar’ durante as auditorias ajuda a determinar a degradação do desempenho do modelo por meio de novas técnicas de detecção de falhas. As equipes de auditoria podem implantar estratégias de teste e mitigação com monitoramento contínuo, capacitando auditores a implementar algoritmos robustos e instalações de monitoramento aprimoradas.
Por Laplante e Kuhn, “O monitoramento contínuo do sistema de IA é uma parte importante do modelo de processo de garantia pós-implantação”. Esse monitoramento é possível através de auditorias automáticas de IA, onde testes de autodiagnóstico rotineiros são incorporados ao sistema de IA.
Como o diagnóstico interno pode ter problemas de confiança, um elevador de confiança com uma mistura de sistemas humanos e de máquinas pode monitorar a IA. Esses sistemas oferecem auditorias de IA mais fortes, facilitando a análise de gravação post-mortem e preta para verificação retrospectiva de resultados baseados em contexto.
O papel principal de um auditor é árbitro e impedir que os modelos de IA cruzem os limites de confiança. Uma abordagem de ‘confiança, mas verificar’ permite que os membros da equipe de auditoria verifiquem explicitamente a confiabilidade em cada etapa. Isso resolve a falta de confiabilidade nas auditorias do modelo de IA, restaurando a confiança nos sistemas de IA por meio de um escrutínio rigoroso e a tomada de decisão transparente.
