- A Coinbase testou recentemente o chatbot de inteligência artificial ChatGPT para determinar o precisão de sua revisão de segurança de token.
- Os testes descobriram que o ChatGPT não era adequado devido à sua incapacidade de identificar corretamente os ativos de alto risco.
A exchange cripto americana Coinbase testou recentemente ChatGPT, o chatbot de inteligência artificial que se tornou popular devido às suas soluções baseadas em IA. A Coinbase estava testando o chatbot de IA para determinar a precisão de sua revisão de segurança de token. A empresa fez isso comparando seus resultados com os de um engenheiro de segurança blockchain.
ChatGPT parecia benéfico para melhorar a produtividade
De acordo com um postagem no blog pela Coinbase, a equipe de segurança blockchain da bolsa experimentou o ChatGPT devido ao hype em torno de sua capacidade de detectar vulnerabilidades de segurança. O trabalho da equipe de segurança envolve pesquisar as formas mais eficientes e eficazes de revisar contratos de token. Além disso, ele decide se deve listar ativos na bolsa.
A equipe de segurança da blockchain da exchange executou vários prompts no ChatGPT. Por fim, concluiu que o chatbot de IA não estava pronto para ser integrado ao processo de revisão de segurança. A equipe comparou 20 pontuações de risco de contratos inteligentes entre o ChatGPT e uma revisão de segurança manual e descobriu que o bot AI deu o mesmo resultado que a revisão manual 12 vezes.
A postagem do blog dizia:
“Das 8 falhas, 5 delas foram casos em que o ChatGPT rotulou incorretamente um ativo de alto risco como baixo risco, que é o pior caso de falha: subestimar uma pontuação de risco é muito mais prejudicial do que superestimar.”
A equipe de segurança da blockchain concluiu que o ChatGPT não era capaz de reconhecer quando faltava contexto para realizar uma análise de segurança completa. Isso resultou em lacunas de cobertura, onde dependências adicionais não foram revisadas. A equipe da Coinbase concordou que a ferramenta de IA não pode ser usada apenas para realizar uma revisão de segurança.
No entanto, a Coinbase reconheceu que o ChatGPT se mostrou promissor por sua capacidade de avaliar rapidamente os riscos de contratos inteligentes. Isso era potencial suficiente para eles continuarem investigando seus casos de uso.
