Um relatório recente enfatiza a dificuldade em medir com precisão a segurança de sistemas de Inteligência Artificial (IA). O argumento central é que os benchmarks existentes falham em capturar as complexidades da segurança de IA, especialmente as propriedades sistêmicas emergentes. ### O Problema com os Benchmarks O relatório, linkado [aqui](https://berryvilleiml.com/docs/no-security-meter-ai.pdf), questiona a eficácia de simplesmente maximizar benchmarks de segurança e privacidade para garantir a segurança de IA. Ele afirma que esses benchmarks não refletem com precisão as verdadeiras capacidades de IA, especialmente ao considerar propriedades emergentes como a segurança. ### Lições da Segurança de Software Traçando paralelos com a segurança de software, o relatório observa a evolução de testes de penetração de caixa preta para análise de código de caixa branca, análise de risco arquitetural e padrões orientados a processos como o Building Security In Maturity Model (**BSIMM**). Dado o impacto potencialmente maior da IA em comparação com o software, o relatório sugere que abordagens de medição semelhantes podem ser aplicáveis. ### Um Chamado à Vigilância O relatório defende o progresso prático na segurança de IA por meio de melhor gerenciamento de dados e gerenciamento de riscos, implementando processos robustos de garantia. No entanto, ele adverte que um "medidor de segurança" definitivo para IA permanece elusivo, necessitando de vigilância intensificada nas práticas de segurança de IA.