Chatbots falham em notícias: estudo aponta 45% de erros graves

Assistentes de Inteligência Artificial (IA) distorcem o conteúdo de notícias de forma rotineira, aponta uma nova pesquisa realizada pela European Broadcasting Union (EBU) e a BBC. Ao serem utilizados como fonte de informação, os chatbots apresentam, em média, pelo menos um problema significativo em 45% das vezes, abrangendo precisão, atribuição de fontes e outros critérios. Um total de 81% das respostas dos robôs mostrou alguma falha.

O estudo, divulgado recentemente, envolveu 22 organizações de mídia pública de 18 países e cobriu 14 idiomas. Os pesquisadores submeteram cerca de 30 perguntas aos serviços de IA, incluindo ChatGPT, Copilot, Gemini e Perplexity, solicitando que utilizassem veículos de mídia como fontes. As questões abordavam temas atuais e relevantes.

Jornalistas avaliaram cada resposta com base em cinco critérios: precisão, uso de fontes, diferenciação entre opinião e fato, editorialização e contexto. Foram analisadas 2.709 respostas.

Os resultados revelaram que 20% das respostas continham problemas graves de precisão, incluindo ‘alucinações’ dos robôs ou informações desatualizadas. Além disso, 31% apresentaram falhas sérias no emprego de fontes, como informações não sustentadas pelos veículos citados, Falta de atribuição ou uso de dados não verificáveis.

Erros Específicos em IA

Um exemplo notório ocorreu quando os sistemas foram questionados sobre um gesto interpretado como saudação nazista por Elon Musk. O Gemini utilizou um programa satírico da Radio France como fonte séria. Já o Copilot atribuiu, erroneamente, o suposto gesto à saída de Musk do Governo americano meses depois, citando um veículo alemão que nunca publicou tal informação.

O chatbot do Google, Gemini, apresentou o pior desempenho, com 76% das respostas contendo problemas significativos, especialmente no uso de fontes, o que é mais que o dobro dos outros assistentes. Em seguida, vieram Copilot (37%), ChatGPT (36%) e Perplexity (30%).

IA como Fonte de Notícias: Crescimento e Riscos

Esses dados alertam para o crescente uso de serviços de IA como fonte de informação. Um relatório do Instituto Reuters indicou que 7% dos consumidores digitais de notícias recorrem a assistentes de Inteligência Artificial para se informar, número que sobe para 15% entre jovens de até 25 anos.

Os chatbots demonstram dificuldade em lidar com notícias de rápida atualização ou com linhas do tempo complexas. Exemplos de falhas ocorreram em questões sobre a guerra comercial de Donald Trump e o terremoto em Myanmar.

Interessantemente, apenas 0,5% dos casos viram os chatbots recusarem-se a responder, indicando uma propensão a fornecer informações mesmo sem a capacidade de fazê-lo com qualidade. Comparado a uma pesquisa anterior da BBC, houve uma melhora: problemas significativos caíram de 51% para 37%.

Fonte: Folha de S.Paulo