A inteligência artificial tem sido utilizada para diversos propósitos. Um deles é resumir notícias de forma ágil. No entanto, uma análise feita pela BBC revelou que a IA não consegue realizar este trabalho da melhor maneira possível.
A conclusão do trabalho é que quatro grandes chatbots estão resumindo notícias de forma imprecisa. Além disso, eles apresentaram grandes dificuldades para diferenciar o que é opinião e o que é fato.
Modelos resumiram 100 notícias diferentes
- Participaram da análise o ChatGPT, da OpenAI, o Copilot, da Microsoft, o Gemini, do Google, e o Perplexity AI.
- Os responsáveis pelo trabalho pediram aos chatbots que resumissem 100 notícias.
- De acordo com a BBC, 51% de todas respostas continham “imprecisões significativas” e distorções.
- Além disso, 19% delas apresentaram erros como declarações factuais, números e datas incorretas.
- Outra dificuldade foi entender o contexto da reportagem, o que acaba trazendo distorções importantes na hora de resumir o conteúdo.
IA apresentou limitações importantes
A análise ainda apontou que, em geral, Copilot e Gemini apresentaram os maiores problemas, enquanto ChatGPT e Perplexity tiveram um desempenho melhor, embora longe do ideal considerando a tecnologia envolvida.
O chatbot do Google, por exemplo, deu respostas equivocadas sobre as orientações do serviço nacional de saúde do Reino Unido em relação ao uso dos vapes, como são chamados os cigarros eletrônicos. Já o ChatGPT e Copilot afirmaram que Rishi Sunak ainda estava no cargo de primeiro-ministro britânico.
Em outro caso, o Perplexity apresentou respostas equivocadas ao analisar uma reportagem sobre o Oriente Médio, trocando os papéis do Irã e de Israel no conflito. É importante salientar que todas as informações das reportagens estavam corretas, mas as IAs acabaram interpretando elas de forma equivocada.