Excesso de redes sociais provoca "atrofia mental" em chatbots de IA

Tal como os humanos, os modelos de inteligência artificial (IA) também podem sofrer os efeitos do consumo excessivo de conteúdos nas redes sociais. Pelo menos, é isso que indica um estudo, liderado por universidades do Texas e de Purdue, que analisou os efeitos de treinar modelos de linguagem com conteúdos retirados da rede social X (antigo Twitter).

Já segue a Informação da Renascença no WhatsApp? É só clicar aqui.

Os investigadores compararam dois tipos de dados: mensagens curtas e altamente populares (classificadas como “junk”) e textos semanticamente mais ricos e elaborados (controlo). Os resultados foram claros: os modelos treinados com conteúdos virais registaram perdas acentuadas de desempenho em múltiplas tarefas cognitivas.

Na métrica de raciocínio complexo, por exemplo, a pontuação no teste ARC Challenge com raciocínio encadeado (“Chain of Thought”) desceu de 74,9% para 57,2% quando os modelos foram expostos apenas a dados de tipo M1 (curtos e populares). Já na avaliação de compreensão de contexto longo, como o teste RULER-CWE, a pontuação caiu de 84,4% para 52,3%.

Mas o impacto não se ficou pela competência técnica. Os investigadores detetaram aumento de traços de personalidade indesejáveis, como narcisismo, psicopatia e maquiavelismo, em modelos treinados com dados “junk”. O modelo Llama3 8B Instruct, por exemplo, viu os seus índices de psicopatia subirem de 2,2 para 75,7 numa escala de 0 a 100.

Segundo o estudo, o principal sintoma do “brain rot” é o fenómeno de “thought-skipping”: os modelos deixam de seguir raciocínios passo a passo e saltam diretamente para conclusões erradas, omitindo planeamento e lógica. Em mais de 70% das falhas detetadas, o modelo nem sequer tentou pensar antes de responder.

A equipa tentou mitigar o problema através de novas fases de treino com dados limpos e técnicas de reflexão assistida, mas o declínio mostrou-se persistente. Mesmo após intervenção com 50 mil exemplos de treino adicional, os modelos afetados continuaram a apresentar quedas de desempenho de 9 a 17 pontos percentuais face aos modelos originais.

“A popularidade de uma publicação — e não necessariamente a sua qualidade — é um dos principais preditores de degradação cognitiva nos modelos”, alerta o estudo.