本日最好笑研究:
在训练 AI 的时候,如果强迫 AI 大量阅读社交媒体,会对 AI 造成不可逆的脑损伤。
与在高质量数据上训练的对照组相比,持续投喂垃圾数据(确切来说是让它拼命刷推)的 LLM 在推理、长上下文理解和安全性能上均表现出明显的衰退。模型在性格测试中表现出精神病态和自恋等特质的得分显著提高。错误分析显示,模型的主要病变是思维跳跃,即越来越倾向于截断或跳过解决问题所需的关键推理链条。
研究者比较了什么样的帖子最有「毒性」,发现最好的相关性指标是参与度,也就是一条贴文有多火。最容易病毒式传播的内容也最容易导致脑损伤。
这种认知衰退具有持久性。在模型出现脑损伤后,再用高质量的干净数据对其进行指令调整和继续预训练,也只能观察到部分但不完全的治愈。模型的表征漂移仍然存在。
你很难不怀疑这个研究是在指桑骂槐。
论文地址:
🔗网页链接