牛津大学博士后研究发现“大型语言模型对社会构成风险”

牛津大学博士后研究发现“大型语言模型对社会构成风险”，在牛津互联网研究所，监管和伦理方面的领先专家已经确定了LLM造成的一种新型伤害，他们认为这种伤害对民主社会构成了长期风险，需要通过为LLM提供者创造新的法律义务来解决。
在他们的新论文《大型语言模型有法律义务说实话吗？》中，牛津大学的研究人员阐述了LLM如何产生看似合理、有益和自信的回答，但包含事实不准确、误导性参考和有偏见的信息。他们将这种有问题的现象称为“粗心的言论”，他们认为这种现象会对科学、教育和社会造成长期伤害。
主要作者Sandra Wachter教授，牛津互联网学院技术与监管教授解释道：“LLM对科学、教育、民主和社会构成了当前法律框架没有预料到的独特风险。这就是我们所说的‘粗心言论’或缺乏对真相适当关注的言论。传播粗心言论会造成微妙的、非物质的伤害，随着时间的推移很难衡量。它会导致真相、知识和共同历史的侵蚀，并可能对医疗保健、金融、气候变化、媒体、法律职业和教育等细节和真相至关重要的领域的循证决策产生严重后果。在我们的新论文中，我们旨在通过分析建立一项新法律义务的可行性来解决这一差距，该义务要求LLM提供者创建人工智能模型，简而言之，这些模型将“说实话”

这种“粗心言语”的现象因人类反馈而进一步复杂化，人类反馈通常倾向于与个人偏见一致的输出，以及训练模型生成“自信的声音输出”的注释，以及与推进真实输出无关的其他因素。
牛津互联网研究所副教授兼研究助理克里斯•拉塞尔博士说：“虽然LLM的建立是为了让使用它们感觉像是与一个诚实准确的助手的对话，但相似性只是肤浅的，这些模型并不是为了给出真实或可靠的答案而设计的。输出的明显真实性是一个不可依赖的‘快乐统计事故’
为了更好地理解使用LLM时所面临的法律限制，研究人员进行了全面分析，评估了当前法律框架如《人工智能法》、《数字服务法》、《产品责任指令》和《人工智能责任指令》中是否存在说实话义务。他们发现，当前的法律义务往往局限于特定部门、专业或国家机构，很少适用于体制外。

研究主任布伦特•米特尔施塔特副教授在评论研究结果时说：“现有法规提供了薄弱的监管机制来减轻粗心言论，仅适用于有限范围内的法学硕士提供者。然而，在试图消除法学硕士的‘幻觉’时，公司正在对这些模式设置重要的护栏和限制。这带来了进一步将权力集中在少数大型科技公司的巨大风险，以决定哪些话题适合讨论或禁止讨论，哪些信息来源是可靠的，以及最终什么是真实的。”
牛津大学的学者们认为，法学硕士提供者应该通过公开、民主的程序，更好地让他们的模型与事实相符。他们提议，为法学硕士提供者设立一项法律义务，让他们创建的模型优先考虑输出的真实性，而不是说服力、帮助性或盈利能力等其他因素。除其他外，这意味着公开他们使用的训练数据和模型的局限性，解释他们如何通过实践微调模型，如从人类反馈或即时约束中强化学习，并在输出中建立事实检查和信心评分功能。
Wachter教授总结道：“当前的治理激励措施侧重于减少开发商和运营商的责任以及利润最大化，而不是让技术更加真实。我们提议的方法旨在将粗心言论和长期不利社会影响的风险降至最低，同时将发展转向LLM的公共治理真相。”