人工智能(AI)在很多领域都取得了惊人的进展,但一项新的研究发现,AI 在处理历史问题方面却表现不佳。该研究测试了三个顶尖的大型语言模型(LLM)——OpenAI 的 GPT-4、Meta 的 Llama 和 Google 的 Gemini——在回答历史问题方面的能力,发现它们在准确性方面远远不及预期。
AI 历史认知的局限性
研究人员创建了一个名为 Hist-LLM 的基准测试,通过 Seshat 全球历史数据库来评估 LLMs 对历史问题的理解能力。结果表明,即使是最先进的 GPT-4 Turbo 也只能达到约 46% 的准确率,这与随机猜测的水平相差无几。该研究的共同作者、伦敦大学学院计算机科学副教授 Maria del Rio-Chanona 指出,LLMs 缺乏对历史的深度理解,它们擅长处理基本的事实,但在更微妙、更高级的历史探究方面却力不从心。
研究人员发现,LLMs 在回答特定历史事件或人物问题时,倾向于依赖最普遍的信息,而难以检索更冷门或更细致的历史知识。例如,研究人员询问 GPT-4 古埃及在特定时期是否拥有职业常备军,尽管正确答案是否定的,但 GPT-4 却错误地回答了是。这可能是因为,关于其他古代帝国(如波斯)拥有常备军的公开信息非常多,而关于古埃及的此类信息却相对较少。这表明,LLMs 容易受到训练数据偏差的影响,而难以进行更深入的历史分析。
研究还发现,OpenAI 和 Llama 模型在某些地区(如撒哈拉以南非洲)的表现较差,这可能与训练数据中存在的偏差有关。例如,来自某些地区的训练数据可能不足或质量较低,导致模型在处理相关问题时出现误差。
AI 历史研究的潜力
虽然该研究结果表明,LLMs 在处理历史问题方面仍存在局限性,但研究人员相信,LLMs 仍有潜力为历史研究提供帮助。他们正致力于改进基准测试,通过纳入更多来自欠发达地区的训练数据以及添加更复杂的历史问题来提高模型的准确性。此外,他们希望通过将 LLMs 与其他历史研究方法相结合,例如文本分析和数据挖掘,来进一步提升其在历史研究中的应用价值。
AI 在历史研究中的应用前景
虽然 LLMs 目前在处理复杂的历史问题方面还存在不足,但它们仍有可能为历史研究带来一些积极的改变。例如,LLMs 可以被用来整理和分析大量的历史文献,帮助历史学家快速地找到所需的信息。此外,LLMs 还可以在历史教育方面发挥作用,通过提供互动式学习体验来帮助学生更好地理解历史。
常见问题QA
答:AI 无法理解历史的主要原因是,它们缺乏对历史的深度理解,它们擅长处理基本的事实,但在更微妙、更高级的历史探究方面却力不从心。此外,AI 的训练数据中也存在偏差,这也会导致它们在处理特定历史问题时出现误差。
答:AI 未来可能会在历史研究中发挥越来越重要的作用。它们可以帮助历史学家整理和分析大量的历史文献,也可以为学生提供互动式学习体验。然而,AI 在处理复杂的历史问题方面还存在不足,因此需要与其他历史研究方法相结合,才能充分发挥其潜力。
相關連結:
siuleeboss – 為您提供一站式的有用AI資訊、食譜和數位教學
Share this content: