AI推理能力被苹果研究员质疑，简单数学题稍作改动就出错

10月12日消息，苹果研究员发布了一篇论文，名为《理解大型语言模型中数学推理的局限性》。该论文提到，LLM在解答数学问题时容易受到干扰，一道简单的数学题只要稍加改动，比如添加无关紧要的信息，LLM就会推理错误。

论文中列举出了几个案例，比如“奥利弗星期五摘了44个奇异果，星期六摘了58个，星期日摘得数量是星期五的两倍，那么奥利弗一共摘了多少个奇异果？”，面对这样简单的数学题，LLM能够计算出准确答案。如果在原题上加一个无关紧要的信息，比如“星期日，他摘得奇异果数量是星期五的两倍，其中5个比平均小”，这时，LLM却给出了错误的答案（88-5=83，正确答案应该是44×2=88）。

值得一提的是，苹果研究人员经过修改数百个问题，几乎所有问题都会影响LLM给出正确的回答。苹果研究人员认为，LLM并不是真正理解数学问题，而是根据训练数据中的模式进行预测。