- 最近的进展使得大型语言模型（LLMs）有可能展示推理能力
- 现有的解决方案是使用LLMs将自然语言逻辑问题解析为符号表示，然后采用外部逻辑求解器输出答案
- 解析错误会导致外部逻辑求解器执行失败，无法回答逻辑问题
- 本文介绍了LoGiPT，一种新颖的语言模型，直接模拟逻辑求解器的推理过程，通过学习严格遵守求解器的语法规则来避免解析错误
- LoGiPT在新构建的指令调优数据集上进行了微调，该数据集揭示和完善了演绎求解器的不可见推理过程
- 在两个公共演绎推理数据集上的实验结果表明，LoGiPT在竞争的LLMs上表现优于最先进的求解器增强LLMs和少样本提示方法
评论
LLM，本质上是统计模型，并不是为自主逻辑推理任务而设计的，尽管它表现出了这种能力的幻觉。相反，它们的真正优势在于模式识别，当任务主要依赖于数据处理和模式匹配时，这一点得到了关键的证明。它们的缺点出现在复杂的逻辑任务中，这导致LLM在随着任务复杂性的增加，给出正确答案。 与其试图从这些模型中挤出逻辑，更有效的方法是利用LLM作为结构化问题解决工具和自然语言处理之间的桥梁。为此，LoGiPT所展示的集成，一个对逻辑求解器的推理过程进行了微调的LLM模型，为未来的改进提供了一个有希望的路线图。通过模拟推理过程来避免频繁的解析错误，展示了这项工作的潜力。据报道，LoGiPT在性能上超过了传统的求解器增强LMs，证明了这种集成的优点。 因此，该领域的持续进步不应集中在错误地提高LLM的推理能力上，而应更多地将其与专业工具战略性地结合起来。这将优先考虑他们强大的模式匹配能力，并增强人工智能的整体解决问题能力，可能会彻底改变LLM领域的发展。这种平衡的整合可以带来前所未有的进步，并真正利用LLM的力量。“
2023-11-18 17:56:56 +0800