中国科学院与耶鲁大学的研究人员共同提出了一种名为「思维传播」(Thought Propagation)的全新框架,旨在提升大型神经网络模型(如GPT-4、PaLM)的推理能力,使其能够更像人类一样进行类比思考。这个框架的灵感源自人类认知,即人们在面对新问题时常常将其与已经解决的类似问题进行比较,以推导出解决策略。
![中国科学院提出「思维传播」框架](http://www.okzhineng.com/wp-content/uploads/2023/07/niao3.jpg)
论文地址 https://arxiv.org/abs/2310.03965
「思维传播」的核心思想是让模型在解决问题之前,探索与输入问题相关的类似问题,并从类似问题的解决方案中获取启发。这一过程包括三个关键阶段:
1. 提出类似问题:模型通过提示生成与输入问题相似的一组类似问题,以引导模型检索相关的经验。
2. 解决类似问题:模型使用现有的提示技术(如CoT)来解决每个类似问题。
3. 汇总解决方案:模型可以根据类比解决方案直接推断出输入问题的新解决方案,或者通过比较类比解决方案推导出高级计划或策略。
这个框架的关键创新之处在于它能够激发模型的类比思维,引导复杂的推理过程。研究人员通过多个任务的评估验证了「思维传播」的有效性,包括最短路径推理、创意写作和LLM智能体规划任务。
在最短路径推理任务中,「思维传播」显著提高了性能,生成了最优和有效的最短路径。在创意写作任务中,「思维传播」也表现出人类更喜欢的一致性。在LLM智能体规划任务中,「思维传播」提高了任务完成率。
尽管这项研究提供了有望增强大型神经网络模型推理能力的新方法,但也存在一些挑战,如生成有用的类比问题和管理长链的类比推理路径。然而,「思维传播」为改进模型的推理能力指明了新方向,有望使大型语言模型更接近人类的推理方式。
(站长之家)