大模型向人类思维方式“对齐”将颠覆各行业生态

原文地址：http://news.sciencenet.cn/htmlnews/2023/4/497842.shtm

 “大型语言模型技术的快速演进，已经为我们展现了通用人工智能的大框架。下一步，最重要的是让大模型和现实世界‘对齐’。在模型自我学习、自我迭代过程中，人必须参与其中，以保持机器与人类价值观、思维方式一致，否则可能会离人类的偏好越来越远。”近日，在复旦大学管理学院主办的复旦科创先锋论坛上，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏如此表示。

  ?

邱锡鹏      复旦管院供图

当天，在主题为《MOSS：对话式大型语言模型》的演讲中，邱锡鹏介绍了大型语言模型背后的技术原理，他认为好的语言模型需要更好地理解语言与常识。ChatGPT的三大关键技术是情景学习、思维链和自然指令学习。

情景学习即在上下文语境中学习，语言模型会在提示词（prompt）中附带一些例子作为“上文”输入，再预测并输出下文，这改变了传统的学习范式，可以大幅降低下游开发成本；思维链指做大模型示例时不要只给答案，也要给它推导过程，通过推导过程最终得出正确答案。这是突破模型参数约束，实现“涌现”能力的关键技术；自然指令学习指模型能直接理解人类指令，从指令中学习、判断，不断“对齐”人类的真实意图。

演讲中，邱锡鹏透漏，其主持研发的MOSS系统将于4月中旬开源。他指出，MOSS和ChatGPT具有相近的通用语义理解能力，目前在推理能力和事实类知识方面还有一定差距。这主要是由于参数规模不足造成的，可以通过扩大模型规模来实现。

“首先是对语言模型基座进行架构优化，这面临输入长度、中文编码、多模态接入等挑战；其次是指令微调，其难度远高于预训练，而让模型的回答‘对齐’人类思维习惯也非常困难；最后才是能力强化。”邱锡鹏说，“当语言模型向人类的价值观和思维方式对齐，并应用于真实世界，无疑将颠覆各个行业生态。 ”