ChatGPT有重要创新，不可能一蹴而就

近期，ChatGPT频上热搜，大家纷纷通过各种渠道体验，中国计算机学会常务理事、之江实验室副主任鲍虎军就是其中之一。

跟ChatGPT“聊”下来，鲍虎军感受到其强大，甚至觉得它有些“圆滑”：它不仅能多轮对话，拒绝回答不恰当的提问，还“懂得承认错误”，调整后续答案。

“这说明它背后的信息学习和整合机制是非常完善的。”鲍虎军说。

解决“对齐”问题，ChatGPT更“丝滑”

对话机器人早已不是新鲜事物，ChatGPT何以能一骑绝尘？这恐怕要从其给人“丝滑”的对话体验及其超常表现说起。

这类机器人的本质是人工智能机器学习模型。在开发之初，开发者通常会输入大量贴有“标签”的数据，对模型系统进行训练，让系统通过算法自动输出结果。

如果只靠自动输出结果，ChatGPT也许和其他聊天机器人无异。它的横空出世，离不开至少两样东西：大型语言模型（LLM）和一种名为“人在回路”的强化学习机制。

众所周知ChatGPT 脱胎于OpenAI的 GPT3（升级后为GPT3.5），但 OpenAI的开发团队对它的训练才是更动人心魄的：在系统训练过程中，团队先用少量的问答标注数据，微调预训练大模型GPT3.5；然后让训练者接入系统不断提出大量问题，由GPT3.5模型对每个问题给出若干答案，人工对答案满意度进行打分排序，并建立奖惩模型；最后不断循环、强化学习，才得到了最终的问答模型。

这种训练机制又被称为人类反馈强化学习（RLHF）。鲍虎军表示，这种训练机制解决了大模型回答问题与人类认知和需求“对齐”的问题，在工程实现上实现了重要的创新。

这就是ChatGPT 的答案常常能够“引人舒适”的关键因素之一。“这让系统给出的答案和人类的常识、认知、需求、价值观更加贴合。”鲍虎军说，正是引入人工反馈这一步，让系统预测能力实现了“对齐”。

在过去，人们对大模型的使用，往往更关注于面向专业领域进行开发，这也催动着基础大模型逐渐形成面向专业的行业大模型。但是，基础模型在不同专业领域应用过程中，开发者需要用它对该领域标记的关键数据进行微调训练，而此后模型的使用并不开放，这导致模型的应用效能并不高。

ChatGPT与此不同。它的参数部署之后，模型不再变改，而是通过广泛的用户使用，不断汇聚相关信息、不断进行新的内容学习和整合，让优化也在“回路”。按照ChatGPT 目前月活跃用户一亿计，它的变化与日俱增。

“一亿用户不断为它提供数据采集，让它不断变得强大。” 鲍虎军认为，ChatGPT从能力和模式上，解决了多年来人机对话交流难以逾越的重大挑战，正是这种大规模模型预训练和拟人问答“对齐”技术的变革，它才引发了各界的共鸣。

 要复刻ChatGPT，先闯三关

ChatGPT的爆火，搅动了人们对AI产业实现期望的一池春水。在不断加码 OpenAI 之后，微软发布全新“必应”（Bing）搜索工具，让人们可以在Edge浏览器上上体验ChatGPT。感受到危机的谷歌也动作频频，并在2月7日发布了下一代对话AI系统Bard，只是首战“出师不利”。

国内也一派奋起直追的景象。2月7日，百度宣布推出生成式对话产品“文心一言”（英文名 ERNIE Bot），并约定“3月和大家正式见面”；2月10日，美团联合创始人王慧文高调宣布自带5000万美元入局AI，目前已成再创业之势，放言希望“打造中国OpenAI”；360集团也称有200多亿的资金能够支持360进行类ChatGPT 技术的研究和投入，创始人周鸿祎更直言“不会放弃对ChatGPT相关技术的研究和跟踪”……

ChatGPT引发的这波热潮，让人直呼“有点梦回2016的意思”。那一年的AI头条是：李世石大战 AlphaGo。

这一切的发生，鲍虎军认为，ChatGPT等AI工具的进一步广泛应用，有望极大提升内容创作和人机交互的能力，它们也会成为像互联网平台一样的基础设施，给人类带来生产能力的提升。随着图像、文本、声音等多模态类型计算的互通转换的引入，还将带来更大的想象空间。

不过，要在中国复刻OpenAI、打造国产化的ChatGPT绝非易事。鲍虎军认为，机器学习模型开发者很多，要做好ChatGPT类项目，工程实现是“重头戏”。

“一个好的机器学习模型，并不是开发完成就结束了，而是要真正找到一种便捷的使用模式，让人工智能为更多人解决实际问题。” 鲍虎军说。

他表示，当业界对ChatGPT奋起直追时，也要看到，ChatGPT的诞生不是一蹴而就的。ChatGPT的成功，离不开强大的技术创新、工程实现能力以及投资人的勇气。

而要闯这“三关”之前，还要看自身技术和资源的积累。公开数据显示，OpenAI于2018年 6 月发布GPT1，迄今迭代至GPT3.5，已经历了多年的技术积累。ChatGPT模型的前身语言模型GPT3，其参数规模达到了1750亿，使用超45TB数据进行训练；后期研发不仅引入了微软的资本加持，还投入了大量时间与精力……

“做好一个成果，需要构想、研发、商业等多方力量投入，无论从哪个层面，都不能浮躁，而是需要更多的耐心与坚持。” 鲍虎军说。