高文：将训练大模型底座面向全社会开放

·高文表示，开发大模型不是拍脑袋、喊口号那么容易，而是必须拥有算力，只有投入几十亿元甚至上百亿元才能做出“像样的东西”，但这笔资金对于高校和初创企业而言是一个门槛。“我们基本的想法就是用鹏城实验室的算力、公开渠道的数据，训练出大模型底座面向全社会开放，供研究人员、创业者使用。”

5月22日，中国工程院院士、鹏城实验室主任高文在2023大湾区人工智能分论坛上表示，要利用鹏城实验室的算力、公开渠道的数据，训练出大模型底座面向全社会开放，供研究人员和创业者使用。

鹏城实验室是中央批准成立的突破型、引领型、平台型一体化的网络通信领域新型科研机构，聚焦宽带通信、新型网络、网络智能等国家重大战略任务开展重大科学问题和关键核心技术研究。

高文表示，目前的人工智能是新一轮浪潮，ChatGPT对技术和社会发展带来了巨大冲击。“我们必须要应对，企业有企业的应对方案，国家也有国家的应对方案。企业动作比较快，国内有很多头部企业都在做自己的大模型。当然能否做得比ChatGPT好那是另外一回事，至少要做。不做就什么都不会发生，做了至少有些事情会发生。”

他表示，开发大模型不是拍脑袋、喊口号那么容易，而是必须拥有算力，只有投入几十亿元甚至上百亿元才能做出“像样的东西”，但这笔资金对于高校和初创企业而言是一个门槛。目前鹏城实验室给出的方案是投入40亿元开发了E级智算平台“鹏城云脑II”，具有100亿亿次的半浮点运算操作能力。他表示，“鹏城云脑II”一个月之内可以训练出GPT-3、GPT-3.5。“我们正在启动做下一台机器，大概会用60亿元左右做16000P这么大算力的机器。这两台机器加在一起，解决目前为止所有大模型的训练都是绰绰有余的。”

解决了算力问题，剩下的就是数据和算法。“算法现在几乎属于公开知识，数据方面，我们准备首先用最大的能力去获取尽可能多的数据，从公开渠道或者从购买的渠道获取数据来训练模型。我们基本的想法就是用鹏城实验室的算力、公开渠道的数据，训练出大模型底座面向全社会开放，供研究人员、创业者使用。”

高文同时提到了增强大模型技术平台计划，利用个人数据增强训练出更好的模型，推动国内尤其是粤港澳大湾区新一代人工智能的发展。他表示，所谓“增强”就是数据方在保证隐私和数据安全的情况下将个人数据贡献出来进行训练，增强模型可能比标准模型更好更强，并且增强模型只向数据提供方提供。“当然我们有很多细节机制，后续只要大家加入这个联盟，就会慢慢了解到这些细节机制。当然也可以提出意见、建议，让联盟做得更好。”