基于昇腾AI的紫东.太初凭何脱颖而出？

9月1日，2022世界人工智能大会最高大奖SAIL（Super AI Leader，卓越人工智能引领者）尘埃落定。

三模态人工智能大模型“紫东.太初”在800多个角逐者中脱颖而出一举夺魁。此前数周，在济南举行的首届中国算力大会上，“紫东.太初”同样表现稳健，抱回“DC Tech创新先锋”奖杯。

紫东.太初何方神圣？凭何斩获诸多关注？是什么让它如此出众？

紫东.太初领奖

一个时代的开始

“这标志着一个大模型时代的开始。”

在中科院自动化研究所官微上，关于紫东.太初的介绍中有这样一句掷地有声的话。

这款基于昇腾AI打造的三模态（视觉—文本—语音）预训练大模型，同时具备跨模态理解与跨模态生成能力，取得了预训练模型突破性进展。它能够“让AI(人工智能)更接近人类想象力！”

“紫东.太初是全球首个三模态大模型。”中科院自动化研究所模式识别国家重点实验室研究员王金桥介绍说，“它是迈向通用人工智能的一个重要探索。”

美国人工智能学会前主席Subbarao Kambhampati断言：大模型的出现从根本上改变了人工智能研究的性质，它已成为人工智能的同义词。

2018年，大模型的发展为通用人工智能带来曙光。2020年，OpenAI放出具有1750亿参数的预训练模型GPT-3，它强悍的文本生成能力令人痴迷，也使人坚信人工智能的表现会“大力出奇迹”。

与此同时，AI大厂开始“军备竞赛”，从国外到国内，预训练大模型经历了一轮爆发式发展。但总体上，大家都寄希望于借助大数据、大算力来触摸深度学习的“天花板”。

多模态预训练模型被广泛认为是从限定领域的弱人工智能迈向通用人工智能的路径探索，其具有在无监督情况下自动学习不同任务、并快速迁移到不同领域数据的强大能力。要实现更加通用的人工智能模型，预训练模型必然由单模态往多模态方向发展。

瞄准这一方向，自动化所构建的三模态预训练模型不仅可实现跨模态理解（比如图像识别、语音识别等任务），也能完成跨模态生成（比如从文本生成图像、从图像生成文本、语音生成图像等任务）。灵活的自监督学习框架可同时支持三种或任两种模态弱关联数据进行预训练，从而降低了多模态数据收集与清洗成本。

千亿级的参数规模的紫东.太初，可以实现视觉、文本、语音三个模态间的高效协同，在跨模态理解与生成能力上做到了性能全球领先，能够高效完成跨模态检测、视觉问答、语义描述、视频理解与生成等下游任务。

这将改变此前单一模型对应单一任务的人工智研发范式，大幅提升文本、语音、图像和视频等领域的基础任务性能，因此在诸多应用场景中未来可期。

目前，紫东.太初正赋能多样化的行业场景，如工业质检、影视创作、智慧医疗、互联网推荐、智能驾驶等国计民生需求场景。

中科院自动化所所长、中科院人工智能创新研究院院长徐波表示：“多模态大模型将成为不同领域的共性平台技术，‘大数据+大模型+多模态’将改变当前单一模型对应单一任务的人工智能研发范式。”

共筑创新高地

多模态大模型受产学研用多方高度关注，原因在于AI具有“使能技术、赋能社会”的神奇魔力，它具有增强任何领域技术的潜力,是类似于内燃机或电力的一种“使能”技术。

目前，网络数据90%以上为图像与视频，音频数据也保持高增长，但此前用于预训练的模型多以文本、图像为主的单模态或双模态，只能涵盖互联网数据的一小部分。这种模型不仅与人类多模态交互能力差别很大，也无法充分发挥数据的生产要素作用，限制了下一阶段人工智能应用创新。

因此，推动预训练模型从单模态向多模态方向发展，打通图像、文字、语音壁垒，进而使AI应用更贴合人类行为习惯与现实需求，成为当前该行业攻坚点之一。

中科院自动化所以昇腾AI平台为基础，基于武汉人工智能计算中心算力，研发面向超大规模的高效分布式训练框架，在图、文、音三个基础模型上加入跨模态编码和解码网络，基于昇思MindSpore AI框架，打造的“紫东.太初”性能领跑业界，可以灵活支撑图、文、音全场景应用，更加接近人类真正的感情和思考，灵活性更高，通用性更强。

基于紫东.太初打造的虚拟人“小初”，具备视频生成、视频描述、图像生成、智能问答、语音识别等多个功能，甚至能在纺织生产线上通过声音就能“听”出纱线断头的质检缺陷。

去年底，国内首个多模态人工智能产业联盟成立，吸引了新华社技术局、长安汽车、中国移动、千博手语等40余个成员单位加盟，通过开源的多模态大模型快速进行自身业务AI融合创新，基于“紫东.太初” 陆续孵化出新媒体内容检索平台、智能座舱、南宋御街数字人、手语教考一体机等场景化行业应用，充分展现了人工智能大模型的产业价值。

“从紫东.太初大模型的研发，到产业联盟的组建，AI研发规则和产业应用模式迎来深刻变革。昇腾AI正在加速推动AI产业化和产业AI化，助力AI抢占智能时代新高地。”华为副总裁、计算产品线总裁邓泰华说。

工业时代的繁荣离不开水、煤、电等基础设施，同样，数字世界的发展也根植于算法、算力和数据。随着AI技术的飞速发展，算力领先城市往往将公共算力中心视为“标配”。

“随着社会的持续发展和进步，人工智能作为社会经济生活的‘发动机’，无处不在地推动着多个行业的智能化发展。”徐波说，“人工智能在不断与行业进行融合创新的同时，会出现多种形态的变化，呈现出百花齐放的现象。”

构筑AI新生态

人工智能计算中心就像一座电站，只能满足某一区域的用电需求。而针对不同区域的不同用电需求，最好的办法就是并网发电。同样，智算网络就像电力网，能让算力、数据和模型流动起来，并“削峰填谷”，让算力使用效率最大化，从而降低社会算力总成本。

当人工智能走向多模态大模型时代，规划并牵引产业界使用真正需要的大模型，推出大模型开发使能平台就变得至关重要。

8月15日，科技部发布《关于支持建设新一代人工智能示范应用场景的通知》，公布首批人工智能示范应用的10大场景，强调要充分发挥人工智能赋能经济社会发展的作用，打造形成一批可复制、可推广的标杆型示范应用场景。这一重磅政策落地，释放出国家加速人工智能场景创新与产业发展的信号。

事实上，向来敢为人先的华为数年前就开始在构筑AI新生态方面落子布局。

华为打造的开放昇腾AI基础软硬件平台（昇腾AI平台）包括Atlas及伙伴系列硬件、异构计算架构CANN、全场景AI框架昇思MindSpore、昇腾应用使能MindX以及AI应用使能ModelArts等，致力于帮助合作伙伴和开发者高效使用AI能力，创新场景化AI应用，加速千行百业智能升级。

面向行业，华为携手伙伴打造了人工智能融合赋能平台（AICE），具备全栈自主创新、推理训练一体化、平台开放生态繁荣三大优势，并作为AI新范式，赋能城市、煤矿、公路、电力等领域迈向智能化。在本次世界人工智能大会上，昇腾AI也将与伙伴共同带来AICE赋能行业解决方案的重磅发布。

一个生态体系要得到开发者的喜爱，平台易用性和开发效率非常关键。昇腾在保持极致性能，补齐基础生态适配能力之后，一直把易用性和开发效率作为重要工作。今年在动态shape、动态图和调试调优等影响易用性的关键领域，制定了明确的目标，加速优化。此外还把平台易用性、工具链插件、最新的算子模型适配，纳入昇腾众智计划，向开发者开放，希望与百万开发者共建共创一个好用、易用、受开发者喜爱的昇腾AI平台。

“以昇腾AI基础软硬件平台为基础，坚持‘硬件开放、软件开源、使能伙伴、发展人才’的目标和方向，华为联合技术及商业伙伴，打造出了‘共建、共享、共赢’的人工智能产业。”邓泰华说，“昇腾AI产业致力于让AI‘用得起、用得好、用得放心’，以人工智能赋能社会发展与产业升级。”

目前，昇腾AI已发展了90万+开发者，在110多所高校开设昇腾AI相关的人工智能课程，发展700+行业合作伙伴，共同孵化了超过1100个解决方案，完成昇腾AI生态的初步构建。

积水成渊，蛟龙生焉。