大模型持续迭代,AI基础设施成为云厂商的核心竞争力之一。
7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,升级后的星脉网络2.0搭载自研的网络设备与AI算力网卡,支持超10万卡大规模组网,网络通信效率比上一代提升60%,预期将大模型训练效率提升20%。
腾讯云副总裁王亚晨在发布活动中表示,如果将大模型的训练比作是一场F1赛车比赛,腾讯云设计的星脉高性能算力网络就是“赛道”,自研的TiTa和TCCL网络协议就是“赛事指挥中心与专业车队”,有了这些,“腾讯云高性能计算集群HCC的GPU服务器”这台“F1赛车”就能发挥最大的算力性能,助力客户在AI大模型的竞争中取得先机。
当前,如何在大规模组网前提下,提升通信效率、降低通信占比,让训练稳定可用,进而提升GPU的利用率和模型训练效率,是AI网络要解决的核心问题。数据显示,星脉网络2.0可实现大模型训练过程中,网络通信占比(通信时间占总体时间比例)低至6%,远低于10%的业界水平;通信负载率达到90%,与IB网络(Infiniband)持平,相较于标准以太网提升60%。
王亚晨介绍说,腾讯自研星脉网络是一套软硬协同的高性能网络体系,包括自研网络设备、通信协议、通信库以及运营系统四大关键组件,每个组件均采用了业界首创的核心技术。例如在硬件方面,腾讯星脉网络是业界首个采用全自研网络设备的高性能网络,包括交换机、自研光模块、网卡等,其率先引入的400G硅光模块,让网络延迟降低40%,支持超10万卡大规模组网。
据王亚晨介绍,目前腾讯云已经面向生成式人工智能场景推出了基于星脉网络的大模型训练集群HCC、AIGC存储解决方案、向量数据库以及行业大模型服务MaaS、天御AIGC内容安全解决方案等大模型全链路云服务。据统计,有超过80%的头部大模型企业使用了腾讯云服务。
王亚晨在交流环节表示,大模型时代的来临,将开创下一代云服务,腾讯云致力于打造“最适合大模型的云”,将持续升级底层AI基础设施,助力企业把握AI时代。
版权声明:
今天(8月1日)起,《网络暴力信息治理规定》开始施行,《规定》明确,网络信息服务提供者应当在国家网信部门和国务院有关部门指导下细化网络暴力信息分类标准规则,建立健全网络暴力信息特征库和典型案例样本库等......
生猪生产在我国畜牧业中占有举足轻重的地位。我国是世界上第一大生猪养殖和猪肉产品消费国,但还不是养猪强国,特别是生猪遗传育种工作落后于欧美国家,急需在新一代生物育种技术上加大投入,实现“弯道超车”。今天......
近日,由中国智能计算产业联盟与全国信标委算力标准工作组共同主办的2024中国算力发展专家研讨会在京召开。会上,由中国智能计算产业联盟与太行山西省实验室推动发起的“主权级大模型创新联合体”揭牌成立。据介......
科技日报北京7月25日电 (记者张梦然)《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被......
幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答,使得人们在一些关键的认知上产生疑虑,一定程度上会阻碍大模型落地。由于过分注重尺度定律,人力、算力等大量资源资源投入到尺度定律,导致基层研究人员......
大模型持续迭代,AI基础设施成为云厂商的核心竞争力之一。7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,升级后的星脉网络2.0搭载自研的网络设备与AI算力网卡,支持超10万卡大规模组网,网络通信效......
大模型持续迭代,AI基础设施成为云厂商的核心竞争力之一。7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,升级后的星脉网络2.0搭载自研的网络设备与AI算力网卡,支持超10万卡大规模组网,网络通信效......
大模型持续迭代,AI基础设施成为云厂商的核心竞争力之一。7月1日,腾讯宣布其自研星脉高性能计算网络全面升级,升级后的星脉网络2.0搭载自研的网络设备与AI算力网卡,支持超10万卡大规模组网,网络通信效......
“从人工智能技术发展趋势来看,未来几年,规模定律依然有效,大语言模型仍有很大提升空间。”6月14日,2024北京智源大会在京举行。百度首席技术官王海峰在主旨演讲中对人工智能技术发展作出最新判断。他认为......
近日,国内头部短视频平台“快手”发布了首个“Sora级”的文生视频大模型“可灵”,并宣布面向用户开放。据快手方面介绍,可灵大模型为快手AI团队自研,采用与Sora相似的技术路线,并结合多项自研技术,能......