大模型训练遇“算力荒”,“超智融合”来帮忙

论及当下计算技术的发展方向和趋势,“超智融合”当仁不让——在今年6月发布的2024年全球“最节能超算”榜单(Green500)上,位列榜单前三的超算都采用了“超智融合”的技术理念。超智融合,顾名思义,意即“采用融合架构,集成超算和智算的功能”。在当前大模型训练不断需要大算力支持的时代背景下,超智融合理念落地意义重大。然而,如何科学地界定超智融合,实现超智融合的技术路径有哪些,实践中有哪些注意事项等问题,尚需进一步厘清。为此,在中国智能计算产业联盟与全国信标委算力标准工作组近日共同主办的“2024中国算力发展专家研讨会”上,中国科学院院士陈润生、钱德沛,中国工程院院士郑纬民等行业内院士专家、学者和产业界代表共聚一堂,专门就“超智融合技术路线下的趋势与发展”展开研讨。2024中国算力发展专家研讨会现场。中国智能计算产业联盟 供图呼唤超智融合的,不止于大模型“算力荒”近日,埃隆·马斯克出手,在美国田纳西州孟菲斯市打造一座超级算力集群,......阅读全文

大模型训练遇“算力荒”,“超智融合”来帮忙

论及当下计算技术的发展方向和趋势,“超智融合”当仁不让——在今年6月发布的2024年全球“最节能超算”榜单(Green500)上,位列榜单前三的超算都采用了“超智融合”的技术理念。超智融合,顾名思义,意即“采用融合架构,集成超算和智算的功能”。在当前大模型训练不断需要大算力支持的时代背景下,超智融合

百度智能云部署大模型至五象云谷智算中心-智算云+AI应用加速落地

近日,润建股份与百度智能云再次紧密合作,正式部署百度大模型到五象云谷智算中心。双方将围绕大模型商业应用在城市管理、教育、能源等领域展开全面合作,共同促进智算云+AI应用的加速落地,润建股份智算中心将为AI大模型应用提供算力支持。五象云谷云智算中心是面向国内及东盟国家客户提供数据服务、算力服务的高等级

智算为人工智能夯实“算力底座”,年均增长50%

  从人脸识别、智能语音播报,到自动驾驶、工业数字孪生,看得见的智慧应用背后,是看不见的智能算力在支撑。  根据相关统计和测算,目前全国超过30个城市在建或筹建智算中心,未来5年我国智能算力规模年复合增长率将达52.3%。智算中心的创新发展,将进一步为人工智能夯实“算力底座”,成为带动人工智能及相关

广州超算中心主任袁学锋:广州超算-算天-算地-算人

  德国莱比锡市世界超级计算机大会近日发布了世界超级计算机500强排行榜,中国国家超级计算广州中心天河二号超级计算机再次位居榜首,获得世界超算三连冠。这条新闻,伴随着羊城热辣辣的天气,成为广州市民至热的话题。在街头随机采访,问:知道“天河二号”吗?路人十之八九会答,知道啊,睇新闻知道的。再问,“天河

存储存算智算中心CCIA数据存算生态大会

2024CCIA北京数据存算生态大会时间:2024年9⽉25-27⽇ 地点:北京国家会议中⼼ 活动隶属:中国国际信息通信展览会主办单位:工业和信息化部执⾏单位:中国计算机⾏业协会信息存储与安全专委会 深圳热点资讯展览有限公司活动背景数据是当今数字经济发展的重要⽣产要素,是国家重要的战略资源,是⾼质量

淮海智算中心开建,“中国云都”打造智算枢纽

7月29日,安徽省宿州市与浪潮信息签署战略合作协议,共同推进淮海智算中心建设。 据了解,淮海智算中心总体投资10亿元,全面建成后智能算力性能将达30亿亿次每秒,成为技术先进、架构开放、应用丰富、生态完善的国内领先的智算枢纽。国内首个算力、算法一体化新型基础设施 安徽宿州南临长三角、北接

985高校顶级科研平台上线!第一个成果已诞生

原文地址:http://news.sciencenet.cn/htmlnews/2023/6/503591.shtm在数据和智能技术驱动的“大科学时代”,高校需要什么样的科研算力平台?刚刚,复旦大学率先打了个样。6月27日,由复旦大学与阿里云等共同打造的云上科研智能计算平台“CFFF”宣告正式上线。

郑纬民院士解析超算、卡脖子、东数西算

郑纬民院士  图片来源:CCF 有统计显示,算力规模前20的国家,有17个是全球排名前20的经济体。可见,数字经济发展水平与算力规模密切相关。有人说“得算力者得未来”,这话虽有些绝对,但不可否认,我们已进入算力时代。 当前科学发现的四个范式——实验验证、理论研究、计算科学、大数据分析和AI计

数据超算中心智能绿色云计算系统项目通过验收

  3月19日,中国科学院深圳先进技术研究院重大产业技术攻关项目“数据超算中心智能绿色云计算系统与示范”顺利通过验收。深圳先进院院长助理冯圣中研究员主持召开了本次项目验收会,深圳市创新委员会高新产业处副处长苏建军一行出席会议。   验收会上,冯圣中对市科创委一行表示热烈欢迎。先进计算与数字工程研究

“7个月140个智算中心项目”,引业界担忧

中心项目”,引业界担忧 近期,一条话题围绕“7个月涌现140个智算中心项目”的消息在计算圈内不断流传,引起行业关注,并引发学者对其潜在的“算力闲置”等担忧。在9月24日的中国高性能计算学术年会(HPC China 2024)上,计算领域专家也不约而同地关注到这个问题。《中国科学报》了解到,大家担忧的

算力、存力、智算中心2024北京AI算力产业峰会

2024北京AI算力产业峰会时间:2024年9⽉25-27⽇ 地点:北京国家会议中⼼ 活动隶属:中国国际信息通信展览会主办单位:工业和信息化部执⾏单位:中国计算机⾏业协会信息存储与安全专委会 深圳热点资讯展览有限公司活动背景AI算⼒产业作为当前全球科技领域的重要⽀柱,正以前所未有的速度推动着社会进步

2023人工智能算力性能500排行榜出炉

原文地址:http://news.sciencenet.cn/htmlnews/2023/11/512087.shtm在11月10日举行的第5届中国超级算力大会(ChinaSC 2023)上,由中科院计算技术研究所研究员张云泉、清华大学教授陈文光、美国阿贡国家实验室Pavan Balaji研究员和瑞

让超算有弹性,用超算更自由

阿斯顿马丁·红牛车队是世界一级方程式锦标赛(F1赛车)颁奖台上的常客。这背后的秘诀,除了红牛车队拥有性能优异的赛车和技艺娴熟的车手之外,他们还有一招“高科技”。在每次比赛之前,红牛车队都会动用超级计算机根据赛道及比赛环境做数字模拟,这包括但不限于使用虚拟风洞来优化赛车的空气动力学模型、模拟电源散热效

AI大事件,复旦大学携手阿里云国内首个高校智算平台来了

国内高校首例!  在数据和智能技术驱动的“大科学时代”,如何在日新月异的科技创新环境中赢得主动,在关键领域取得创新突破,是时代给予高校的命题。  6月27日,国内高校最大的云上科研智算平台CFFF(Computing for the Future at Fudan)正式在复旦大学上线。目前,首个基于

加强算力网络建设-推进我国从算力大国迈向算力强国

工业和信息化部总工程师赵志国日前表示,将加快制定算力互联互通、算力市场培育等行动方案,建立健全算力网络协同发展的标准规范体系,增强算网融合能力,加速构建全国统一的算力服务大市场。  随着新一轮科技革命和产业变革深入发展,人工智能已成为驱动新质生产力的重要引擎,算力需求激增。加强算力网络建设有助于实现

全国已有14个超算中心,何为超算建设的关键?

全局数据互联与长距离高速传输是超算互联网需要攻克的两大关键技术。存力与算力在超算互联建设中同样重要,大批量数据用算力计算一般只需几分钟,但计算前的上载数据要花一个小时,国产超算平台支持复杂计算全流程中数据流转的能力亟待改善。今年6月,浙江“乌镇之光”超算中心正式纳入国家超算中心序列,成为全国第14个

从计算到智算,计算机革命已列入“十四五”

  算力作为数字经济时代的关键生产力要素,已成为推动数字经济发展的核心支撑力和驱动力。在6月29日举行的中国算力大会新闻发布会上,工业和信息化部副部长张云明透露,截至2021年底,我国在用数据中心机架总规模超过520万标准机架,在用数据中心服务器规模1900万台,算力规模排名全球第二。  “这些数据

算力惊人!国家网安基地智算中心投入运行

近日,华中地区技术超前、算力规模领先的人工智能算力数据中心——国家网安基地智算中心一期投入运行。国家网安基地智算中心。受访单位供图据悉,由武汉临空港投资集团有限公司投资运营、中交二航局长江国际公司承建的网安基地智算中心项目,位于武汉市东西湖区国家网安基地培训中心地块西侧,毗邻网安学院培训中心、黄鹤实

直面大模型“大成本”挑战,如何提高算力效率?

近年来,为了追求大模型的智慧能力,各国公司不停加码投入,4月,Meta宣布追加10亿美元投资,用于其AI芯片研发和AI数据中心建设;亚马逊为了建设新数据中心投入110亿美元。但在大模型扩张的背后,算力代价、能源代价同样巨大。有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所

算力与人工智能融合发展主题会议在青岛召开

  5月27日,“崂山问海”海洋创新发展大会关键议程之一——“算力与人工智能融合发展主题会议”在青岛隆重举行。此次会议由青岛国实集团旗下国实数据公司主办,吸引了来自全国各地算力与人工智能领域的科研机构、高校及企业代表共60余人参会。  本次会议以“智能融合,算力驱动:探索人工智能的未来”为主题,旨在

清华交叉团队突破智能光计算训练难题

清华大学电子工程系方璐教授课题组自动化系戴琼海院士课题组另辟蹊径首创了全前向智能光计算训练架构研制了“太极-II”光训练芯片实现了光计算系统大规模神经网络的高效精准训练该研究成果以“光神经网络全前向训练”为题于北京时间8月7日晚在线发表于《自然》期刊清华大学电子系为论文第一单位,方璐教授、戴琼海教授

清华交叉团队突破智能光计算训练难题

清华大学电子工程系方璐教授课题组自动化系戴琼海院士课题组另辟蹊径首创了全前向智能光计算训练架构研制了“太极-II”光训练芯片实现了光计算系统大规模神经网络的高效精准训练该研究成果以“光神经网络全前向训练”为题于北京时间8月7日晚在线发表于《自然》期刊清华大学电子系为论文第一单位,方璐教授、戴琼海教授

智能驾驶水平高不高-智车信心度说了算

  过两年多的研究探索和对多款车型累计千余次的测试验证,国家智能网联汽车(长沙)测试区(简称“国智长沙”) 1月3日在国内首次推出一套基于危险场景和特殊气象环境的智能汽车测评体系——国家智能网联汽车(长沙)测试区智能汽车信心度测评(简称智车信心度,即C-IAC)。  智能驾驶功能水平一测便知  何谓

张云泉委员:整合力量研发国家“主权级大模型”

原文地址:http://news.sciencenet.cn/htmlnews/2024/3/518760.shtm在2024全国两会上,全国政协委员、中国科学院计算技术研究所研究员张云泉就发展国家“主权级大模型”话题接受了《中国科学报》的采访。 张云泉委员。受访者供图  ?他提出,大模型是

“主权级大模型创新联合体”在京成立

近日,由中国智能计算产业联盟与全国信标委算力标准工作组共同主办的2024中国算力发展专家研讨会在京召开。会上,由中国智能计算产业联盟与太行山西省实验室推动发起的“主权级大模型创新联合体”揭牌成立。据介绍,“主权级大模型创新联合体”由中国科学院院士陈润生、中国工程院院士郑纬民、中国科学院院士陈国良担任

ChatGPT太火!曙光算力服务被抢注一空

当下人工智能(AI)领域的流量担当,毫无疑问是ChatGPT。这款能聊天、会作文、写得了代码、改得了剧本的AI问答系统,上线才两个多月,月活用户就已过亿。ChatGPT 成为现象级AI应用背后,带来了庞大的AI算力需求与挑战。记者2月15日从中科曙光获悉,截至2月12日,曙光智算公司提供用于AI训练

上海市印发实施方案:到2025年底建成世界级人工智能产业生态

  据上海市人民政府网站,近日,上海市人民政府办公厅印发《关于人工智能“模塑申城”的实施方案》,《实施方案》提出,到2025年底,建成世界级人工智能产业生态,力争全市智能算力规模突破100EFLOPS,形成50个左右具有显著成效的行业开放语料库示范应用成果,建设3-5个大模型创新加速孵化器,建成一批

超大规模人工智能模型“悟道1.0”发布

原文地址:http://news.sciencenet.cn/htmlnews/2021/3/454887.shtm 3月20日,北京智源人工智能研究院(简称“智源研究院”)在京发布了超大规模人工智能(AI)模型“悟道1.0”。据悉,该模型是我国首个超大规模人工智能模型系统,可谓是人工智能应用的

探访莱布尼茨超算中心

德国莱布尼茨超算中心是欧洲最大的高性能计算中心之一,也是德国首家提供量子计算服务的超算中心。由于中心地位重要,安防措施极为严格,参观者须提前预约,提供个人信息并接受安全审查。日前,记者应邀随团来到位于慕尼黑郊区的该中心探访。中心负责人、副主任赫尔姆特·莱泽尔教授热情地接待了我们。莱泽尔教授是一位德高

讯飞联手华为攻克全国产算力下推理模型训练难关

1月15日,科大讯飞发布了我国“全国产”算力平台第一个深度推理大模型——讯飞星火X1。据公开测试,该模型中文数学能力表现突出,目前已应用于教育、医疗等场景。在大模型研发领域,讯飞星火坚持走全国产化路线。据科大讯飞研究院副院长殷兵介绍,尽管在全国产算力平台上训练深度推理模型遭遇了诸多挑战,但科大讯飞携