直面大模型“大成本”挑战,如何提高算力效率?
近年来,为了追求大模型的智慧能力,各国公司不停加码投入,4月,Meta宣布追加10亿美元投资,用于其AI芯片研发和AI数据中心建设;亚马逊为了建设新数据中心投入110亿美元。但在大模型扩张的背后,算力代价、能源代价同样巨大。有业界技术团队测算,若要对一个5000亿参数规模的单体大模型进行充分训练,所需算力基础设施约在10亿美元规模,每年消耗的电费在5.3亿元人民币。无论对于哪个机构、企业,这都是天文数字和巨大代价,中国也不例外。知名科学杂志《Nature》此前发表了一篇关于大模型未来发展之路的文章,《In Al, is bigger always better?》(人工智能,越大型越好?)。争议的出现,意味着AI发展方向出现了分歧。如今,“大”不再是模型的唯一追求,计算效率和算力开销两大问题成为新的行业焦点。对大模型推理成本的优化,可通过很多技术手段实现。首先是模型本身,模型结构、训练方法都可以持续改进,包括业界很关注的MoE(......阅读全文
AI大模型“拿捏”电池寿命
作为现代生活中不可或缺的能源载体,电池的重要性不言而喻。从清晨唤醒我们的闹钟,到随身携带的手机、平板电脑等智能设备,无一不依赖于电池提供的稳定电力。此外,随着科技的发展,电动汽车、无人机等新兴领域也广泛应用了各类高性能电池,推动了绿色出行和智能科技的进步。因此,电池不仅极大地便利了我们的日常生活,还
释放AI大模型促消费潜力
今年的《政府工作报告》提出持续推进“人工智能+”行动,旨在抓住人工智能技术突破机遇,使我国数字技术与制造优势、市场规模优势充分结合,推动人工智能大模型广泛应用,真正赋能千行百业、走进千家万户。在构建新发展格局战略背景下,AI大模型在激活内需市场、促进消费升级等方面充满“模”力。 随着人工智能技
AI大模型走出“泡沫期”未来何如
今年3月ChatGPT-4上线以来,国内科技龙头企业密集推出人工智能大模型,百度“文心一言”、阿里云“通义千问”、华为“盘古”、360“智脑”、昆仑万维“天工”、京东“灵犀”、科大讯飞“星火”、腾讯“混元”、商汤“日日新”等大模型先后登场,呈现百花齐放、迅猛发展的态势。截至2023年10月初,国
华为发布大模型时代AI存储新品
原文地址:http://news.sciencenet.cn/htmlnews/2023/7/504751.shtm
AI大模型“源”炼造客服大脑
2018年至今,NLP领域经历了非常大的变化,Transformer、ELMO、BERT、GPT-3,再到最近的ChatGPT(GPT 3.5的微调)的突破,NLP在预训练大模型的暴力拆解路上越走越远,这也让各行业开始相信:很多之前无法做到的场景、效果,现在可以有新的解法和落地。 智能客服,是
厦大尝试AI大模型破译甲骨文
近日,厦门大学信息学院自然语言处理实验室教授史晓东团队申报的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”入选“探元计划2024”“创新探索型项目”TOP10榜单。基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型。厦门大学供图甲骨文也被称作“殷墟文字”,距今已有三千多年历史,是世界四大古文
设计基因编辑工具的AI大模型问世
记者27日从中国农业科学院获悉,该院农业基因组研究所农业基因编辑技术研发与应用创新团队构建了全球规模最大的实验验证数据集,并基于此开发出人工智能(AI)大模型AlphaCD。该模型不仅能高效预测超过2万余种胞嘧啶脱氨酶的酶活特征,还能设计出新型高性能碱基编辑工具。相关成果日前发表于国际期刊《细胞
刘聪:中国AI大模型也要走“直道冲锋”之路
原文地址:http://news.sciencenet.cn/htmlnews/2023/4/498384.shtm
顶流AI大模型集结中关村科学城
6月14日上午,2024北京智源大会在中关村国家自主创新示范区展示中心开幕,大会现场具身智能机器人Galbot和国内主流大模型展览区备受关注。 在展览区,记者看到银河通用首代具身智能机器人Galbot正忙着为嘉宾“送吃送喝”。收到指令后,Galbot自主导航到货架,通过“视觉”锁定货架上的目标
顶流AI大模型集结中关村科学城
6月14日上午,2024北京智源大会在中关村国家自主创新示范区展示中心开幕,大会现场具身智能机器人Galbot和国内主流大模型展览区备受关注。 在展览区,记者看到银河通用首代具身智能机器人Galbot正忙着为嘉宾“送吃送喝”。收到指令后,Galbot自主导航到货架,通过“视觉”锁定货架上的目标
新型AI芯片将大语言模型能耗减半
美国俄勒冈州立大学科研团队研发出一种新型AI芯片,成功将大语言模型的能耗降低50%。这项成果于近期在波士顿举行的IEEE定制集成电路会议上发布,是半导体领域的重大突破,有望成为解决大语言模型高能耗问题的“绿色钥匙”。 当前,以谷歌“双子座”和OpenAI的GPT-4为代表的大语言模型,因海量参
“达尔文”大模型发布-为生物领域打造AI大脑
7月4日,赛灵力联合清华珠三角研究院、赛业生物、大湾区科创中心共同举办达尔文大模型发布会。达尔文大模型基于多元、多模态复杂数据和先进的人工智能技术,对生物领域的复杂系统建模和分析进行深入研究,为生物学产业、研究和应用发展提供有力支撑。达尔文提出进化论,阐述物种进化的基本原理,即适者生存。对应的,达尔
生成式AI时代,大模型数据安全如何保障?
在生成式AI(人工智能)时代,数据安全的出路可能会是“用魔法打败魔法”,知识产权保护也可能要提前到token(字符串)层面。4月26日,在2024中关村论坛上,人工智能企业与学者就AI大模型的数据安全问题进行了讨论。中关村论坛数据安全治理与发展论坛现场 澎湃新闻记者 秦盛 摄“在生成式人工智能时代
阿里云推出首个域名AI大模型应用
8月8日,在阿里云万网焕新发布会上,阿里云宣布域名产品服务完成AI化系列改造,推出首个基于通义大模型的域名AI应用,并上线“.ai”等40余个全新的热门域名后缀、2000万个全球域名资源。域名是网站的地址,它就像现实生活中的门牌号,是互联网稳定运行和持续发展的关键基础资源。数据显示,中国域名保有量3
用AI生成数据训练AI或导致模型崩溃
《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被称为“模型崩溃”。研究显示,原始内容会在9次迭代以后,变成不相关的“胡言乱语”(演示中一个建筑文本最终变成了野兔的名字),这凸显出使用可靠数据训练
用AI生成数据训练AI或导致模型崩溃
科技日报北京7月25日电 (记者张梦然)《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被称为“模型崩溃”。研究显示,原始内容会在9次迭代以后,变成不相关的“胡言乱语”(演示中一个建筑文本最终变成了野
3大遥感数据源接入“商汤地界”AI遥感大模型
原文地址:http://news.sciencenet.cn/htmlnews/2024/3/519533.shtm近日,商汤科技宣布携手国内头部遥感数据平台“吉林一号网”、“四维地球”、“星图地球”,升级了其“SenseEarth智能遥感云”平台的数据源。用户无需准备数据,即可通过“商汤地界”平台
2023AI遥感大模型产业峰会在武汉召开
原文地址:http://news.sciencenet.cn/htmlnews/2023/8/505922.shtm
邬贺铨院士:AI大模型仍需“大力出奇迹”
中国工程院院士邬贺铨19日在2024北京人工智能生态大会上表示,人工智能是新质生产力的引擎,大模型的发展仍然需要“大力出奇迹”,多措并举提升对物理世界的模拟能力。算力、数据等是促进人工智能发展的关键要素。随着大模型的兴起,市场上对算力的需求剧增,特别是在大模型的训练环节,需要大型算力集群。邬贺铨指出
鹏城实验室发布“鹏城·脑海”通用AI大模型
原文地址:http://news.sciencenet.cn/htmlnews/2023/9/509318.shtm近日,中国工程院院士、鹏城实验室主任高文在2023华为全联接大会上正式发布了“鹏城·脑海”(PengCheng Mind)通用AI大模型,以国产化基座大模型为新一代AI大模型发展构筑新
AI大模型京企获数亿元融资
12月11日,总部位于北京的大模型初创企业面壁智能宣布完成新一轮数亿元融资,本轮融资由龙芯创投、鼎晖百孚、中关村科学城基金和赛富基金联合领投,北京市人工智能产业投资基金与清科创投跟投。 端侧AI,也称终端AI或设备端AI,是指人工智能的处理和推理过程直接在用户设备上完成,而不是依赖于远程云服务
上海AI实验室发布书生通用大模型体系
如同人类的“五感”互相连通密不可分,人工智能的视觉、语言、音频等模态间的边界日渐融合,随着人工智能感知、交互和生成能力的快速发展,多模态大模型正推动人工智能迈进“通感”时代。 上海人工智能实验室(上海AI实验室)于近日发布书生通用大模型体系,其中,书生·多模态包含200亿参数,由80亿海量多模
启信慧眼发布商业大数据领域AI大模型应用,降低“AI幻觉”概率
7月17日,上海合合信息科技股份有限公司旗下启信慧眼宣布完成品牌升级,定位为“商业数据智能决策企业级AI产品”。同时,启信慧眼首次发布中国商业大数据领域AI大模型应用,聚焦企业营销、尽调、风控等核心场景,赋能企业数智化转型。“慧眼”寓意洞察本质、明辨真伪的能力。合合信息数据事业部副总经理沈东辉表示,
AI“模型崩溃”风险需警惕
从客户服务到内容创作,人工智能(AI)影响了众多领域的进展。但是,一个日益严重的被称为“模型崩溃”的问题,可能会使AI的所有成就功亏一篑。“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出。多家外媒报
AI语言模型“提速”药物发现
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美国麻省理工学院和塔夫茨大学研究人员设计出一种基于大型语言模型(如ChatGPT)的人工智能算法,这种称为ConPLex的新模型可将目标蛋白与潜在的药物分子相匹配,而无需执行计算分子结
DeepMind-AI模型预测天气又快又好
近日一项发表于《自然》的研究报道了谷歌DeepMind开发的首个天气预测人工智能(AI)模型——GenCast。该模型比目前运行中的最佳中期预报系统——欧洲中期天气预报中心的集合预报(ENS)更精准。GenCast在8分钟内就能完成15天的预测,而目前的预测程序需要几个小时。据介绍,包括ENS在内的
AI“模型崩溃”风险需警惕
图片来源:美国《The Week》从客户服务到内容创作,人工智能(AI)影响了众多领域的进展。但是,一个日益严重的被称为“模型崩溃”的问题,可能会使AI的所有成就功亏一篑。“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型,可能会
《自然》封面:以AI生成数据训练AI,模型变傻?
大模型有许多“崩”的时候,但有一种崩溃叫做“自毁前程”—— 近日,《自然》发表在封面的一篇论文指出,用AI生成的数据集训练未来几代机器学习模型,可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示,原始内容会在数代内变成不相关的“胡
《自然》封面:以AI生成数据训练AI,模型变傻?
大模型有许多“崩”的时候,但有一种崩溃叫做“自毁前程”——近日,《自然》发表在封面的一篇论文指出,用AI生成的数据集训练未来几代机器学习模型,可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示,原始内容会在数代内变成不相关的“胡言乱语”
“大”以致用,百度开放文心大模型助阵AI大赛
4月16日,2021百度认知AI创意赛“AI创意派”决赛在京举行(含线上)。在本期赛事中,百度开放了文心大模型中的知识增强百亿参数大模型ERNIE 3.0的能力,选手可以近距离感受人工智能(AI)预训练大模型(以下简称大模型)的魅力,并基于对ERNIE技术能力的理解产生全新的应用。这是业内首次将先进