新引擎实现大语言模型推理速度显著提升

原文地址:http://news.sciencenet.cn/htmlnews/2023/11/511841.shtm......阅读全文

新引擎实现大语言模型推理速度显著提升

原文地址:http://news.sciencenet.cn/htmlnews/2023/11/511841.shtm

研究显示:大推理模型的“思维链”效果存疑

大型推理模型(LRM)到底是在“推理”,还是仅仅给出了正确答案却说错了理由?2025年,东北大学和加州大学伯克利分校的团队对前沿开源LRM的研究显示,模型在基准数学题上产生的“思考步骤”中,有 30%到60% 对最终答案“几乎无因果影响”——砍掉一半,性能几乎不掉。作者魏彦诗(Weiyan Shi

OpenAI-发布新一代大模型,更擅长推理也更贵

传说中的“草莓”现身,9月12日晚间,OpenAI正式对外发布一款名为o1的新模型,这款模型为该公司下一代 “推理” 模型中的第一个,o为“Orion(猎户座)”,这款模型可以比人类更快地回答更复杂的问题。与以前的模型相比,在编写代码和解决多步骤问题方面做得更好。但它也比此前发布的GPT-4o更贵,

大模型加速改变云计算行业规则

原文地址:http://news.sciencenet.cn/htmlnews/2023/4/498365.shtm

我国科学家提出高效推理策略-可避免大模型“过度思考”

  随着人工智能大模型的不断发展,如何让其在“难”的问题上深入思考,而不是对所有问题“想个不停”?记者5月29日从中国科学院自动化研究所获悉,该所联合鹏城实验室提出了一种高效推理策略AutoThink,可让大模型实现自主切换思考模式,避免“过度思考”。  “当前,越来越多的大模型开始具备‘深度思考能

科研人员提出大语言模型复杂执行路径推理能力分析框架

  近日,中国科学院软件研究所等围绕动态类型程序语言中复杂执行路径难以有效分析的问题,分析大语言模型的路径约束推理能力,并构建覆盖测试生成、路径可行性判定和缺陷检测的评测基准。  执行路径由程序从入口到出口依次经过的语句和分支构成,是理解程序语义、生成高覆盖测试和发现特定路径缺陷的基础。传统符号执行

OpenAI推出具备推理能力新AI模型

据ChatGPT制造者美国开放人工智能公司(OpenAI)官网12日报道,该公司已经成功研发出一系列具备推理能力的人工智能(AI)模型,并命名为“OpenAI o1”。这些模型的独特之处在于,其会花更长时间思考问题,再做出响应,就像人类一样。因此,这些模型能对复杂任务进行推理,解决以前模型很难解决的

智谱发布推理模型初代版本

12月31日,国内明星大模型创业公司北京智谱华章科技有限公司推出基于扩展强化学习技术训练的推理模型GLM-Zero-Preview,擅长处理数理逻辑、代码和需要深度推理的复杂问题。GLM-Zero-Preview是GLM-Zero的初代版本。智谱表示,目前的GLM-Zero-Preview与Open

OpenAI推出具备推理能力新AI模型

据ChatGPT制造者美国开放人工智能公司(OpenAI)官网12日报道,该公司已经成功研发出一系列具备推理能力的人工智能(AI)模型,并命名为“OpenAI o1”。这些模型的独特之处在于,其会花更长时间思考问题,再做出响应,就像人类一样。因此,这些模型能对复杂任务进行推理,解决以前模型很难解决的

科学家提出融合智能火灾预测与大语言模型的自驱动消防应急智能体

  香港理工大学建筑环境及能源工程系副教授黄鑫炎、博士研究生谢伟康等提出“LLM-AI”自驱动的消防应急智能体框架,以大语言模型(LLM)作为任务协调与推理核心,将AI火场态势感知模型作为专业工具纳入智能体的自主执行流程,弥合了火灾场景下人工智能与用户的交互鸿沟,为未来城市中的智慧消防技术落地提供了

OpenAI最新模型o3展现强大推理能力

  12月20日,美国开放人工智能研究中心(OpenAI)介绍了其最新的人工智能(AI)推理模型——o3及其轻量版o3-mini。该公司宣称,o3具备更先进、近似人类的推理能力,在代码编写、数学竞赛和掌握人类博士级别的科学知识等方面,均超越了其“前辈”o1。  不过,英国《新科学家》网站在12月22

手机就能跑!腾讯推出4款可端侧部署的开源模型

8月4日,腾讯混元宣布开源4款小尺寸模型,参数规模分别为0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗端侧场景,且支持垂直领域低成本微调。据介绍,新开源的4个模型属于融合推理模型,具备推理速度快、性价比高的特点,用户可根据使用场景灵活选择模型思

ChatGPT如何“思考”

北京时间5月14日凌晨,美国开放人工智能研究中心(OpenAI)发布了其下一代大型语言模型GPT-4o,人工智能(AI)领域再起硝烟。尽管AI一词已很普及,但其内部运作方式仍像黑箱操作一样,是一个谜。因为AI依赖机器学习算法,而先进的机器学习算法使用模拟人脑结构的神经网络,信息在不同神经元间传递,以

清华大学等发布超长时长、高性价比的Sora级视频生成大模型

近日,北京极佳视界科技有限公司联合清华大学自动化系正式发布我国首个超长时长、高性价比的Sora级视频生成大模型“视界一粟 YiSu”。据介绍,“视界一粟 YiSu”可生成1分钟以上的视频,并拥有超大运动、超强表现力等优势;此外,该模型成本更低、速度更快,有望更快实现长视频生成的大规模产品应用。清华大

AI心理推断能力或与人类相当,但不意味它们有情商

新一期《自然·人类行为》发表论文显示,在测试追踪他人心理状态能力——也称心智理论(Theory of Mind)的任务中,两类大语言模型(LLM)在特定情况下的表现与人类相似,甚至更好。研究团队对热门LLM展开测试。心智理论对人类社交互动十分重要,是人类沟通交流和产生共鸣的关键。之前的研究表明,LL

AI心理推断能力或与人类相当,但不意味它们有情商

  新一期《自然·人类行为》发表论文显示,在测试追踪他人心理状态能力——也称心智理论(Theory of Mind)的任务中,两类大语言模型(LLM)在特定情况下的表现与人类相似,甚至更好。  研究团队对热门LLM展开测试。图片来源:《自然·人类行为》  心智理论对人类社交互动十分重要,是人类沟通交

学者发布无机材料AI模型,推理能力到达新高度

松山湖材料实验室研究员孟胜/刘淼团队在国家自然科学基金等项目的支持下,研发了一种基于深度学习图结构的通用预训练力场(graph-based pre-trained transformer force field,简称GPTFF)。相关成果近日发表于《科学通报(英文版)》(Science Bullet

AI心理推断能力或与人类相当,但不意味它们有情商

新一期《自然·人类行为》发表论文显示,在测试追踪他人心理状态能力——也称心智理论(Theory of Mind)的任务中,两类大语言模型(LLM)在特定情况下的表现与人类相似,甚至更好。研究团队对热门LLM展开测试。图片来源:《自然·人类行为》心智理论对人类社交互动十分重要,是人类沟通交流和产生共鸣

中国农业大学发布“工耕”农业机器人大模型

  7月3日,在2026全球数字经济大会物联网与智慧城市专题论坛上,中国农业大学农业具身智能机器人团队正式发布“工耕”农业机器人大模型。  发布现场,团队负责人、中国农业大学教授陈建介绍了“工耕”农业机器人大模型。该模型面向作物生产场景,针对教学科研和农业生产中的实际需求,聚焦农业具身智能机器人核心

阿里云:CPU为中心的计算体系也可加速AI推理

原文地址:http://news.sciencenet.cn/htmlnews/2024/1/515906.shtm

青年科学家:尺度定律不能显著提高模型因果推理能力

幻觉和泛化是模型落地绕不开的话题。模型的幻觉带来错误回答,使得人们在一些关键的认知上产生疑虑,一定程度上会阻碍大模型落地。由于过分注重尺度定律,人力、算力等大量资源资源投入到尺度定律,导致基层研究人员没有足够多的计算资源研究新的模型路线,挤压创新空间。青年科学家共同探讨大模型技术架构的未来可能性人工

AI尚不具备独立临床诊疗的能力

  尽管人工智能(AI)在医疗领域的应用日益增多,但其“像医生一样思考”的能力仍存在明显短板。由美国麻省总医院MESH孵化器团队开展的一项最新研究发现,生成式AI在临床推理关键环节仍显不足,尚不具备独立承担临床诊疗任务的能力。相关成果发表在最新一期《JAMA Network Open》上。  团队选

GPT4驱动的机器人化学家登Nature:自主设计反应,挑战复杂实验

  基于 Transformer 的大语言模型(LLM)在自然语言处理、生物、化学和计算机编程等各个领域取得了重大进展。  但对于在实验室工作的研究人员或那些不熟悉计算机代码的人来说,人工智能方法并不那么容易理解。  近日,卡内基梅隆大学的研究团队找到了如何让人工智能系统自学化学的方法。提出了一种基

“征服”数学,AI是否有能力“回答世界”

最近,专门为人工智能(AI)设立的AI国际奥林匹克数学竞赛(IMO)即将进入尾声,其结果将随今年7月于英国巴斯举行的65届IMO大会同步揭晓。这项赛事的目的是推动发展大语言模型的数学推理能力,训练出更高数学水平的新AI模型。     纯数学领域中的重大发现是推理和创造力的灵感结晶,往往意味着人类智慧

科大讯飞全国产深度推理模型星火X1实现升级

  3月3日,记者从科大讯飞获悉,其自主研发的全国产深度推理大模型“星火X1”完成全面升级,并在医疗、教育等领域推出系列创新应用。科大讯飞表示,此次升级“充分证明基于国产算力训练的全栈自主可控大模型具备登顶业界最高水平的强大实力和持续创新的巨大潜力”。  在升级后的星火X1加持下,科大讯飞旗下讯飞晓

讯飞联手华为攻克全国产算力下推理模型训练难关

1月15日,科大讯飞发布了我国“全国产”算力平台第一个深度推理大模型——讯飞星火X1。据公开测试,该模型中文数学能力表现突出,目前已应用于教育、医疗等场景。在大模型研发领域,讯飞星火坚持走全国产化路线。据科大讯飞研究院副院长殷兵介绍,尽管在全国产算力平台上训练深度推理模型遭遇了诸多挑战,但科大讯飞携

面对大模型应用门槛高-如何大模型发挥更大价值?

原文地址:http://news.sciencenet.cn/htmlnews/2022/9/485510.shtm 人工智能预训练大模型的研发,面临着数据规模大、数据质量参差不齐、模型体积大、训练难度高、算力需求大等一系列挑战。在这样的背景下,如何加速大模型的产业落地,让大模型发挥更大价值?

日本发布大规模语言模型

科技日报讯 (记者李杨)东京工业大学、日本理化学研究所及富士通公司等近日宣布,利用超级计算机“富岳”,他们开发的大规模语言模型“Fugaku-LLM”正式发布。“Fugaku-LLM”是首个完全由日本国产技术构建的AI语言模型,其在处理日语及相关文化内容上表现卓越。模型特别擅长基于日语敬语进行自然对

日本发布大规模语言模型

  东京工业大学、日本理化学研究所及富士通公司等近日宣布,利用超级计算机“富岳”,他们开发的大规模语言模型“Fugaku-LLM”正式发布。  “Fugaku-LLM”是首个完全由日本国产技术构建的AI语言模型,其在处理日语及相关文化内容上表现卓越。模型特别擅长基于日语敬语进行自然对话,并展现出在人

2023人工智能算力性能500排行榜出炉

原文地址:http://news.sciencenet.cn/htmlnews/2023/11/512087.shtm在11月10日举行的第5届中国超级算力大会(ChinaSC 2023)上,由中科院计算技术研究所研究员张云泉、清华大学教授陈文光、美国阿贡国家实验室Pavan Balaji研究员和瑞