人工智能数学评测难题终于有解了
人工智能模型正在变得越来越擅长数学，但领先者几乎都来自商业公司。名为首次证明的项目，旨在客观评估公开人工智能模型的数学推理能力，于今日发布第三批结果。它们既印证了近期头条所显示的——某些大语言模型正成为强大的科研工具，也暗示所谓前沿实验室的专有订阅模型，远胜更透明、更易获取的开放权重模型。斯坦福大学数学家、首次证明团队成员穆罕默德·阿布扎伊德表示，在研究级数学领域，开放权重模型与前沿模型之间的鸿沟极其巨大，远超其他领域。今年二月，一批顶尖数学家发起该项目，作为一道严格的独立考试，以穿透那些层出不穷却并不完美的模型评分基准。自那时起，人工智能征服数学的竞赛急剧加速。上周开放人工智能公司的重磅发布，平息了大量更紧迫的疑问，其中许多悬置数十年未解。而该公司上月对纳维叶-斯托克斯问题的求解，更让许多人相信，大语言模型即便尚未超越人类数学家，也已站在门槛之上。但这些突破远非受控实验。在那次发布中，公司未披露新模型尝试过的数千道题，其中多数......阅读全文
新引擎实现大语言模型推理速度显著提升
原文地址：http://news.sciencenet.cn/htmlnews/2023/11/511841.shtm
研究显示：大语言模型数学证明效果提升显著
核心数据：一份离奇的里程碑证明 数学界数十年来最重大的事件正逐渐清晰，而它比任何人设想的都更加离奇。九月初，OpenAI发布了一份令人费解的166页纳维-斯托克斯问题解答，这是数学界著名的百万美元难题之一。 该公司动用了约一万个副本的智能体群，也就是其新近擅长数学的大语言模型，耗费约88小时计算时
人工智能数学评测难题终于有解了
人工智能模型正在变得越来越擅长数学，但领先者几乎都来自商业公司。名为首次证明的项目，旨在客观评估公开人工智能模型的数学推理能力，于今日发布第三批结果。它们既印证了近期头条所显示的——某些大语言模型正成为强大的科研工具，也暗示所谓前沿实验室的专有订阅模型，远胜更透明、更易获取的开放权重模型。斯坦福大学
上海发布“书生·浦语”大模型：评测表现优秀
“书生·浦语”联合团队选取了20余项评测对其进行检验，其中包含全球最具影响力的四个综合性考试评测集，对“书生·浦语”、清华大学的GLM-130B、Meta的LLaMA-65B、OpenAI的ChatGPT和GPT-4进行了全面测试。6月7日，上海人工智能实验室（上海AI实验室）、商汤科技联合香港中文
科研人员提出大语言模型复杂执行路径推理能力分析框架
近日，中国科学院软件研究所等围绕动态类型程序语言中复杂执行路径难以有效分析的问题，分析大语言模型的路径约束推理能力，并构建覆盖测试生成、路径可行性判定和缺陷检测的评测基准。 执行路径由程序从入口到出口依次经过的语句和分支构成，是理解程序语义、生成高覆盖测试和发现特定路径缺陷的基础。传统符号执行
《中医药大模型评测标准》发布
近日，中医药交叉学科和智能科学大会在中国中医科学院举办，大会主题为“AI创新中医发展、数智均衡医疗资源”。国家中医药管理局副局长、中国中医科学院院长、中国工程院院士黄璐琦表示，中医药传承数千年，积累了海量的中医诊疗医案、处方等数据，但由于中医药名词术语与一般文本差别较大，挖掘其隐藏的知识、规律和经验
商汤大模型多个评测表现超ChatGPT
本报讯 （记者沈湫莎）商汤科技近日公布了自研中文语言大模型“商量SenseChat 2.0”在MMLU、AGIEval、C-Eval三个权威大语言模型评测基准的成绩。评测显示，“商量”在这三个测试集中的表现均领先ChatGPT，实现了我国语言大模型研究的突破。 全球三大权威语言模型测评基准
压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。团队举例称，当人们使用ChatGPT时，请求
商汤大模型“商量”多个评测表现超ChatGPT
原文地址：http://news.sciencenet.cn/htmlnews/2023/6/503362.shtm
《自然》发文盛赞中国开源AI模型DeepSeek
最近，由来自杭州的“深度求索”初创团队开发的DeepSeek系列AI模型，引发了全球范围的关注。1月24日，知名学术期刊《自然》也发文关注该模型及相应产品，称“中国开发的大语言模型DeepSeek-R1以亲民价格和开放性挑战了OpenAI的推理模型GPT-o1的地位，令科学家们感到兴奋”。《中国科学
硬刚“GPT4”，谷歌重磅推出最强杀手锏“Gemini”
12月6日，谷歌宣布推出其认为规模最大、功能最强大的人工智能模型Gemini。Gemini将包括三种不同的套件：Gemini Ultra，Gemini Pro和Gemini Nano。官方宣文中，概括出这三种套件的突出特性: Gemini Ultra——参数量最大，能力最强，适用于高度复杂的任
8个小技巧“用好”大语言模型
用大语言模型，还需要技巧？在人们的印象中，这是个极其简单的操作：只需输入一个问题，立刻就能得到回答。但实际上，如何有效地与这些人工智能模型互动，发挥出它们的最大潜力，却是一个经常被忽视的话题。中国科学技术大学心理学系特任研究员林志成关注到这一话题，并在他最近的评论文章中提供了一系列的策略和指导，希望
IDC、智源最新一期大模型评测结果出炉
6月17日记者获悉，由北京智源研究院（以下简称智源）打造的FlagEval天秤大模型评测平台实现了全面升级，并公布202406期FlagEval模型评测排行榜单。最新一期榜单显示，百度文心大模型、字节跳动“云雀”和“豆包”大模型的综合评分在闭源对话模型中位列前三，GPT-4o、百川、零一万物、k
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
科技日报北京8月6日电 （记者张佳欣）DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
IDC、智源最新一期大模型评测结果出炉
6月17日记者获悉，由北京智源研究院（以下简称智源）打造的FlagEval天秤大模型评测平台实现了全面升级，并公布202406期FlagEval模型评测排行榜单。最新一期榜单显示，百度文心大模型、字节跳动“云雀”和“豆包”大模型的综合评分在闭源对话模型中位列前三，GPT-4o、百川、零一万物、kim
谁是最会做题大模型？“高考评测”来了
2024年全国高考的“硝烟”刚刚散去不久，“大模型考生”就被抓回来重新“做题”了。市面上涌现出的大模型产品让人眼花缭乱，围绕“大模型技术哪家强”的讨论不绝于耳，各色名目的大模型评测应运而生。作为国内最权威的考试之一，高考覆盖各类学科及题型，同时在开考前属于“绝密”，非常适合用来作为考查大模型智能水平
日本将开发更强日语能力的“大语言模型”人工智能技术
据共同社消息，日本东北大学和日本东京工业大学等团队计划开发一种更强日语能力的“大语言模型”，作为生成式人工智能（AI）的基础技术。该团队将利用理化学研究所的超级计算机“富岳”学习大量数据，并将在本年度内逐步公开。这一技术的开发将使国内企业和研究人员能够为自己的公司的服务或研究而自行改良。生成式AI可
最新AI基准测试榜单发布，浪潮信息英伟达霸榜
美国东部时间12月1日，国际权威AI基准测试MLPerfTM公布最新一期训练（Training）榜单V1.1。在全部16个固定任务（Closed Division）测试中，浪潮信息和英伟达包揽15项冠军。 在单机测试的8项任务中，浪潮信息获7项冠军，英伟达获1项冠军；在集群测试的8项任务中
百川智能发布Baichuan－2大模型，将公开详细技术报告
原文地址：http://news.sciencenet.cn/htmlnews/2023/9/508206.shtm近日，在北京市科委、中关村管委会和北京市海淀区政府的指导下，以“百川汇海，开源共赢”为主题的大模型发布会在京召开。会上，百川智能宣布正式开源微调后的Baichuan 2-7B、Baic
大语言模型现状偏见难题终于有解了
加拿大滑铁卢大学的一项综合研究揭示，主流大语言模型存在显著的现状偏见，在气候相关建议中持续偏向既有、高排放的选择，而非创新的、对气候友好的替代方案。研究团队评估了十一个知名人工智能模型，在近五万五千条测试提示中，发现聊天机器人认可现有政策的概率，是支持拟议气候改革方案的两倍；而被推荐的电动汽车比
研究显示：大推理模型的“思维链”效果存疑
大型推理模型（LRM）到底是在“推理”，还是仅仅给出了正确答案却说错了理由？2025年，东北大学和加州大学伯克利分校的团队对前沿开源LRM的研究显示，模型在基准数学题上产生的“思考步骤”中，有 30%到60% 对最终答案“几乎无因果影响”——砍掉一半，性能几乎不掉。作者魏彦诗（Weiyan Shi
谷歌推出两大数学模型，19秒解开IMO2024几何问题
·六道题每题可得7分，总分最高42分。谷歌DeepMind的人工智能系统在今年国际数学奥林匹克竞赛中最终得分28分。今年金牌的门槛是29分，在正式比赛的609名选手中，58名达到了这一门槛。·DeepMind表示，尽管基于自然语言的方法可以访问更多数据，但会产生看似合理但不正确的中间推理步骤和解决方
AI参加高考，为何偏科严重
大模型参加高考，能考多少分？近日，科技创新交流平台极客公园发布高考新课标Ⅰ卷大模型评测报告，在参试大模型中，GPT-4o以562分的成绩排名文科第一。参加评测的8款国产大模型中，字节跳动旗下的豆包成绩是542.5分，其后依次是百度文心一言4.0的537.5分和百川智能“百小应”的521分。本次大模型
我国多款自研制人工智能大模型正式面向公众开放服务
科技发展飞快，人工智能逐步研发出来。百度的文心一言、抖音的云雀大模型、中科院的紫东太初大模型等8款由中国科技企业或科研机构自主研发的人工智能大模型，8月31日宣布正式面向公众开放服务。 这是中国自主研发的人工智能大模型首次向公众开放服务。业内认为，这意味着中国人工智能大模型将获得更大的数据规模
第一！医渡科技大模型登顶上海AI实验室权威评测榜
5月9日,面向中文医疗大语言模型的开放评测平台MedBench更新评测榜单,医渡科技大模型(评测名:HH-YIDU-Med)以综合得分61.3分的出色成绩登顶榜首,成为榜单中首个综合评分超过60的医疗大模型。MedBench评测榜单节选 MedBench是由上海AI实验室和上海市数字医学创新中
国内首批大模型标准评测结果公布，4家通过
原文地址：http://news.sciencenet.cn/htmlnews/2023/12/514789.shtm12月22日，在全国信息技术标准化技术委员会人工智能分委会全体会议上，国内首个官方“大模型标准符合性评测”结果公布。结果显示，首批有四家公司的大模型产品通过该评测，分别为百度文心一言