“弱智吧”帖子训练AI效果遥遥领先?研究团队回应

白岳霖和他的小伙伴们实在想不到,他们最近做的中文指令微调数据集,会因为使用了百度贴吧“弱智吧”的帖子相关数据而火爆“出圈”。白岳霖是中国科学院深圳先进技术研究院三年级硕士生。他的团队在题为“COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning”的研究中,使用“弱智吧标题+GPT-4回答”微调后的大模型评估结果,超过了他们收集的其他有监督微调(SFT)指令集数据。后者来自包括知乎、百科、豆瓣、小红书等社交平台。对此,业内人士表示“看论文看到哈哈大笑”。网友纷纷跟帖评论:“这把‘弱智吧’上大分”“大智若愚”“‘弱智吧’才是人类面对AI的最后一道堡垒”。“没想到这个工作‘出圈’了,但网上存在一些错误解读,比如有人拿这个研究调侃‘知乎不如弱智吧’。”作为论文共同第一作者,白岳霖告诉《中国科学报》,这篇文章的作者来自国内外多个顶尖机构,“考虑到团队学术......阅读全文

发布超200万篇论文后,arXiv丢了初心吗

2022年伊始,预印本服务器arXiv收获了一份新年大礼,全球科学家通过其发布的论文突破了200万篇。本该是庆贺时刻,但《科学美国人》(Scientific American)却跟进一篇报道,分析了arXiv当下暴露出的诸多问题,引起科学界热议。中国作为世界上论文数量产出最多的国家,arXiv的重要

论文突破200万篇后,arXiv却渐失人心?

2022年伊始,预印本服务器arXiv收获了一份新年大礼,全球科学家通过其发布的论文突破了200万篇。本该是庆贺时刻,但《科学美国人》(Scientific American)却发了一篇负面报道,分析了arXiv当下暴露出的诸多问题,引起科学界热议。中国作为世界上论文数量产出最多的国家,arXiv的

“弱智吧”帖子训练AI效果最好?作者回应

白岳霖和他的小伙伴们实在想不到,他们最近做的中文指令微调数据集,会因为使用了百度贴吧“弱智吧”的帖子相关数据而火爆“出圈”。白岳霖是中国科学院深圳先进技术研究院三年级硕士生。他的团队在题为“COIG-CQIA: Quality is All You Need for Chinese Instruct

“弱智吧”帖子训练AI效果遥遥领先?研究团队回应

白岳霖和他的小伙伴们实在想不到,他们最近做的中文指令微调数据集,会因为使用了百度贴吧“弱智吧”的帖子相关数据而火爆“出圈”。白岳霖是中国科学院深圳先进技术研究院三年级硕士生。他的团队在题为“COIG-CQIA: Quality is All You Need for Chinese Instruct

OpenAI打包新闻集团版权训练大模型

ChatGPT再扩容,这次将加入十余家媒体的新闻内容。当地时间5月22日,OpenAI宣布与新闻集团(News Corp)达成多年期协议,将获得主要新闻和信息出版物的当前和存档内容,包括《华尔街日报》《巴伦周刊》《纽约邮报》《泰晤士报》《太阳报》等十余家媒体。根据协议,OpenAI将能在ChatGP

全国首个DNA存储领域预训练大模型“ChatDNA”发布

近年来,DNA 和人工智能一直都是科技发展的热门议题。随着科学技术的进步,它们之间便有了无限的可能性。例如,DNA 和人工智能可以帮助我们更快地研究特定基因组的变异和功能。科学家可以使用人工智能算法来分析大量的 DNA 序列,从而发现有价值的变异和基因功能,为疾病的治疗提供线索。DNA 是生物世界中

科研人员开源本地通用幻灯片智能体模型与环境系统

  近日,中国科学院软件研究所团队开源第二代幻灯片智能体系统DeepPresenter,实现了将幻灯片智能体模型与完整的智能体沙箱环境一同开源,可在单张消费级显卡和终端上一键部署,并适配国产化算力生态。该成果重构了AI制作幻灯片逻辑,使智能体不仅能“深度探索”,还能“亲眼所见”。  在内容生成方面,

首个万字创作大模型“中文逍遥”在京发布

原文地址:http://news.sciencenet.cn/htmlnews/2023/10/510212.shtm

大模型训练遇“算力荒”,“超智融合”来帮忙

论及当下计算技术的发展方向和趋势,“超智融合”当仁不让——在今年6月发布的2024年全球“最节能超算”榜单(Green500)上,位列榜单前三的超算都采用了“超智融合”的技术理念。超智融合,顾名思义,意即“采用融合架构,集成超算和智算的功能”。在当前大模型训练不断需要大算力支持的时代背景下,超智融合

高文:将训练大模型底座面向全社会开放

·高文表示,开发大模型不是拍脑袋、喊口号那么容易,而是必须拥有算力,只有投入几十亿元甚至上百亿元才能做出“像样的东西”,但这笔资金对于高校和初创企业而言是一个门槛。“我们基本的想法就是用鹏城实验室的算力、公开渠道的数据,训练出大模型底座面向全社会开放,供研究人员、创业者使用。”5月22日,中国工程院

π0.5模型:助力机器人在陌生环境中完成家务活

机器人通常很难在它们没有接受过训练的地方执行任务,但一种新的人工智能模型可以帮助它们在不熟悉的环境中清理乱七八糟的东西或铺床。像ChatGPT这样的大型语言模型(LLM)提高了机器人执行口头要求的能力。然而,大多数机器人只有在它们接受过训练的环境中才能很好地工作;当面对新的和不熟悉的空间时,它们的性

面向跨模态遥感数据的生成式预训练大模型发布

以深度学习为代表的人工智能技术已被应用于多种遥感图像解译任务中。遥感数据幅宽大、场景内容复杂,一幅标准景图像往往就可达数十亿像素,覆盖上万平方公里,与自然场景数据存在较大差异。大多数现有的深度神经网络模型是利用自然场景图像预训练的权重来进行初始化,在遥感数据解译任务上的性能和普适性有待进一步提升。中

预训练模型创业渐入佳境

2月10日,创新工场在京宣布,北京澜舟科技公司已完成近亿元Pre-A轮融资,此次融资由联想创投、斯道资本共同领投,创新工场跟投。本轮融资澜舟科技将主要用于自然语言处理(NLP)核心产品的开发和前瞻性研究。澜舟科技的新一轮融资,是时下围绕人工智能预训练大模型的创新创业渐入佳境的生动体现。在澜舟科技创始

学术论文正被高价出售给大模型训练,作者却零收入

·越来越多的学术出版商正将研究论文卖给科技公司用以训练人工智能(AI)模型,而作者收入为零。大语言模型(LLM)因训练数据问题再次引发争议。日前,国际著名期刊《自然》(《Nature》)杂志编辑伊丽莎白·吉普尼(Elizabeth Gibney)发布一篇题为《你的论文被用来训练人工智能模型了吗?几乎

科学家在大模型少样本域适应方面取得进展

近日,中国科学院软件研究所天基综合信息系统全国重点实验室研究团队提出了一种新颖的提示学习方法BayesPrompt,该方法通过探索以去偏方式近似下游任务的完整训练域,为预训练语言模型提供去歧义指导。相关论文被机器学习领域顶级学术会议ICLR 2024接收。研究人员认为,学习范式长期存在的问题之一是下

欧洲核子中心“新粒子”引发论文潮

  欧洲核子研究中心的大型强子对撞机(LHC)可能找到了一种新的粒子,这种诱人的“可能”让理论物理学家的论文在短短两周内如潮水般涌出。   据《自然》期刊官网消息,12月15日欧洲核子研究中心的科学家宣布了他们的新发现,自那以后,论文预印本平台arXiv已经发布了95篇专门讨论这种假想新粒子的研究论

谷歌深度思维推出自我训练“机器猫”,可快速学习新任务

  谷歌“深度思维”公司研究人员最近将人工智能与一款名为“机器猫”的机器人结合起来,预计它将在自我训练机器人的世界中实现一大飞跃。利用大型语言模型背后的相同技术研发的“机器猫”,不仅可快速学习新任务,还可通过构建自己的性能数据来提高性能。研究论文发表在预印本服务器arXiv上。  到目前为止,机器人

1/7生物医学论文摘要由AI撰写

一项针对学术文献的大规模分析显示,去年发表的生物医学论文摘要中,约1/7可能借助人工智能(AI)完成撰写。2024年,医学数据库PubMed收录的150万篇摘要中,超过20万篇包含大型语言模型(LLM)常推荐使用的词汇。相关研究于2024年6月以预印本形式在线公布,当时预计上半年约1/9的摘要由AI

知名预印本服务器删除“争议”超导论文

富氢超导体是在一种叫做金刚石砧电池的高压装置中合成的。图片来源:MAX ALEXANDERS/SCIENCE SOURCE一场关于常温超导的争论已经进入了科学出版领域。据《科学》报道,近期,预印本服务器arXiv管理员删除了来自常温超导研究者的几篇论文,称他们的稿件含有煽动性内容和不专业的语言。Ar

谷歌推出自我训练“机器猫”,可快速学习新任务

原文地址:http://news.sciencenet.cn/htmlnews/2023/6/503738.shtm   ?人工智能与“机器猫”结合,可快速学习新任务。图片来源:深度思维科技日报北京6月28日电 (记者张梦然)谷歌“深度思维”公司研究人员最近将人工智能与一款名为“机器猫”的机

做数学题,人工智能与人类高手不相上下

一年前,美国谷歌旗下DeepMind公司开发的人工智能问题解决器AlphaGeometry,在国际数学奥林匹克竞赛(IMO)中达到银牌选手水平,震惊了世界。IMO是为有天赋的高中生设置的难度极高的数学竞赛。DeepMind团队现在表示,系统升级后的AlphaGeometry2的性能已经超过了IMO金

南开新成果可让Sora核心组件训练提速10多倍

2024年伊始,人工智能大模型ChatGPT母公司Open AI发布首个人工智能文字生成视频大模型Sora,通过计算机视觉技术模拟现实世界的动态变化,可以一次生成60秒流畅逼真的视频,被视为继ChatGPT之后人工智能技术的又一重大突破。但从实测Sora的一些“翻车”视频中可以看出,AI仍然存在着无

算法自动“划重点”---AI学会“抱佛脚”

预训练模型的兴起给自然语言处理(NLP)带来了“新面貌”。    近年来,Google、Facebook、OpenAI、微软、百度等人工智能“头部玩家”推出多个颇具影响的预训练模型,并反复迭代出十多个版本。无论学术界还是业界,人们对大规模预训练模型“热情高涨”。    日前,来自清华大学的一

这个简单的驾驶技巧可大幅减少汽车碳排放

司机可能会在接近十字路口时加速行驶,并在红灯前猛踩刹车——这种常见的驾驶习惯每年都会产生大量的碳排放。但是,一项近日公布于预印本服务器arXiv上的研究显示,将汽车设计成在十字路口滑行,可以显著减少每年的排放量。研究人员在美国的十字路口模拟了近100万个驾驶场景。图片来源:Aerial Archiv

独特视角:从物理智能到微波视觉(五)

用于训练样本的SAR图像往往并不充分,笔者提出基于生成网络的零样本学习方法,采用生成网络来层次化表征SAR图像特征,由此构建连续的可解释的特征空间,通过将SAR图像映射到该特征空间来实现对于未知样本的解译[21]。图14(a)为深度生成网络架构,由构造网络、生成网络和解译网络3部分组成,分别进行从已

因学术争议发起网络论战,结果他被禁言了

  最近,加州大学圣地亚哥分校的理论物理学家Jorge Hirsch很郁闷。  他因为与同行在室温超导性问题上的争论,被预印本网站arXiv禁言了。在长达6个月的时间里,他将无法在该网站发表论文。  Hirsch认为该禁令“非常不公平”,而且对他的研究有很大影响,“如果我不能发表论文,我就无法工作。

AI聊天机器人“阿谀奉承”伤害了科学

  近日,一项公布于预印本平台arXiv的研究发现,人工智能(AI)模型的谄媚程度比人类高50%。该研究测试了11个广泛使用的大型语言模型对1.15多万个咨询请求的响应情况,其中不乏涉及不当行为或有害行为的请求。  包括ChatGPT和Gemini在内的AI聊天机器人,常常会鼓励用户、给出过度奉承的

让Sora提速10多倍,南开团队开源MDTv2

南开新闻网讯(记者 高雨桐)2024年伊始,Open AI(美国开放人工智能研究中心)公司发布首个AI(人工智能)文字生成视频大模型Sora,通过计算机视觉技术模拟现实世界的动态变化,可以一次生成60秒流畅逼真的视频,被视为继ChatGPT之后人工智能技术的又一重大突破。但从实测Sora的一些“翻车

“华大智造津渡生科医学大模型创新中心”落成

  6月18日,深圳津渡生物医学科技有限公司与华大智造举行了揭牌仪式,并正式宣布“华大智造-津渡生科医学大模型创新中心”在津渡生科落成。双方将携手在医学诊断、人工智能等领域展开深入合作。  双方将基于华大智造DNBSEQ-G99平台,通过津渡生科超低测序量筛查算法,大幅扩充G99平台可检测的疾病门类

电子预印本文献库论文数破百万

   1991年,Paul Ginsparg成立 arXiv。图片来源:《自然》  arXiv.org是一个非常流行的预印本文献库。物理学家、数学家和计算机科学家通常会将论文草稿上传至该文献库,以便在同行评议前公开分享他们的研究发现。如今,该文献库已拥有100万余篇研究论文。  1991年8月,ar