文档解析技术破解大模型语料“饥荒”难题
近日,由中国图象图形学学会主办的2024中国图象图形大会在西安开幕。大会通过20多场论坛、百余项成果,集中展示了生成式人工智能、大模型、机器学习、类脑计算等多个图像图形领域的进展。 大模型一路“高歌猛进”的背后,隐藏着一场关于模型训练语料的“能源危机”。根据人工智能研究人员小组Epoch研究估计,机器学习数据集可能会在2026年前耗尽所有“高质量语言数据”。现阶段,大量的高质量语料数据存在于书籍、论文、研报、企业文档等文档之中,复杂的版面结构制约了大模型的训练语料处理及大模型文档问答的应用能力。文档解析技术的进步,让机器能够识别文档中的多种元素,更好地处理文本、表格、图像等多类型数据,还原文档阅读顺序,加速大模型训练与应用。 大会期间,由CSIG文档图像分析与识别专委会与上海合合信息科技股份有限公司(简称“合合信息”)联合主办了“大模型技术及其前沿应用”论坛。论坛上,合合信息智能创新事业部研发总监常扬表示,文档解析的难点......阅读全文
OpenAI打包新闻集团版权训练大模型
ChatGPT再扩容,这次将加入十余家媒体的新闻内容。当地时间5月22日,OpenAI宣布与新闻集团(News Corp)达成多年期协议,将获得主要新闻和信息出版物的当前和存档内容,包括《华尔街日报》《巴伦周刊》《纽约邮报》《泰晤士报》《太阳报》等十余家媒体。根据协议,OpenAI将能在ChatGP
全国首个DNA存储领域预训练大模型“ChatDNA”发布
近年来,DNA 和人工智能一直都是科技发展的热门议题。随着科学技术的进步,它们之间便有了无限的可能性。例如,DNA 和人工智能可以帮助我们更快地研究特定基因组的变异和功能。科学家可以使用人工智能算法来分析大量的 DNA 序列,从而发现有价值的变异和基因功能,为疾病的治疗提供线索。DNA 是生物世界中
预训练模型创业渐入佳境
2月10日,创新工场在京宣布,北京澜舟科技公司已完成近亿元Pre-A轮融资,此次融资由联想创投、斯道资本共同领投,创新工场跟投。本轮融资澜舟科技将主要用于自然语言处理(NLP)核心产品的开发和前瞻性研究。澜舟科技的新一轮融资,是时下围绕人工智能预训练大模型的创新创业渐入佳境的生动体现。在澜舟科技创始
高文:将训练大模型底座面向全社会开放
·高文表示,开发大模型不是拍脑袋、喊口号那么容易,而是必须拥有算力,只有投入几十亿元甚至上百亿元才能做出“像样的东西”,但这笔资金对于高校和初创企业而言是一个门槛。“我们基本的想法就是用鹏城实验室的算力、公开渠道的数据,训练出大模型底座面向全社会开放,供研究人员、创业者使用。”5月22日,中国工程院
大模型训练遇“算力荒”,“超智融合”来帮忙
论及当下计算技术的发展方向和趋势,“超智融合”当仁不让——在今年6月发布的2024年全球“最节能超算”榜单(Green500)上,位列榜单前三的超算都采用了“超智融合”的技术理念。超智融合,顾名思义,意即“采用融合架构,集成超算和智算的功能”。在当前大模型训练不断需要大算力支持的时代背景下,超智融合
面向跨模态遥感数据的生成式预训练大模型发布
以深度学习为代表的人工智能技术已被应用于多种遥感图像解译任务中。遥感数据幅宽大、场景内容复杂,一幅标准景图像往往就可达数十亿像素,覆盖上万平方公里,与自然场景数据存在较大差异。大多数现有的深度神经网络模型是利用自然场景图像预训练的权重来进行初始化,在遥感数据解译任务上的性能和普适性有待进一步提升。中
学术论文正被高价出售给大模型训练,作者却零收入
·越来越多的学术出版商正将研究论文卖给科技公司用以训练人工智能(AI)模型,而作者收入为零。大语言模型(LLM)因训练数据问题再次引发争议。日前,国际著名期刊《自然》(《Nature》)杂志编辑伊丽莎白·吉普尼(Elizabeth Gibney)发布一篇题为《你的论文被用来训练人工智能模型了吗?几乎
面对大模型应用门槛高-如何大模型发挥更大价值?
原文地址:http://news.sciencenet.cn/htmlnews/2022/9/485510.shtm 人工智能预训练大模型的研发,面临着数据规模大、数据质量参差不齐、模型体积大、训练难度高、算力需求大等一系列挑战。在这样的背景下,如何加速大模型的产业落地,让大模型发挥更大价值?
用AI生成数据训练AI或导致模型崩溃
《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被称为“模型崩溃”。研究显示,原始内容会在9次迭代以后,变成不相关的“胡言乱语”(演示中一个建筑文本最终变成了野兔的名字),这凸显出使用可靠数据训练
用AI生成数据训练AI或导致模型崩溃
科技日报北京7月25日电 (记者张梦然)《自然》24日正式发表的一篇研究论文指出了一个人工智能(AI)严重问题:用AI生成的数据集训练未来几代机器学习模型,可能会严重“污染”它们的输出,这被称为“模型崩溃”。研究显示,原始内容会在9次迭代以后,变成不相关的“胡言乱语”(演示中一个建筑文本最终变成了野
抢抓大模型行业机会
机器人在7月6日举行的2023世界人工智能大会展会现场进行投篮表演。大会展示包括大模型、芯片、机器人、智能驾驶等领域的科技成果。 新华社记者 方 喆摄 今年以来,自ChatGPT发布后,多家企业先后发布了自己的大模型产品,业内称之为“百模大战”。与此同时,产业界对大模型的关注点也在发生变化,从
AI大模型“拿捏”电池寿命
作为现代生活中不可或缺的能源载体,电池的重要性不言而喻。从清晨唤醒我们的闹钟,到随身携带的手机、平板电脑等智能设备,无一不依赖于电池提供的稳定电力。此外,随着科技的发展,电动汽车、无人机等新兴领域也广泛应用了各类高性能电池,推动了绿色出行和智能科技的进步。因此,电池不仅极大地便利了我们的日常生活,还
国内首个渔业大模型范蠡大模型1.0发布
6月15日,范蠡大模型1.0 发布暨新质生产力推动京津冀现代渔业发展研讨会在京举行。会上发布了国内首个渔业大模型范蠡大模型1.0。范蠡大模型1.0由国家数字渔业创新中心主任、中国农业大学信息与电气工程学院教授李道亮团队联合中国联通、中国电信、中国移动三家运营商,以及全国主要水产院校和科研机构共同研发
国内首个渔业大模型范蠡大模型1.0发布
6月15日,范蠡大模型1.0 发布暨新质生产力推动京津冀现代渔业发展研讨会在京举行。会上发布了国内首个渔业大模型范蠡大模型1.0。 范蠡大模型1.0由国家数字渔业创新中心主任、中国农业大学信息与电气工程学院教授李道亮团队联合中国联通、中国电信、中国移动三家运营商,以及全国主要水产院校和科研机构
《自然》封面:以AI生成数据训练AI,模型变傻?
大模型有许多“崩”的时候,但有一种崩溃叫做“自毁前程”——近日,《自然》发表在封面的一篇论文指出,用AI生成的数据集训练未来几代机器学习模型,可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示,原始内容会在数代内变成不相关的“胡言乱语”
《自然》封面:以AI生成数据训练AI,模型变傻?
大模型有许多“崩”的时候,但有一种崩溃叫做“自毁前程”—— 近日,《自然》发表在封面的一篇论文指出,用AI生成的数据集训练未来几代机器学习模型,可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示,原始内容会在数代内变成不相关的“胡
首个量子领域大模型上线了!
百度量子计算研究所所长段润尧介绍,该量子领域大模型是在百度文心一言的基础上,使用量子领域高质量数据进行更有针对性的训练和优化而成的。它能更好地理解量子知识,执行量子领域相关任务。 据介绍,百度量子领域大模型将充分发挥技术协同效应,并提升现有大模型在训练速度、模型性能、交互效率等各个方面的能力。
释放AI大模型促消费潜力
今年的《政府工作报告》提出持续推进“人工智能+”行动,旨在抓住人工智能技术突破机遇,使我国数字技术与制造优势、市场规模优势充分结合,推动人工智能大模型广泛应用,真正赋能千行百业、走进千家万户。在构建新发展格局战略背景下,AI大模型在激活内需市场、促进消费升级等方面充满“模”力。 随着人工智能技
中科闻歌发布雅意大模型
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502201.shtm
“大模型不是万能的”
“大模型不是万能的,不能过度神话它。”这句话,《中国科学报》记者今年在不同场合听到多次。最近一次,是在“CCF太原大模型赋能文物古建保护与传承论坛”上。自2022年底OpenAI推出大语言模型产品ChatGPT以来,世界仿佛一下子“觉醒”到大模型时代——不仅各“大厂”都在奋力发展大模型,喊出了“所有
伏羲系列气象大模型2.0面世
中新社上海6月3日电 (记者 陈静)3日,“走进智能气象”主题活动暨智能气象创新生态联盟成立仪式在上海举办。全新升级、面向产业应用的伏羲系列气象大模型2.0(下文简称:“伏羲”2.0)面世,以“伏羲”2.0为核心的智能气象创新生态联盟同期成立。“伏羲”是人工智能驱动的次季节尺度气象大模型,可提供42
压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道,美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA,能精简大型语言模型(LLM)的海量数据,为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动LLM在手机和笔记本电脑上高效使用。团队举例称,当人们使用ChatGPT时,请求
大模型热要多点冷思考
行业大模型聚焦特定领域、针对特定场景、解决特定问题,能结合企业自身独特优势去精耕细作并赋能行业,从而形成差异化优势。走向细分领域才有更多机会,综合考虑行业专业性、持续迭代和综合成本等因素,行业大模型更容易实现商业价值落地。 用“百模大战”来形容当下人工智能大模型的火热程度一点也不夸张。数据显示
北京加快大模型应用落地见效
7月1日,2024全球数字经济大会人工智能专题论坛在中关村国家自主创新示范区会议中心举办。记者从论坛获悉,北京已发布的大模型产品有71个,约占全国一半,人工智能产业高地建设成效显著。未来,北京将加快实现大模型应用落地见效。人工智能在数字经济产业发展中具有很强的“头雁”效应,以大模型为代表的生成式人工
帕金森体外模型帕金森体外模型
体外培养的中脑多巴胺能神经元MPTP损伤模型l实验操作:实验采用胚胎龄14一16天的大鼠,剖子宫取胎,取胎鼠中脑腹侧区。可将多个胚胎来源的组织收集在一起,置Fl2培养基(Gibco)至35mm的培养皿中,以细剪刀剪碎。将2ml含0.125%的胰酶的F12加入到组织中,该混合物于37oC孵育10分钟后
刘韵洁:中国发展大模型的机会在通用行业大模型
中国工程院院士、紫金山实验室主任刘韵洁接受采访时判断,中国发展大模型的机会在于通用行业大模型。 在日前举办的2023中国算力大会间隙,刘韵洁接受媒体采访时说,“大模型方面,美国走在前面。”中国需要在算力、数据、网络等方面,进行深入的、专家层面的研究,制定出应对措施和办法。 他坦言:“当前大模
厦大尝试AI大模型破译甲骨文
近日,厦门大学信息学院自然语言处理实验室教授史晓东团队申报的“基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型”入选“探元计划2024”“创新探索型项目”TOP10榜单。基于甲骨文多模态大模型的多元信息甲骨文辅助考释模型。厦门大学供图甲骨文也被称作“殷墟文字”,距今已有三千多年历史,是世界四大古文
闭合式四肢骨折固定训练模型功能解析
知能医学模型供应的这款闭合式四肢骨折固定训练模型以成年男性躯体为基准,在模型的上肢前臂和下肢小腿上预设了骨折创伤,可供学员了解人体骨折时所具备的反常运动、成角畸形、活动后产生骨擦音,骨折上下肢需及时用夹板固定,防止反复活动造成骨折周围血管神经损伤等现象,可用于练习骨折复位方法及骨折固定的方法。功能特
大模型激活经济发展新动能
今年的政府工作报告提出,支持大模型广泛应用,并将其作为激发数字经济创新活力的核心举措之一。此举体现了我国对人工智能技术和数字经济发展的前瞻性布局,大模型成为带动千行百业生产力提升的新工具,更有望成为推动社会全面进步的重要力量。 作为人工智能领域前沿技术,大模型具有强大的数据处理和智能分析能力,
讯飞星火正式发布语音大模型
“听说今年尔滨特别火,作为南方小土豆还挺想去玩一下的。要不你用东北话介绍下有啥好玩的呗?” 1月30日,科大讯飞举行星火认知大模型V3.5升级发布会。科大讯飞董事长刘庆峰、研究院院长刘聪发布基于首个全国产算力训练的讯飞星火V3.5。在实操演示环节,刘聪和讯飞星火V3.5现场互动,后者一口地道的