压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道,美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA,能精简大型语言模型(LLM)的海量数据,为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动LLM在手机和笔记本电脑上高效使用。团队举例称,当人们使用ChatGPT时,请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大,通常还很慢。如果用户想要使用消费级图形处理单元运行LLM,就需要对这些LLM进行压缩。CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简,可在手机或笔记本电脑等设备上存储和访问,同时提供了与未压缩版本几乎一样准确而微妙的性能。虽然CALDERA并非首个压缩LLM的算法,但其独特之处在于兼具“低精度”和“低排序”两种特性。其中,“低精度”减少了比特数,加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。......阅读全文
压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道,美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA,能精简大型语言模型(LLM)的海量数据,为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本,还能推动LLM在手机和笔记本电脑上高效使用。团队举例称,当人们使用ChatGPT时,请求
8个小技巧“用好”大语言模型
用大语言模型,还需要技巧?在人们的印象中,这是个极其简单的操作:只需输入一个问题,立刻就能得到回答。但实际上,如何有效地与这些人工智能模型互动,发挥出它们的最大潜力,却是一个经常被忽视的话题。中国科学技术大学心理学系特任研究员林志成关注到这一话题,并在他最近的评论文章中提供了一系列的策略和指导,希望
新引擎实现大语言模型推理速度显著提升
原文地址:http://news.sciencenet.cn/htmlnews/2023/11/511841.shtm
新型AI芯片将大语言模型能耗减半
美国俄勒冈州立大学科研团队研发出一种新型AI芯片,成功将大语言模型的能耗降低50%。这项成果于近期在波士顿举行的IEEE定制集成电路会议上发布,是半导体领域的重大突破,有望成为解决大语言模型高能耗问题的“绿色钥匙”。 当前,以谷歌“双子座”和OpenAI的GPT-4为代表的大语言模型,因海量参
大语言模型在线辩论说服力超人类
实验设计示意图。图片来源:英国《自然·人类行为》在线版《自然·人类行为》19日发表的一项人工智能(AI)研究发现,在线辩论中,GPT-4一类的大语言模型(LLM)如能根据对手的个性化信息调整它们的论据,其说服力比人类辩手高出64%。研究结果显示了GPT-4生成有针对性和说服力论据的能力,揭示出AI工
“AI+教育”,复旦推出大语言模型助力新生报到
8月25日,是复旦大学本科生新生报到的日子。来自全国各地和全球40多个国家的4300余名2024级本科新生,开启了在复旦的求学生涯。新生报道现场。为帮助来自世界各地的新同学尽快融入复旦大学,学校基于大语言模型,推出“复旦迎新助手”智能Agent。作为新生的贴心小帮手,大语言模型为新同学在迎新阶段提供
日本发布大规模语言模型
科技日报讯 (记者李杨)东京工业大学、日本理化学研究所及富士通公司等近日宣布,利用超级计算机“富岳”,他们开发的大规模语言模型“Fugaku-LLM”正式发布。“Fugaku-LLM”是首个完全由日本国产技术构建的AI语言模型,其在处理日语及相关文化内容上表现卓越。模型特别擅长基于日语敬语进行自然对
日本发布大规模语言模型
东京工业大学、日本理化学研究所及富士通公司等近日宣布,利用超级计算机“富岳”,他们开发的大规模语言模型“Fugaku-LLM”正式发布。 “Fugaku-LLM”是首个完全由日本国产技术构建的AI语言模型,其在处理日语及相关文化内容上表现卓越。模型特别擅长基于日语敬语进行自然对话,并展现出在人
AI语言模型“提速”药物发现
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美国麻省理工学院和塔夫茨大学研究人员设计出一种基于大型语言模型(如ChatGPT)的人工智能算法,这种称为ConPLex的新模型可将目标蛋白与潜在的药物分子相匹配,而无需执行计算分子结
新算法将物理问题转化为量子语言
原文地址:http://news.sciencenet.cn/htmlnews/2023/12/515050.shtm科技日报讯 (记者刘霞)谷歌公司科学家设计出一种算法,可将复杂的物理问题转化为量子物理学的语言,这可能使量子计算机变得更有用。相关论文发表于最近的《物理评论X》杂志。 新成果
东北大学研究团队发布TechGPT2.0大语言模型
近日,计算机科学与工程学院任飞亮副教授主持的“东北大学知识图谱研究组”发布了大语言模型TechGPT2.0。 TechGPT-2.0在继承了TechGPT-1.0全部特性的同时,通过增加多领域、多任务的数据,展现出了嵌套实体的抽取、幻觉回答、回答不可回答问题和回答长文本问题的能力。这些改进使得
东北大学研究团队发布TechGPT2.0大语言模型
近日,计算机科学与工程学院任飞亮副教授主持的“东北大学知识图谱研究组”发布了大语言模型TechGPT2.0。TechGPT-2.0在继承了TechGPT-1.0全部特性的同时,通过增加多领域、多任务的数据,展现出了嵌套实体的抽取、幻觉回答、回答不可回答问题和回答长文本问题的能力。这些改进使得模型更适
科研人员利用大语言模型解释调节睡眠的分子机制
华中科技大学生命学院张珞颖团队和薛宇团队在Nature Communications杂志上合作发表了题为“Large-language models facilitate discovery of the molecular signatures regulating sleep and activ
科研人员利用大语言模型解释调节睡眠的分子机制
华中科技大学生命学院张珞颖团队和薛宇团队在Nature Communications杂志上合作发表了题为“Large-language models facilitate discovery of the molecular signatures regulating sleep and activ
首个种业大语言模型“丰登”发布
4月28日,中国农业大学生物学院教授王喜庆团队联合上海人工智能实验室、崖州湾国家实验室发布首个种业大语言模型“丰登”(SeedLLM)。种业大语言模型“丰登”。中国农业大学供图“丰登”集成了先进的人工智能技术(书生·浦语2.0)与大数据分析,通过深入学习我国迄今发布的科研文献、科技书籍、种企报告和历
清华团队与合作者推出大语言模型RealSafeR1
2月23日,清华大学与瑞莱智慧联合团队推出大语言模型RealSafe-R1。研发团队代表介绍说,实验数据表明RealSafe-R1安全性提升显著,“安全增强版DeepSeek”可为更多应用提供可靠坚实基座。连日来,国产开源大模型DeepSeek的优异表现备受关注,其在自然语言处理和多任务推理方面的能
微调大语言模型,科学家开发化学文本挖掘新方法
6月7日,中国科学院上海药物研究所研究员郑明月课题组在五项化学文本挖掘任务上对多个大语言模型的能力进行了全面综合的探究,展现了微调大语言模型成为一种通用高效的生成式文本挖掘方法,为大模型的落地应用提供参考。相关研究发表于《化学科学》。 近两年,以ChatGPT为代表的大语言模型(LLM)引领了人工智
360智脑通过中国信通院可信AIGC大语言模型功能评估
原文地址:http://news.sciencenet.cn/htmlnews/2023/6/502739.shtm6月12日,360智脑的360GPT-S2-V8型号产品获得了中国信息通信研究院(以下简称“中国信通院”)“可信AIGC大语言模型基础能力”评估报告(以下简称“报告”),报告显示必选项
日本将开发更强日语能力的“大语言模型”人工智能技术
据共同社消息,日本东北大学和日本东京工业大学等团队计划开发一种更强日语能力的“大语言模型”,作为生成式人工智能(AI)的基础技术。该团队将利用理化学研究所的超级计算机“富岳”学习大量数据,并将在本年度内逐步公开。这一技术的开发将使国内企业和研究人员能够为自己的公司的服务或研究而自行改良。生成式AI可
ChatGPT进入课堂:语言模型如何改变教育
最近,教育心理学家罗纳德·贝格托(Ronald Beghetto)以一种引人注目的方式引领一群研究生和教育专业人员,与一系列以创造力为中心的聊天机器人进行了交流。这些聊天机器人由贝格托设计,即将托管在亚利桑那州立大学(ASU)设立的平台上。这些机器人使用与ChatGPT相同的人工智能(AI)技术,目
神经机器模型能翻译200种语言
科技日报北京6月5日电 (记者张梦然)《自然》5日发表的一篇论文报道了一个Meta人工智能(AI)模型的底层技术。该模型能翻译200种不同语言,增加了机器翻译的语言数量。神经机器翻译模型利用人工神经网络翻译各种语言。这些模型通常需要大量可在线获取的数据加以训练,但并非所有语言数据都是公开、低成本或是
神经机器模型能翻译200种语言
自然》5日发表的一篇论文报道了一个Meta人工智能(AI)模型的底层技术。该模型能翻译200种不同语言,增加了机器翻译的语言数量。神经机器翻译模型利用人工神经网络翻译各种语言。这些模型通常需要大量可在线获取的数据加以训练,但并非所有语言数据都是公开、低成本或是普遍可及的,这类语言被称为低资源语言。一
华大基因发布大语言模型驱动新方法,助力罕见病精准防控
人工智能(AI)技术随着科技的飞速发展已广泛渗透至多个领域。在生命健康层面,AI凭借其独特优势在推动基因组医学的创新发展中扮演着重要角色,尤其是在罕见遗传疾病诊断中展现出了巨大的潜力。然而,利用基因测序技术对海量的基因组变异进行大规模、高效精准的致病因素识别,仍然是一个挑战。因此,基于基因检测大
科研人员开发出RNA基础语言模型
在真核生物中,RNA转录、剪接、翻译和降解等生物学过程受到顺式调控元件、RNA结构和反式作用因子的调控。解析RNA多层次调控,对研究基因表达分子机制和设计RNA药物具有重要意义。但是,由于调控复杂和数据量不足,构建RNA调控的预测模型面临挑战。 近日,中国科学院上海营养与健康研究所研究员张国庆
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的,一直是20世纪最大的科学挑战之一。现在,借助GROVER这一基于人类DNA训练的新型大型语言模型,研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发,它将人类DNA视为文本,通过学习其规则和上
我国学者提出用好大语言模型实用策略
当前,大语言模型的应用日益广泛,覆盖从文本生成到复杂问题解决等多个领域,如何更好利用AI工具?记者10日从中国科学技术大学获悉,该校心理学系林志成特任研究员近日在其评论文章中研究提出一项实用策略,帮助更好理解和利用先进的人工智能工具,有效发挥人工智能模型交互的最大潜力。在《自然人类行为》(Natur
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的,一直是20世纪最大的科学挑战之一。现在,借助GROVER这一基于人类DNA训练的新型大型语言模型,研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发,它将人类DNA视为文本,通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的,一直是20世纪最大的科学挑战之一。现在,借助GROVER这一基于人类DNA训练的新型大型语言模型,研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发,它将人类DNA视为文本,通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的,一直是20世纪最大的科学挑战之一。现在,借助GROVER这一基于人类DNA训练的新型大型语言模型,研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发,它将人类DNA视为文本,通过学习其规则
人工智能新模型可解码DNA隐藏“语言”
科技日报北京8月6日电 (记者张佳欣)DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的,一直是20世纪最大的科学挑战之一。现在,借助GROVER这一基于人类DNA训练的新型大型语言模型,研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发,它将