AI辅助编程安全研究取得重大进展
随着大语言模型（LLM）深度介入软件开发，其带来的安全隐患正引发广泛关注。得克萨斯大学圣安东尼奥分校（UTSA）的研究人员完成了迄今最全面的相关研究之一，在一篇新论文中揭示了一类特定错误可能对借助 AI 写代码的程序员构成严重威胁。该论文已被网络安全与隐私领域顶级会议 USENIX Security Symposium 2025 接收。 研究背景要追溯到"幻觉"这一根本现象：当 LLM 产出与事实不符、荒谬或与任务无关的内容时，便产生了幻觉。以往研究多聚焦机器翻译、摘要与对话式 AI 等自然语言任务。而由 UTSA 博士生 Joe Spracklen 领衔的团队，将目光投向了"包幻觉（package hallucination）"——即 LLM 生成或推荐使用一个根本不存在的第三方软件库。Spracklen 解释其危险性："这不需要任何复杂的情境，只是输入一行程序员每天都敲的命令，就足以触发，非常直接、非常简单。" 由于 ......阅读全文
AI辅助编程安全研究取得重大进展
随着大语言模型（LLM）深度介入软件开发，其带来的安全隐患正引发广泛关注。得克萨斯大学圣安东尼奥分校（UTSA）的研究人员完成了迄今最全面的相关研究之一，在一篇新论文中揭示了一类特定错误可能对借助 AI 写代码的程序员构成严重威胁。该论文已被网络安全与隐私领域顶级会议 USENIX Securit
提高大语言模型可信度，新方法助生成式AI破除“幻觉”
人工智能（AI）在给出准确答案的同时，也会有一些“胡乱输出”令人难辨真假，这被称为“幻觉”（hallucination）。而新一期《自然》杂志发表的一项研究报道了一种新方法，能检测大语言模型（LLM）产生的“幻觉”，即该方法能测量生成回答的含义的不确定性，或能提升LLM输出答案的可靠性。类似Chat
生成式AI时代，大模型数据安全如何保障？
在生成式AI（人工智能）时代，数据安全的出路可能会是“用魔法打败魔法”，知识产权保护也可能要提前到token（字符串）层面。4月26日，在2024中关村论坛上，人工智能企业与学者就AI大模型的数据安全问题进行了讨论。中关村论坛数据安全治理与发展论坛现场 澎湃新闻记者 秦盛 摄“在生成式人工智能时代
新型AI芯片将大语言模型能耗减半
美国俄勒冈州立大学科研团队研发出一种新型AI芯片，成功将大语言模型的能耗降低50%。这项成果于近期在波士顿举行的IEEE定制集成电路会议上发布，是半导体领域的重大突破，有望成为解决大语言模型高能耗问题的“绿色钥匙”。 当前，以谷歌“双子座”和OpenAI的GPT-4为代表的大语言模型，因海量参
AI语言模型“提速”药物发现
原文地址：http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美国麻省理工学院和塔夫茨大学研究人员设计出一种基于大型语言模型（如ChatGPT）的人工智能算法，这种称为ConPLex的新模型可将目标蛋白与潜在的药物分子相匹配，而无需执行计算分子结
“AI+教育”，复旦推出大语言模型助力新生报到
8月25日，是复旦大学本科生新生报到的日子。来自全国各地和全球40多个国家的4300余名2024级本科新生，开启了在复旦的求学生涯。新生报道现场。为帮助来自世界各地的新同学尽快融入复旦大学，学校基于大语言模型，推出“复旦迎新助手”智能Agent。作为新生的贴心小帮手，大语言模型为新同学在迎新阶段提供
启信慧眼发布商业大数据领域AI大模型应用，降低“AI幻觉”概率
7月17日，上海合合信息科技股份有限公司旗下启信慧眼宣布完成品牌升级，定位为“商业数据智能决策企业级AI产品”。同时，启信慧眼首次发布中国商业大数据领域AI大模型应用，聚焦企业营销、尽调、风控等核心场景，赋能企业数智化转型。“慧眼”寓意洞察本质、明辨真伪的能力。合合信息数据事业部副总经理沈东辉表示，
全球首位AI工程师诞生－“码农”未来会消失？
原文地址：http://news.sciencenet.cn/htmlnews/2024/3/519088.shtm程序员工程师开发出了AI程序员替代自己编程，然后革了自己的命？随着全球首位AI工程师Devin的诞生，这样的桥段有可能要上演。近日，AI时代需不需要程序员引发热议，李彦宏、周鸿祎等多位
AI视频生成模型Sora来了
原文地址：http://news.sciencenet.cn/htmlnews/2024/2/517625.shtm
写代码，AI战胜“码农”
下棋、玩桌游的人工智能（AI），又与人类比起了写代码，并击败了约一半的人类参赛者。这位写多少代码都不会“头秃”的“程序员”，就是英国DeepMind公司的AI智能体AlphaCode。12月8日，AlphaCode的相关研究登上了《科学》封面。 近期风靡社交网络的并非AlphaCode，而是一款
压缩算法为大语言模型“瘦身”
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学团队开发出一种新压缩算法CALDERA，能精简大型语言模型（LLM）的海量数据，为LLM“瘦身”。这项算法不仅有助保护数据隐私、节约能源、降低成本，还能推动LLM在手机和笔记本电脑上高效使用。团队举例称，当人们使用ChatGPT时，请求
专家认为AI是辅助工具而非替代人类的“软件开发者”
10月24日，2024中国计算机大会（CNCC2024）在浙江东阳横店开幕，吸引了一万多名计算相关领域学术、教育、企业界人士参会。围绕“发展新质生产力，计算引领未来”主题，800多位国内外知名专家学者、企业技术精英应邀在大会演讲交流，其中包括图灵奖获得者以及十余位院士。“我们正置身于一个前所未有的变
百度首席技术官首度表态“通用人工智能”
原文地址：http://news.sciencenet.cn/htmlnews/2023/8/507230.shtm“过去一段时间，以大语言模型为代表的人工智能技术取得了令人震撼的成绩，而这些已经让我们看到了通用人工智能的曙光。”近日，在由深度学习技术及应用国家工程研究中心主办的WAVE SUMMI
百度首席技术官首度表态“通用人工智能”
“过去一段时间，以大语言模型为代表的人工智能技术取得了令人震撼的成绩，而这些已经让我们看到了通用人工智能的曙光。”近日，在由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会上，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰首次发表他对于通用人工智
用AI生成数据训练AI或导致模型崩溃
科技日报北京7月25日电 （记者张梦然）《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野
用AI生成数据训练AI或导致模型崩溃
《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野兔的名字），这凸显出使用可靠数据训练
8个小技巧“用好”大语言模型
用大语言模型，还需要技巧？在人们的印象中，这是个极其简单的操作：只需输入一个问题，立刻就能得到回答。但实际上，如何有效地与这些人工智能模型互动，发挥出它们的最大潜力，却是一个经常被忽视的话题。中国科学技术大学心理学系特任研究员林志成关注到这一话题，并在他最近的评论文章中提供了一系列的策略和指导，希望
百度CTO王海峰：通用人工智能曙光已现
“过去一段时间，以大语言模型为代表的人工智能技术取得了令人震撼的成绩，而这些已经让我们看到了通用人工智能的曙光。” 近日，在由深度学习技术及应用国家工程研究中心主办的WAVE SUMMIT深度学习开发者大会上，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰首次发表他对于通用人工智
评测成绩比肩GPT4，商汤日日新大模型再升级
原文地址：http://news.sciencenet.cn/htmlnews/2024/2/517164.shtm近日，商汤科技发布“日日新SenseNova 4.0”，多维度升级了大模型体系。据介绍，日日新SenseNova 4.0 具备更广泛的知识覆盖、更稳定的推理能力、更优秀的长文本理解力、
《自然》封面：以AI生成数据训练AI，模型变傻？
大模型有许多“崩”的时候，但有一种崩溃叫做“自毁前程”—— 近日，《自然》发表在封面的一篇论文指出，用AI生成的数据集训练未来几代机器学习模型，可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示，原始内容会在数代内变成不相关的“胡
《自然》封面：以AI生成数据训练AI，模型变傻？
大模型有许多“崩”的时候，但有一种崩溃叫做“自毁前程”——近日，《自然》发表在封面的一篇论文指出，用AI生成的数据集训练未来几代机器学习模型，可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示，原始内容会在数代内变成不相关的“胡言乱语”
AI论文数量激增但质量下滑：大语言模型重塑科研生态的双刃剑
ChatGPT之后的科研出版变局二〇二二年底ChatGPT对公众和学术界全面开放之后，世界各地的研究者在日常交流中开始频繁告诉同事自己能用这些新的人工智能工具完成更多学术工作；几乎在同一时间，各大科技期刊的编辑们开始报告一个前所未见的现象——语言表达极其流畅自然而科学实质内容似乎并未显著增加的投稿数
AI大模型“拿捏”电池寿命
作为现代生活中不可或缺的能源载体，电池的重要性不言而喻。从清晨唤醒我们的闹钟，到随身携带的手机、平板电脑等智能设备，无一不依赖于电池提供的稳定电力。此外，随着科技的发展，电动汽车、无人机等新兴领域也广泛应用了各类高性能电池，推动了绿色出行和智能科技的进步。因此，电池不仅极大地便利了我们的日常生活，还
聊天机器人助力构建更好芯片
美国芯片巨头英伟达公司正在对人工智能（AI）技术进行优化，以帮助人类工程师制造出更好的计算机芯片。相关论文已经提交论文预印本网站。 英伟达公司工程师定制了由元宇宙平台公司开发的LLAMA2模型，并借助本公司在芯片设计和验证过程中获得的专业数据对该模型进行训练，经过专门培训的大型语言模型被重新命
大模型让全球“黑客”狂欢！AI安全向何处去？
对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信
生物学将是下一代计算平台:DNA是代码,CRISPR是编程语言
每一个行业都在向CRISPR投入大量的资金——制药、农业、能源、材料制造。甚至连那些大麻贩子都想砸钱进去。日前，《连线》杂志发表了一篇文章，详细地报道了在这样的趋势下诞生的创业公司。生物技术公司的高管们宣称，生物学将是下一个伟大的计算平台，DNA是代码，CRISPR是编程语言。图片来源于网络
聊天机器人助力构建更好芯片
原文地址：http://news.sciencenet.cn/htmlnews/2023/11/512952.shtm ?用于开发和训练人工智能的芯片。图片来源：《新科学家》杂志网站科技日报讯 （记者刘霞）据英国《新科学家》杂志网站21日报道，美国芯片巨头英伟达公司正在对人工智能（AI）
中国首个海洋领域开源大模型OceanGPT正式发布
近日，中国首个海洋领域开源大模型OceanGPT(沧渊)在杭州正式发布。该大模型由海洋精准感知技术全国重点实验室(浙江大学)牵头研发，具备基础的海洋专业知识问答，以及声呐图像、海洋观测图等海洋特色多模态数据的自然语言解读能力。其采用的领域知识增强“慢思考”推理机制，相较现有通用大模型能有效降低幻觉式
《自然》发文盛赞中国开源AI模型DeepSeek
最近，由来自杭州的“深度求索”初创团队开发的DeepSeek系列AI模型，引发了全球范围的关注。1月24日，知名学术期刊《自然》也发文关注该模型及相应产品，称“中国开发的大语言模型DeepSeek-R1以亲民价格和开放性挑战了OpenAI的推理模型GPT-o1的地位，令科学家们感到兴奋”。《中国科学
释放AI大模型促消费潜力
今年的《政府工作报告》提出持续推进“人工智能+”行动，旨在抓住人工智能技术突破机遇，使我国数字技术与制造优势、市场规模优势充分结合，推动人工智能大模型广泛应用，真正赋能千行百业、走进千家万户。在构建新发展格局战略背景下，AI大模型在激活内需市场、促进消费升级等方面充满“模”力。 随着人工智能技