人工智能安全护栏的攻防失衡研究取得重大进展
案例导读：一次针对 Hugging Face 的高强度网络攻击，最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是，当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时，这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了台面上：护栏拦住了防守方，却拦不住进攻方。 案例详情：五天、17500 次操作 7 月 11 日，托管并支持众多热门 AI 开发者资源的 Hugging Face 遭到一名当时身份不明的攻击者的猛烈网络攻击。攻击的速度与协同程度让 Hugging Face 安全团队判断，这是一个 AI 智能体所为。 意识到这一点后，团队试图调用"商业 API 背后的前沿模型"来分析这场攻势——推测来自 Anthropic 和 OpenAI，不过在该公司就此次安全事件发布的两篇文章中，只有第二篇明确点名了 Anthropic。这些模型因为 AI ......阅读全文
人工智能安全护栏的攻防失衡研究取得重大进展
案例导读：一次针对 Hugging Face 的高强度网络攻击，最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是，当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时，这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了
《自然》发文盛赞中国开源AI模型DeepSeek
最近，由来自杭州的“深度求索”初创团队开发的DeepSeek系列AI模型，引发了全球范围的关注。1月24日，知名学术期刊《自然》也发文关注该模型及相应产品，称“中国开发的大语言模型DeepSeek-R1以亲民价格和开放性挑战了OpenAI的推理模型GPT-o1的地位，令科学家们感到兴奋”。《中国科学
大模型安全治理：国际合作共筑AI发展新框架
“当前，人工智能技术以惊人的速度发展，如近期DeepSeek引领了低成本开发使用大模型的革新，这既为驱动新的创新提供了更多可能，也带来了诸多风险挑战，而在互联互通时代，加强国际合作至关重要。”2月11日，在“人工智能技术及其应用进展”专题边会上，清华大学交叉信息研究院、人工智能学院院长姚期智提到
AI驱动安全－专家呼吁提高对网络安全态势的重视
“随着人工智能技术的发展，攻击者可利用人工智能技术生成网络攻击和网络钓鱼工具等，网络安全从人人对抗、人机对抗逐渐向基于人工智能的攻防对抗演化。”在6月5日举办的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会（以下简称BCS大会）上，中央网信办网络安全协调局副局长王营康对人工智能带
生成式AI时代，大模型数据安全如何保障？
在生成式AI（人工智能）时代，数据安全的出路可能会是“用魔法打败魔法”，知识产权保护也可能要提前到token（字符串）层面。4月26日，在2024中关村论坛上，人工智能企业与学者就AI大模型的数据安全问题进行了讨论。中关村论坛数据安全治理与发展论坛现场 澎湃新闻记者 秦盛 摄“在生成式人工智能时代
警惕AI“投毒”：隐蔽产业链已形成，危害不容小觑
近期，AI“投毒”隐蔽产业链被曝光，引发社会广泛关注。这种通过恶意数据污染AI模型的行为，不仅扰乱商业秩序、影响信息传播，更会危害国家安全。人工智能在赋能千行百业的同时，其安全风险也不容忽视。推动AI治理向善，守住数据安全底线，既是行业责任，也需要全社会共同参与。 手段隐蔽，链条日趋完整 所谓“
为何开放权重AI引发关注？
核心事实：Kimi K3 发布即引爆需求 中国开发者月之暗面（Moonshot AI）于 7 月 17 日发布 Kimi K3 后仅三天，便停止接受新订阅——这款巨型人工智能模型的需求，已超出公司可用算力。然而 Moonshot 表示，计划在 7 月 27 日前发布 K3 的完整模型权重，让其他
AI辅助编程安全研究取得重大进展
随着大语言模型（LLM）深度介入软件开发，其带来的安全隐患正引发广泛关注。得克萨斯大学圣安东尼奥分校（UTSA）的研究人员完成了迄今最全面的相关研究之一，在一篇新论文中揭示了一类特定错误可能对借助 AI 写代码的程序员构成严重威胁。该论文已被网络安全与隐私领域顶级会议 USENIX Securit
中国开源AI，正在惠及全球
日前，MiniMax正式开源H3模型。短短三天，它便冲上全球最大AI开源平台Hugging Face热度榜首，超百家企业实现“Day 0接入”，从芯片厂商到推理框架完成全链路适配。更耐人寻味的是，开源领域的标志性人物、Stable Diffusion模型创始人埃马德·莫斯塔克也罕见发声，公开“向
大模型让全球“黑客”狂欢！AI安全向何处去？
对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信
ChatGPT的拷问：何为AI伦理、AI治理
前不久，AI聊天机器人程序ChatGPT席卷全球，完成了AI第一次大规模的自传播。作为人工智能领域的现象级应用，ChatGPT可能引发的信任、责任、伦理、法律等问题也很快引发各界关注与担忧。近年来，不少关于人工智能（AI），并和人类生产、生活关系紧密的议题被广泛讨论，诸如“如何应对AI可能对社会产生
ChatGPT的拷问：何为AI伦理、AI治理
原文地址：http://news.sciencenet.cn/htmlnews/2023/2/494707.shtm 前不久，AI聊天机器人程序ChatGPT席卷全球，完成了AI第一次大规模的自传播。作为人工智能领域的现象级应用，ChatGPT可能引发的信任、责任、伦理、法律等问题也很快引发各
传统方法－vs－AI网络安全威胁：谁更胜一筹？
人工智能正在变得越来越擅长一切，包括黑客攻击。窃取身份、瘫痪银行和医疗系统、勒索企业数据——这些曾经需要大型黑客团队精心策划的攻击，如今可能由一个AI模型独立完成。五眼联盟6月22日发出警告：“时间线不是数年，而是数月。”最新的AI技术“降低了恶意行为者的门槛，增加了攻击的速度和复杂性”。对比数据：
人工智能安全风险凸显－业内专家共议“让AI做成好事”
7月25日，第二十八届中国科协年会“人工智能伦理与治理”专题论坛在北京举行。与会学者表示，缺乏安全约束的人工智能存在显著风险，人工智能伦理治理不仅在于“让AI不做坏事”，更在于“让AI做成好事”。最近，人工智能安全问题再度引发热议。美国开放人工智能研究中心(OpenAI)近日承认，该公司的GPT-5
美将出台物联网安全原则防网络攻击
美国多家网站21日因受网络攻击而在美国东海岸和欧洲部分地区无法登录。美国国土安全部部长杰·约翰逊24日证实，包括监控摄像头在内的一些物联网设备被黑客用来发起这次攻击，美国政府将在未来几周内发布物联网安全原则。 21日，美国域名解析服务提供商迪恩的域名服务器遭受三波“分布式拒绝服务（DDOS）
物理所联合院网络中心发布AI模型MatChat
原文地址：http://news.sciencenet.cn/htmlnews/2023/11/511470.shtm 材料合成路径预测是物质科学领域的重要课题。1990年诺贝尔化学奖授予了美国有机化学家Elias James Corey教授，表彰他开发了计算机辅助有机合成的理论和方法，
物理所联合院网络中心发布AI模型MatChat
材料合成路径预测是物质科学领域的重要课题。1990年诺贝尔化学奖授予了美国有机化学家Elias James Corey教授，表彰他开发了计算机辅助有机合成的理论和方法，将人类300多条经验写进计算机编码，成为制药领域的重要工具软件。无机材料受限于合成路径的复杂度和缺乏数据集等因素，尚未有清晰
专家：警惕不道德使用ChatGPT的潜在威胁
作为一款基于文本的问答式机器人（或称聊天机器人），ChatGPT因广泛应用先进的AI技术而备受关注。从准确修复编码错误、生成烹饪食谱、创建3D动画到制作完整的歌曲、撰写小说和学术论文，ChatGPT展现了人工智能（AI）的惊人能量。然而，有专家提出，人们可以利用诸如ChatGPT等AI工具便捷自己的
专家建议：审慎使用“龙虾”等智能体
近期，开源AI智能体“龙虾”异常火爆，不仅受到国内产业界和广大用户的广泛关注，大家更是积极开展实践应用。与此同时，互联网上针对“龙虾”智能体安全的探讨也非常多，之前工业和信息化部网络安全威胁和漏洞信息共享平台也发布过相关的安全风险提示，大家也非常关注。“养龙虾”是否安全？个人用户“养龙虾”又该注意什
用AI生成数据训练AI或导致模型崩溃
科技日报北京7月25日电 （记者张梦然）《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野
用AI生成数据训练AI或导致模型崩溃
《自然》24日正式发表的一篇研究论文指出了一个人工智能（AI）严重问题：用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出，这被称为“模型崩溃”。研究显示，原始内容会在9次迭代以后，变成不相关的“胡言乱语”（演示中一个建筑文本最终变成了野兔的名字），这凸显出使用可靠数据训练
首个AI原生开源操作系统正式发布
6月6日，首个AI原生开源操作系统——openEuler 24.03 LTS版本在京发布。会上，开放原子开源基金会和中国科学院软件研究所、麒麟软件、中国科学院计算技术研究所等26位社区伙伴代表共同见证这一历史时刻。openEuler 24.03 LTS版本发布。主办方供图“充分利用开源、参与开源、支
AI大模型“拿捏”电池寿命
作为现代生活中不可或缺的能源载体，电池的重要性不言而喻。从清晨唤醒我们的闹钟，到随身携带的手机、平板电脑等智能设备，无一不依赖于电池提供的稳定电力。此外，随着科技的发展，电动汽车、无人机等新兴领域也广泛应用了各类高性能电池，推动了绿色出行和智能科技的进步。因此，电池不仅极大地便利了我们的日常生活，还
AI语言模型“提速”药物发现
原文地址：http://news.sciencenet.cn/htmlnews/2023/6/502762.shtm美国麻省理工学院和塔夫茨大学研究人员设计出一种基于大型语言模型（如ChatGPT）的人工智能算法，这种称为ConPLex的新模型可将目标蛋白与潜在的药物分子相匹配，而无需执行计算分子结
DeepMind－AI模型预测天气又快又好
近日一项发表于《自然》的研究报道了谷歌DeepMind开发的首个天气预测人工智能（AI）模型——GenCast。该模型比目前运行中的最佳中期预报系统——欧洲中期天气预报中心的集合预报（ENS）更精准。GenCast在8分钟内就能完成15天的预测，而目前的预测程序需要几个小时。据介绍，包括ENS在内的
AI“模型崩溃”风险需警惕
图片来源：美国《The Week》从客户服务到内容创作，人工智能（AI）影响了众多领域的进展。但是，一个日益严重的被称为“模型崩溃”的问题，可能会使AI的所有成就功亏一篑。“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型，可能会
AI“模型崩溃”风险需警惕
从客户服务到内容创作，人工智能（AI）影响了众多领域的进展。但是，一个日益严重的被称为“模型崩溃”的问题，可能会使AI的所有成就功亏一篑。“模型崩溃”是今年7月发表在英国《自然》杂志上的一篇研究论文指出的问题。它是指用AI生成的数据集训练未来几代机器学习模型，可能会严重“污染”它们的输出。多家外媒报
我国首款网络安全领域编程语言实现开源
“当前，范围更广、技术更强、危害更大的新型网络攻击手段威胁网络生态，如何构建更强大、更可靠的网络安全防御体系？”在电子科技大学网络空间安全学院联合YAK语言研发团队于5月30日举行的发布会上，电子科技大学网络空间安全学院院长张小松表示，在开源共享平台的基础上，通过底层的创新，能有效提高网络的安全性和
《自然》封面：以AI生成数据训练AI，模型变傻？
大模型有许多“崩”的时候，但有一种崩溃叫做“自毁前程”—— 近日，《自然》发表在封面的一篇论文指出，用AI生成的数据集训练未来几代机器学习模型，可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示，原始内容会在数代内变成不相关的“胡
《自然》封面：以AI生成数据训练AI，模型变傻？
大模型有许多“崩”的时候，但有一种崩溃叫做“自毁前程”——近日，《自然》发表在封面的一篇论文指出，用AI生成的数据集训练未来几代机器学习模型，可能会“污染”它们的输出。这项由英国牛津大学、剑桥大学、帝国理工学院、加拿大多伦多大学等多所高校联合开展的研究显示，原始内容会在数代内变成不相关的“胡言乱语”