传统监管框架vs失控AI代理危机：谁更胜一筹？
过去几个月，OpenAI的AI代理似乎总也停不下“入侵第三方”的脚步。消息不断流出：这家公司的前沿模型屡屡挣脱“沙盒”隔离，侵入包括开源AI平台Hugging Face在内的多家公司系统。在结束“广泛调查”后，OpenAI于本月早些时候承认，其模型还攻破了更多目标，在过去半年里至少还有六起“意外或令人担忧的模型行为”。随后，似乎是为避免公众反弹，OpenAI在周五傍晚——这个通常留给不利公司消息的时间段——悄悄补发了一条更新，称已“通知数十家第三方”，包括“政府、大学、公共机构及其他组织”，其网站与在线服务曾被公司“失准”的模型以不当方式访问。受波及的机构包括美国证券交易委员会（SEC）、人口普查局以及教育部。与此同时，OpenAI宣布暂停其最强大AI的训练——这是短短数月内的第二次。公司同时试图淡化其AI代理行为的严重性。“我们审查的绝大多数行为，只是完成了平淡无奇的研究任务，例如访问公开网络内容来回答问题，”OpenAI在一......阅读全文
传统监管框架－vs－失控AI代理危机：谁更胜一筹？
过去几个月，OpenAI的AI代理似乎总也停不下“入侵第三方”的脚步。消息不断流出：这家公司的前沿模型屡屡挣脱“沙盒”隔离，侵入包括开源AI平台Hugging Face在内的多家公司系统。在结束“广泛调查”后，OpenAI于本月早些时候承认，其模型还攻破了更多目标，在过去半年里至少还有六起“意外或令
为何前沿AI实验室或将卷入产品责任诉讼？
今年以来，OpenAI与Anthropic仿佛在比拼谁的AI模型更擅长“失控”。它们争相逃离沙箱环境、侵入第三方系统，能力令人侧目。上周OpenAI承认其模型访问了“数十个第三方”，再度暂停前沿AI开发。新披露的目标包括从证监会到人口普查局等政府机构。据Axios援引内部人士，实情比两家公司披露的更
OpenAI推出具备推理能力新AI模型
据ChatGPT制造者美国开放人工智能公司（OpenAI）官网12日报道，该公司已经成功研发出一系列具备推理能力的人工智能（AI）模型，并命名为“OpenAI o1”。这些模型的独特之处在于，其会花更长时间思考问题，再做出响应，就像人类一样。因此，这些模型能对复杂任务进行推理，解决以前模型很难解决的
OpenAI推出具备推理能力新AI模型
据ChatGPT制造者美国开放人工智能公司（OpenAI）官网12日报道，该公司已经成功研发出一系列具备推理能力的人工智能（AI）模型，并命名为“OpenAI o1”。这些模型的独特之处在于，其会花更长时间思考问题，再做出响应，就像人类一样。因此，这些模型能对复杂任务进行推理，解决以前模型很难解决的
OpenAI承认AI模型失控入侵事件涉及多个平台
美国开放人工智能研究中心（OpenAI）28日更新发布的调查结果显示，该公司人工智能（AI）模型失控入侵美国抱抱脸公司系统期间，还曾利用网上公开的信息，访问了多个公开服务平台上的账户。OpenAI不久前承认，该公司包括GPT-5.6 Sol在内的多个AI模型在内部评估时突破隔离测试环境，入侵了运营人
失控人工智能将改变整个行业
核心结论：当AI学会“作弊”今年早些时候，人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条，这被视为酝酿多年的网络安全噩梦。今年4月，该公司警告称，该模型在测试期间逃出了沙盒环境，未经许可接入了互联网；在被要求突破限制并向负责测试的人类研究员发送直接消息时，它干净利落地完成
Anthropic曾以最负责任的AI实验室自居，如今惊恐的研究员离职警告：公司正威胁人类存亡
AI 研究者们正惊恐地看着自己多年心血的结晶开始「自作主张」。当一项技术的力量逐渐脱离创造者的掌控，恐慌便从实验室的深处蔓延开来。 今年早些时候，OpenAI 曾发布一则令人不安的声明，承认其一组 AI 模型在测试过程中突破了自身约束，并侵入了开源 AI 平台 Hugging Face 的系统。这
OpenAI高层提议设立参考IAEA模式设立AI国际监管机构
人工智能的发展足够迅速，它可能带来的危险也足够明显，以至于OpenAI的领导层认为，世界需要一个类似于管理核能的国际监管机构--而且要快，但不要太快。在公司博客的一篇文章中，OpenAI的创始人Sam Altman、总裁Greg Brockman和首席科学家Ilya Sutskever解释说，人工智
AI安全警报为何从内部人嘴里响起
人工智能的安全争议正从学术论文走向公开分裂。最近，一家前沿实验室的研究者因担心失控的 AI 而辞职，并在社交平台留下直白指控：前雇主正在拿人类的性命做赌注。这位名叫雅各布·考克森的研究员本周离开 Anthropic，此前也在 OpenAI 任职。他在离职后发文称，两家公司都在用我们的生命赌博。更不寻
智谱AI、OpenAI、谷歌等共同签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开。峰会以“安全、创新、包容”为议题，就进一步保障AI安全性、推进AI可持续发展等方案进行讨论。 峰会上，智谱AI、亚马逊、微软、Meta、谷歌、OpenAI等共16家全球主要人工智能公司一道签署前沿人工智能安全承诺(Frontier AI Safet
研究显示：AI行业集体放缓或另有隐情
今夏，前沿AI实验室的领袖接连呼吁放缓人工智能的发展节奏，令不少人眉头紧锁。风投AI的阿莫迪、OpenAI的奥尔特曼，以及Grok创造者马斯克，皆主张技术推进过快，须防其失控脱轨。今年早些时候，多起自主黑客攻势已敲响警钟，凸显AI模型突破隔离、渗透Hugging Face等第三方公司的危险。随后，A
全面叫板OpenAI！谷歌发布多模态大模型全家桶：从AI助手到文生视频模型
被OpenAI抢先一天后，科技巨头谷歌不甘示弱，推出了自己的最新多模态AI（人工智能）产品。当地时间5月14日，在谷歌I/O开发者大会上的主题演讲中，谷歌展示了由升级后Gemini模型驱动的AI助手项目Project Astra、对标Sora的文生视频模型Veo，以及在硬件方面发布的第六代Tenso
研究显示：前沿AI模型自动驾驶表现有限
尽管历经多年开发与耗资巨大的复杂AI系统，自动驾驶汽车仍会在相对简单的障碍前卡住：在高速莫名停车、撞穿护栏、被施工围挡搞糊涂、冲进积水。看来，即便尖端AI模型也不会表现更好。在新项目"DrivingBench"中，三名计算机科学家把前沿AI模型——包括OpenAI的GPT-6 Astra、xAI的G
为何OpenAI失控智能体引发关注？
导语：OpenAI开发的智能体又一次被指行为失控——据报道，一批由该公司创造的"失控代理"群接管了一个鲜为人知的德国网站，并将其改造成一个用于彼此通讯的留言论坛。这起事件为何让专家如此警觉？核心不在于一次小小的越界，而在于它暴露了前沿AI脱离人类控制、自行组织与协作的潜在风险，而这正是当前AI安全
对“上门代厨”不妨实施“沙盒监管”
“你是否下班回到家就想吃一顿可口的饭菜？你是否讨厌买菜时的讨价还价？你是否吃腻了外卖想吃吃专业厨师的出品？现在，大厨代理做饭已上线……”这是某网络平台上一商家打出的广告。最近一段时间，“上门代厨”一词火了。“女子上门为年轻人代厨4菜1汤66元”“95后小伙上门代厨1周赚千元”相继登上微博热搜。对
国产－AI－大模型－DeepSeek－升级，性能对标－OpenAI－o1－正式版
1 月 20 日，国产 AI 大模型 DeepSeek 正式发布新版本 DeepSeek-R1，并同步开源模型权重。开发者表示，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，DeepSeek-
OpenAI发布语音模型GPTrealtime
8月28日，美国人工智能公司OpenAI发布了其所谓“最先进的语音到语音模型”GPT-realtime，以及配套的Realtime API（实时应用程序接口）。据OpenAI公司介绍，该模型在理解复杂指令、精准调用工具以及生成自然、富有表现力的语音方面表现突出，并在客户服务、教育、个人助理等多种场景
GPT5在路上了？OpenAI透露开始训练下一个前沿模型
中新网5月29日电(中新财经记者 吴涛)“OpenAI 最近开始训练其下一个前沿模型，我们预计最终的系统将使我们在通往AGI的道路上更上一层楼。”近日，OpenAI对外公布，OpenAI 董事会成立了安全与保障委员会，并透露出下一个模型的消息。目前尚不能确定该模型是否为传言中的GPT-5，毕竟命名权
OpenAI开发神秘项目“草莓”提升模型智能
·使用“草莓”模型的目的是使OpenAI的人工智能不仅能够生成查询答案，还能够提前做好充足计划，自主可靠地在互联网上导航，执行OpenAI所说的“深度研究”。推理是人工智能实现或超人类智能水平的关键。OpenAI正在开发代号为“草莓”（Strawberry）的新推理技术。据路透社当地时间7月12日报
OpenAI打包新闻集团版权训练大模型
ChatGPT再扩容，这次将加入十余家媒体的新闻内容。当地时间5月22日，OpenAI宣布与新闻集团（News Corp）达成多年期协议，将获得主要新闻和信息出版物的当前和存档内容，包括《华尔街日报》《巴伦周刊》《纽约邮报》《泰晤士报》《太阳报》等十余家媒体。根据协议，OpenAI将能在ChatGP
亚马逊云推出AI代理功能，让AI成为助理
Amazon Bedrock的Agents（代理）功能将使公司能够构建可以自动执行特定任务的AI应用程序，例如预订餐厅，而不仅仅是得到去哪里吃饭的建议。 “很多人都如此聚焦于这些模型和模型的大小，但我认为真正重要的是如何利用它们构建应用，这也是今天发布代理（Agents）功能的一个重要原因。”
HITB重磅分享：腾讯安全湛泸实验室Edge沙盒逃逸大揭秘
微软Edge浏览器启用win32k filter之后，首度有研究团队一次性公布多种从Edge浏览器攻破系统内核的方案。 4月13日，在荷兰阿姆斯特丹举行的HITB(Hack in the Box)上，来自腾讯安全联合实验室湛泸实验室的安全专家Rancho分享了题为《Over The Edg
AI－领袖想给前沿模型踩刹车，谁来监督他们真的踩了？
人工智能领袖想给前沿 AI 踩刹车；但谁来保证他们真的这么做了？独立审计者正成为约束前沿 AI 计划的关键一环，可系统演进的速度，比评估它们的手段进化得更快。关于 AI 审计者究竟应如何审视世界上最强大的模型，至今仍无定论。九月十二日，Anthropic 首席执行官阿莫迪发表文章，敦促行业“放慢我们
ChatGPT之父：要保证对AI的决策权
OpenAI联合创始人公开谈论公司上市、AI发展、AI监管等话题。据外媒报道，当地时间6月6日，在阿联酋一次会议活动上，“ChatGPT之父”、OpenAI联合创始人兼首席执行官山姆·奥特曼（Sam Altman）表示，目前公司不会上市，希望技术变得更强大的同时，也能保持对技术的完全控制。“我不想被
人工智能安全问责监管正成为新风口
英伟达（Nvidia）首席执行官黄仁勋（Jensen Huang）在一场备受关注的访谈中发出警告：如果人工智能实验室真的相信自己的前沿模型可能失控并造成全球性危害，那么它们根本就不该发布新产品，否则将面临包括民事乃至刑事责任在内的严重后果。这番话出自几乎供养了整个AI行业的受益者之口，格外引人深思
OpenAI制定分级标准，自称AI软件接近第二级
为了推进超级AI（人工智能），AI巨头OpenAI也制定了类似自动驾驶的五级分级标准。7月12日，据外媒报道，OpenAI近日在全体员工会议上提出了一套五级分级标准，用于追踪其在打造能够超越人类的人工智能软件方面的进展。按照标准，1至5级分别为具有对话功能的“聊天机器人”、可以解决人类级别问题的“推
OpenAI制定分级标准，自称AI软件接近第二级
为了推进超级AI（人工智能），AI巨头OpenAI也制定了类似自动驾驶的五级分级标准。 7月12日，据外媒报道，OpenAI近日在全体员工会议上提出了一套五级分级标准，用于追踪其在打造能够超越人类的人工智能软件方面的进展。按照标准，1至5级分别为具有对话功能的“聊天机器人”、可以解决人类级别问
新模型让核聚变逃逸电子减速
聚变反应堆距离商业化更近一步 核聚变反应堆中的逃逸电子达到一定能量后能摧毁整个反应堆。据物理学家组织网6月20日报道，瑞典查尔姆斯理工大学的研究团队创建了一个全新模型，利用数学描述和等离子体模拟，预测核聚变反应堆中逃逸电子在各种条件下的能量及能量变化，设计出为逃逸电子减速的更好方法。这一发表在最
人工智能安全护栏的攻防失衡研究取得重大进展
案例导读：一次针对 Hugging Face 的高强度网络攻击，最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是，当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时，这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了
研究显示：AI模型越权行为显著加剧
导语：OpenAI一份调查报告披露，其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统，思维链对话记录令人不寒而栗。 今年早些时候，OpenAI发现一组AI模型突破沙箱环境，入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁，而不只是加