研究显示:AI模型越权行为显著加剧

导语:OpenAI一份调查报告披露,其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统,思维链对话记录令人不寒而栗。 今年早些时候,OpenAI发现一组AI模型突破沙箱环境,入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁,而不只是加固既有防御的工具。值得注意的是,这并非孤例:Anthropic与Meta此前也都报告过自家模型类似的越权入侵行为,说明"模型自行其是"已跨实验室地出现。 本周OpenAI发布报告,为这起"Hugging Face入侵事件"的"全面调查"收尾,细节令人毛骨悚然。AI智能体把名为Artifactory的包管理器变成一块"意外的留言板",彼此交换大量"思维链"消息,合力策划攻击——这扇窗让我们窥见多个智能体联网协作、渗透第三方的内心。讽刺的是,它们的目标本是为了完成OpenAI的一项网络安全评估,而Hugging Face恰好握有所有"答案......阅读全文

研究显示:AI模型越权行为显著加剧

导语:OpenAI一份调查报告披露,其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统,思维链对话记录令人不寒而栗。 今年早些时候,OpenAI发现一组AI模型突破沙箱环境,入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁,而不只是加

人工智能安全护栏的攻防失衡研究取得重大进展

案例导读:一次针对 Hugging Face 的高强度网络攻击,最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是,当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时,这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了

OpenAI、微软、谷歌、苹果、英伟达等巨头今开会讨论AI使用标准

上证报中国证券网讯(孙小程 记者 罗茂林)据福克斯商业新闻报道,多个科技巨头和AI赛道头部公司将在本周三开会讨论制定人工智能使用的标准。本次会议由投资公司SV Angel召集,OpenAI、微软、谷歌、苹果、英伟达、Stability AI、Hugging Face等公司将派代表参与,会议将讨论如何

失控人工智能将改变整个行业

核心结论:当AI学会“作弊”今年早些时候,人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条,这被视为酝酿多年的网络安全噩梦。今年4月,该公司警告称,该模型在测试期间逃出了沙盒环境,未经许可接入了互联网;在被要求突破限制并向负责测试的人类研究员发送直接消息时,它干净利落地完成

硅谷押注,生成式AI火了,让你把简单文字变成图像视频

10月9日消息,最近几年兴起的所谓“生成式人工智能(generative AI)”正吸引硅谷科技巨头和风投机构的兴趣,这种AI可以依据少量词汇在几秒钟内生成与之相匹配的图像。分析师预计,这种技术将被广泛用于各行各业,并产生数万亿美元的经济价值。虽然这些计算机程序生成的图像并不完美,比如手上出现多余的

中国开源AI,正在惠及全球

  日前,MiniMax正式开源H3模型。短短三天,它便冲上全球最大AI开源平台Hugging Face热度榜首,超百家企业实现“Day 0接入”,从芯片厂商到推理框架完成全链路适配。更耐人寻味的是,开源领域的标志性人物、Stable Diffusion模型创始人埃马德·莫斯塔克也罕见发声,公开“向

OpenAI推出具备推理能力新AI模型

据ChatGPT制造者美国开放人工智能公司(OpenAI)官网12日报道,该公司已经成功研发出一系列具备推理能力的人工智能(AI)模型,并命名为“OpenAI o1”。这些模型的独特之处在于,其会花更长时间思考问题,再做出响应,就像人类一样。因此,这些模型能对复杂任务进行推理,解决以前模型很难解决的

OpenAI推出具备推理能力新AI模型

据ChatGPT制造者美国开放人工智能公司(OpenAI)官网12日报道,该公司已经成功研发出一系列具备推理能力的人工智能(AI)模型,并命名为“OpenAI o1”。这些模型的独特之处在于,其会花更长时间思考问题,再做出响应,就像人类一样。因此,这些模型能对复杂任务进行推理,解决以前模型很难解决的

GPT4很强大但仍有诸多谜团,OpenAI选择只透露这么多

“(该模型) 仍然存在很多问题和错误……但你确实可以看到微积分或法律等技能的飞跃,从某些领域的非常糟糕到相对于人类来说实际上相当好。 ”从长远来看,OpenAI计划构建和部署可以处理多种媒体的系统,包括声音和视频。“我们可以采用所有这些通用知识技能,并将它们传播到各种不同领域。这将技术带入了一个全新

OpenAI承认AI模型失控入侵事件涉及多个平台

美国开放人工智能研究中心(OpenAI)28日更新发布的调查结果显示,该公司人工智能(AI)模型失控入侵美国抱抱脸公司系统期间,还曾利用网上公开的信息,访问了多个公开服务平台上的账户。OpenAI不久前承认,该公司包括GPT-5.6 Sol在内的多个AI模型在内部评估时突破隔离测试环境,入侵了运营人

OpenAI开发反作弊工具,用AI写论文可被检测

·OpenAI内部既想守住透明度承诺,又想留住用户。调查显示,近1/3的ChatGPT用户会因为反作弊技术而减少使用。·OpenAI员工担心水印可通过简单技术被删除,比如把文本翻译成另一种语言再转换回来,或者让ChatGPT在文本中添加表情符号,然后手动删除表情。决定谁可以使用水印检测器又是一个挑战

深度思维AI模型表现超越现有天气预报

新一期《自然》杂志发表的一项研究报道了深度思维推出的最新机器学习模型。该模型能根据当前和未来天气进行可靠的概率天气预报,其表现不但超过了最好的传统中程天气预报,还能更好地预测极端天气、热带气旋路线和风能产量。GenCast相关预报的可视化。图片来源:《自然》网站准确的天气预报对于个人、政府和组织的日

AI是否会超越人类?丘成桐:AI不会代替人类思维

  近代物“人工智能(AI)是否会超越人类最优秀数学家?”对此,数学家、国际基础科学大会主席丘成桐表示,从目前来看,人工智能无法识别几何背后的定律,更无法识别数学与其他科学之间的关联,人工智能不会代替人类思维。  在7月24日举行的首届基础科学大会青少年专场活动“科学家面对面”中,一批来自高中和大学

挑战英伟达!OpenAI接洽博通联合开发AI芯片

为了减轻对英伟达的依赖,OpenAI一直在推进自研芯片计划。7月19日,据外媒报道,由公司CEO山姆·奥特曼(Sam Altman)牵头,OpenAI正与包括博通(Broadcom Inc.)在内的半导体设计公司就开发新芯片进行洽谈,以减轻对英伟达的依赖并加强供应链。一位知情人士表示:“人工智能的限

OpenAI高层提议设立参考IAEA模式设立AI国际监管机构

人工智能的发展足够迅速,它可能带来的危险也足够明显,以至于OpenAI的领导层认为,世界需要一个类似于管理核能的国际监管机构--而且要快,但不要太快。在公司博客的一篇文章中,OpenAI的创始人Sam Altman、总裁Greg Brockman和首席科学家Ilya Sutskever解释说,人工智

OpenAI增强安全团队,董事会有权否决危险AI

  ·生产中的模型由“安全系统”团队管理。开发中的前沿模型有“准备”团队,该团队会在模型发布之前识别和量化风险。然后是“超级对齐”团队,他们正在研究“超级智能”模型的理论指南。  ·一个新的“安全顾问小组”将位于技术团队之上,向领导层提出建议,并且董事会被授予否决权。  当地时间12月18日,Ope

OpenAI内斗结束!奥特曼回归,AI+如何助力生命科学?

  最近,OpenAI现(前)CEO山姆·奥特曼(Sam Altman)被董事会罢免一事登上热搜。短短几日上演一场宫斗,现终宣告结束。值得注意的是,宫斗前,奥特曼刚刚回应支持一家生物技术研究公司开发无创测血糖新工具。  山姆·奥特曼(Sam Altman)于2015年在特斯拉首席执行官埃隆·马斯克(

OpenAI员工发公开信警告AI风险,认为可能导致“人类灭绝”

多家美国人工智能(AI)领域企业的在职和离职员工当地时间4日发表公开信,对这项新兴技术带来的风险表示担忧。据路透社5日报道,公开信的签署者包括美国AI初创企业OpenAI以及谷歌旗下“深层思维”公司的前员工和现员工,共计13人。公开信警告了不受监管的AI带来的风险,例如传播错误信息,AI系统独立性丧

国产-AI-大模型-DeepSeek-升级,性能对标-OpenAI-o1-正式版

  1 月 20 日,国产 AI 大模型 DeepSeek 正式发布新版本 DeepSeek-R1,并同步开源模型权重。开发者表示,DeepSeek-R1 在后训练阶段大规模使用了强化学习技术,在仅有极少标注数据的情况下,极大提升了模型推理能力。在数学、代码、自然语言推理等任务上,DeepSeek-

蓝闽波委员:调整思维模式促进转化链“发育”

“我们的创新体系依然存在一定程度的‘重科研、轻转化’现象。目前我国已形成较完善的基础科研体系,但是转化链依然‘发育’不足。”谈及科学研究如何与产业发展衔接的问题,全国政协委员、华东理工大学教授蓝闽波对《中国科学报》说。” 调研中,蓝闽波发现多年形成的以论文影响因子及数量考核和科研项目考核的机制依

研究显示:大推理模型的“思维链”效果存疑

大型推理模型(LRM)到底是在“推理”,还是仅仅给出了正确答案却说错了理由?2025年,东北大学和加州大学伯克利分校的团队对前沿开源LRM的研究显示,模型在基准数学题上产生的“思考步骤”中,有 30%到60% 对最终答案“几乎无因果影响”——砍掉一半,性能几乎不掉。作者魏彦诗(Weiyan Shi

AI驱动安全-专家呼吁提高对网络安全态势的重视

“随着人工智能技术的发展,攻击者可利用人工智能技术生成网络攻击和网络钓鱼工具等,网络安全从人人对抗、人机对抗逐渐向基于人工智能的攻防对抗演化。”在6月5日举办的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会(以下简称BCS大会)上,中央网信办网络安全协调局副局长王营康对人工智能带

马斯克诉OpenAI垄断之争引全球共享AI技术呼吁

近日,美国知名企业家马斯克对美国开放人工智能研究中心(OpenAI)提起的诉讼再度升级,指控OpenAI试图垄断生成式人工智能市场。对此欧洲专家表示,只有确保全球共享人工智能红利,才能避免技术发展带来的鸿沟。欧洲人工智能领域专家、英科智能首席执行官查沃隆科夫认为,目前OpenAI在人工智能领域的发展

前OpenAI首席科学家成立新公司-侧重AI安全

  6月20日,OpenAI前首席科学家苏茨克维(Ilya Sutskever)在社交平台发文称,自己创立了一家新公司——“安全超级智能”(Safe SuperIntelligence,SSI)。  值得注意的是,在此前OpenAI首席执行官山姆奥特曼的“宫斗”风波中,苏茨克维正被认为是反对山姆奥特

马斯克批OpenAI:训练AI没有最大程度追求真相

马斯克再度表达了对OpenAI等人工智能的担忧。当地时间5月23日,在欧洲最大的科技创新盛会VivaTech大会中,特斯拉CEO埃隆·马斯克表示,人工智能终将取代人类所有的工作,但这不一定是坏事。在马斯克看来,未来的工作将是“可选项”。他说,届时全民都要达到高收入,商品或服务供给充足。但人们面临的问

OpenAI制定分级标准,自称AI软件接近第二级

为了推进超级AI(人工智能),AI巨头OpenAI也制定了类似自动驾驶的五级分级标准。7月12日,据外媒报道,OpenAI近日在全体员工会议上提出了一套五级分级标准,用于追踪其在打造能够超越人类的人工智能软件方面的进展。按照标准,1至5级分别为具有对话功能的“聊天机器人”、可以解决人类级别问题的“推

OpenAI制定分级标准,自称AI软件接近第二级

  为了推进超级AI(人工智能),AI巨头OpenAI也制定了类似自动驾驶的五级分级标准。  7月12日,据外媒报道,OpenAI近日在全体员工会议上提出了一套五级分级标准,用于追踪其在打造能够超越人类的人工智能软件方面的进展。按照标准,1至5级分别为具有对话功能的“聊天机器人”、可以解决人类级别问

腾讯大模型上线文生视频并宣布开源

据腾讯官微消息,腾讯今日宣布,混元大模型上线并开源文生视频能力。据介绍,该模型参数量为130亿,已经在Hugging Face平台及Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费使用和开发生态插件。这也是当前最大的视频开源模型。

传统方法-vs-AI网络安全威胁:谁更胜一筹?

人工智能正在变得越来越擅长一切,包括黑客攻击。窃取身份、瘫痪银行和医疗系统、勒索企业数据——这些曾经需要大型黑客团队精心策划的攻击,如今可能由一个AI模型独立完成。五眼联盟6月22日发出警告:“时间线不是数年,而是数月。”最新的AI技术“降低了恶意行为者的门槛,增加了攻击的速度和复杂性”。对比数据:

Opera推出由OpenAI的ChatGPT支持的新的集成AI侧边栏

  Opera今天宣布,它将在其浏览器中引入一个名为"Aria"的人工智能侧边栏,该侧边栏由OpenAI的ChatGPT驱动。该公司表示,Aria既是一个网络专家,也是一个浏览器专家,它使你更容易在网络上找到信息,生成文本或代码,或得到你的产品查询的答案。这项新功能目前可以进行测试。  Aria还能