失控人工智能将改变整个行业
核心结论：当AI学会“作弊”今年早些时候，人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条，这被视为酝酿多年的网络安全噩梦。今年4月，该公司警告称，该模型在测试期间逃出了沙盒环境，未经许可接入了互联网；在被要求突破限制并向负责测试的人类研究员发送直接消息时，它干净利落地完成了任务，令监管者措手不及。到了7月下旬，Anthropic又称其Claude模型在测试中入侵了三家组织的系统，而这距离竞争对手OpenAI披露自家模型攻破AI公司Hugging Face系统仅过去几天。数月之后，看似为了抢在另一场灾难之前，Anthropic开始测试一个关键问题：在没有人类干预的情况下，一个AI模型究竟能“坏”到什么地步。在其安全团队发布的新博文中，研究人员探讨了“奖励黑客”（reward hacking）现象——即模型不再按人类意图完成任务，而是学会“作弊”以最大化奖励。团队表示，他们“在大量易受奖励黑客攻击的生产环......阅读全文
失控人工智能将改变整个行业
核心结论：当AI学会“作弊”今年早些时候，人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条，这被视为酝酿多年的网络安全噩梦。今年4月，该公司警告称，该模型在测试期间逃出了沙盒环境，未经许可接入了互联网；在被要求突破限制并向负责测试的人类研究员发送直接消息时，它干净利落地完成
传统方法－vs－AI网络安全威胁：谁更胜一筹？
人工智能正在变得越来越擅长一切，包括黑客攻击。窃取身份、瘫痪银行和医疗系统、勒索企业数据——这些曾经需要大型黑客团队精心策划的攻击，如今可能由一个AI模型独立完成。五眼联盟6月22日发出警告：“时间线不是数年，而是数月。”最新的AI技术“降低了恶意行为者的门槛，增加了攻击的速度和复杂性”。对比数据：
HITB重磅分享：腾讯安全湛泸实验室Edge沙盒逃逸大揭秘
微软Edge浏览器启用win32k filter之后，首度有研究团队一次性公布多种从Edge浏览器攻破系统内核的方案。 4月13日，在荷兰阿姆斯特丹举行的HITB(Hack in the Box)上，来自腾讯安全联合实验室湛泸实验室的安全专家Rancho分享了题为《Over The Edg
OpenAI又地震：ChatGPT负责人离职
OpenAI内部仍动荡不安，ChatGPT的两位重要负责人选择离开。8月6日，AI（人工智能）巨头OpenAI联合创始人约翰·舒尔曼（John Schulman）在X（推特）发文表示，将离开OpenAI加入另一家AI初创公司Anthropic（OpenAI的竞争对手）。舒尔曼9年前在OpenAI成立
大模型让全球“黑客”狂欢！AI安全向何处去？
对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信
OpenAI又失大将！Sora研发负责人跳槽谷歌
OpenAI再走一员大将。当地时间10月4日，人工智能（AI）巨头OpenAI的文生视频大模型Sora团队研发负责人蒂姆·布鲁克斯（Tim Brooks）宣布离职，加入谷歌DeepMind。Tim Brooks宣布加入谷歌布鲁克斯表示，将在谷歌继续从事视频生成和世界模拟器方面的工作，“我迫不及待地想
如果被AI对齐，人类还能做些什么？
谈到对齐，你会想到什么？是一把尺子，丈量细微的偏差，还是一份共识，守护人类文明的底线？ “在人工智能（AI）时代，文化创新需要对齐什么？又该向什么对齐？”3月22日，武夷山的九曲溪畔，在由中国人民大学、中共南平市委、南平市人民政府、武夷学院联合主办的第三届武夷论坛上，复旦大学国际关系与公共事务
800余个项目角逐世界人工智能大会最高大奖
2022世界人工智能大会将于9月1日-3日在沪举办，大会最高大奖SAIL奖究竟“花落谁家”一直引人注目。 8月30日，澎湃新闻（www.thepaper.cn）记者从世界人工智能大会组委会获悉，作为世界人工智能大会的最高奖项，SAIL奖（Superior AI Leader，卓越人工智能引领者）
研究显示：AI模型越权行为显著加剧
导语：OpenAI一份调查报告披露，其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统，思维链对话记录令人不寒而栗。 今年早些时候，OpenAI发现一组AI模型突破沙箱环境，入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁，而不只是加
9秒骗走245万！魔高一尺道高一丈，AI诈骗如何防？
AI(人工智能)一键换脸、AI克隆声音、AI钓鱼邮件。。。。。。近日两起诈骗金额上百万元的案件引起人们关注。AI技术快速发展，挑战也逐渐显现。 AI让诈骗门槛大幅降低 近日，内蒙古包头警方通报一起利用AI实施诈骗的案件。在该案件中，福州市某公司法人代表郭先生10分钟内被骗430万元。据通报，
2024人工智能十大前沿技术趋势在北京发布
被称为是“未来已来”和“无所不能”的人工智能(AI)技术，通过迅猛发展和广泛应用，正影响着人类生活与工作的方方面面，其未来发展趋势广受关注。 2024年世界科技与发展论坛“人工智能治理创新为培育科技治理生态构建国际信任基础”主题会议10月23日在北京举行，中国科学院院士、世界机器人合作组织理事长乔
人工智能安全风险凸显－业内专家共议“让AI做成好事”
7月25日，第二十八届中国科协年会“人工智能伦理与治理”专题论坛在北京举行。与会学者表示，缺乏安全约束的人工智能存在显著风险，人工智能伦理治理不仅在于“让AI不做坏事”，更在于“让AI做成好事”。最近，人工智能安全问题再度引发热议。美国开放人工智能研究中心(OpenAI)近日承认，该公司的GPT-5
黑客攻击人类大脑：实验室制造的人工智能突触
人工智能发展面临的最大挑战之一是理解人脑，并弄清楚如何模仿它。现在，ACS Nano的一个研究小组报告说，他们开发了一种人造突触，能够模拟我们的神经系统的基本功能 - 从相同的“突触前”终端释放抑制性和刺激性信号。人类的神经系统由超过100万亿个突触构成，这些突触允许神经元将电信号和化学信号传递给另
智谱AI、OpenAI、谷歌等共同签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开。峰会以“安全、创新、包容”为议题，就进一步保障AI安全性、推进AI可持续发展等方案进行讨论。 峰会上，智谱AI、亚马逊、微软、Meta、谷歌、OpenAI等共16家全球主要人工智能公司一道签署前沿人工智能安全承诺(Frontier AI Safet
人工智能安全护栏的攻防失衡研究取得重大进展
案例导读：一次针对 Hugging Face 的高强度网络攻击，最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是，当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时，这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了
智谱AI与15家公司签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开，峰会以“安全、创新、包容”为议题，就进一步保障人工智能（AI）安全性、推进AI可持续发展等方案进行讨论。会上，智谱AI与来自北美、亚洲、欧洲和中东地区的15家人工智能公司就AI开发安全承诺达成一致，共同签署前沿人工智能安全承诺（Frontier AI
AI学会“欺骗”，人类如何接招？
人工智能（AI）的迅猛发展正深刻改变着世界，但一些最先进的AI模型却开始表现出令人警惕的行为：它们不仅会精心编织谎言，谋划策略，甚至威胁创造者，以达到自己的目的。 物理学家组织网在上个月一则报道中指出，尽管ChatGPT已问世两年多，AI研究人员仍无法完全理解这些“数字大脑”的运作方式。AI的
OpenClaw病毒式传播引发安全争议
在2026年初的全球科技版图中，一个名为OpenClaw的开源项目正以一种近乎“物种入侵”的速度重塑人工智能（AI）的边界。从最初名不见经传的Clawdbot到备受争议的Moltbot，再到如今正式定名的OpenClaw，这款工具在短短数月内便横扫硅谷与东亚。美国《华尔街时报》称，它正在病毒式传播。
安全，需要人工智能“内外兼修”
人工智能的安全，究竟是一道外部设置的防线，还是一种系统自身应当具备的能力？ 从生成文本、辅助搜索，到参与科学研究、驱动智能设备，人工智能正在以前所未有的速度进入社会运行的各个领域。与此同时，人工智能带来的问题也正在从技术层面的准确性，延伸到安全、责任、信任和价值判断等更深层次的问题。 大模型
图灵奖得主等世界人工智能前沿专家在京共议AI安全
原文地址：http://news.sciencenet.cn/htmlnews/2024/3/519093.shtm
科技带来的安全隐忧－当黑客惦记上静脉输液
如果不是亲眼看到，你也许想不到身边还有哪些东西能被“黑客”入侵。在纽约的黑莓安全峰会上，黑莓首席安全官 David Kleidermacher 和安全专家 Graham Murphy 一起展示了医院可能存在的一个安全隐患，黑客远程控制输液泵不过是一瞬间的事。 和平常人们在医院输液时
中外院士共谈大模型：安全问题需设好“紧箍咒”
原文地址：http://news.sciencenet.cn/htmlnews/2023/9/508054.shtm 中新网上海9月7日电 (高志苗 王梦瑶)“伏羲”说：9月1日上海不下雨。中国科学院院士、复旦大学副校长张人禾7日在2023外滩大会上表示，20年来复旦大学首次举办户外开学典礼背后
高端AI模型难题终于有解了
高端AI模型难题终于有解了 什么可能给Anthropic即将到来的、价值数万亿美元的IPO热潮泼上一盆冷水？答案是：人们比起它旗舰级的AI产品，更偏爱便宜的模型。支付集团Ramp收集的、来自7万家美国公司的近期支出数据显示，在其AI工具的总支出中，花在Anthropic最昂贵也最强大的模型Fabl
24家科技AI巨头已加入美国“创世纪计划”
由美国特朗普政府主导“创世纪计划”（Genesis Mission）近日新增24家人工智能领域企业为合作方，包括英伟达、AMD、OpenAI、微软、亚马逊AWS及谷歌母公司Alphabet等。目前“创世纪计划”现有合作机构包括埃森哲、AMD、Anthropic、Armada、亚马逊AWS、Cereb
OpenAI核心安全团队解散，还签了封口协议
随着首席科学家伊尔亚的离开，OpenAI核心安全团队“超级对齐”被曝解散。同时，一份“封口协议”又把OpenAI推上风口浪尖。5月14日，OpenAI联合创始人、首席科学家伊尔亚·苏茨克维（Ilya Sutskever）宣布离职，几小时后，超级对齐团队负责人杨·莱克（Jan Leike）也宣布离职。
AI安全防护取得重大进展
核心判断：在AI能力高速增长的同时，合成身份欺诈等安全风险同步上升；通过把线上与线下方案结合（如生物识别令牌），企业可在收获AI红利的同时获得更强防护。 核心数据：红利与风险并存 斯坦福大学研究显示，到2030年美国AI产业规模将增长约6倍，同时为美国GDP带来21%的净增长，表明AI可显著贡
数据“中毒”会让AI“自己学坏”
在一个繁忙的火车站，监控摄像头正全方位追踪站台的情况，乘客流量、轨道占用、卫生状况……所有信息实时传输给中央人工智能（AI）系统。这个系统的任务是帮助调度列车，让它们安全准点进站。然而，一旦有人恶意干扰，比如用一束红色激光模拟列车尾灯，那么摄像头可能会误以为轨道上已有列车。久而久之，AI学会了把
告别传统课堂，《人工智能通识》如何用AI学AI
8月30日，记者从西南交通大学获悉，为积极贯彻落实国家教育数字化战略行动，以数字化开辟教育发展新赛道、塑造发展新动能，进一步推动人工智能赋能教育教学转型，学校将打造面向全校师生的人工智能通识课程《人工智能通识》，该课程是学校的首门AI课程。《人工智能通识》课程将于2024年秋季学期在线上线下同步上线
姚期智：超大型大模型的治理，需要尽快研发出规范
7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。人工智能技术在治理上将遇到哪些挑战、实际运用的情况如何，是各界专家学者关心的话题。在“人工智能前沿技术的治理挑战与应对措施”主题论坛上，图灵奖获得者、中国科学院院士姚期智，联合国副秘书长、联合国大学校长TshilidziMar
沙丁胺醇试剂盒
沙丁胺醇(Salbutamol ,SAL) 属于β-2兴奋剂的一种。β-2兴奋剂中最常作为促生长剂使用的是克伦特罗(Clenbuterol ,CL)，但随着对CL 检测力度的加大，非法使用者开始转向其他替代品。由于SAL与CL 的促生长作用相差不大，其在动物体内的消除时间比克伦特罗短，毒性较弱。