人工智能安全正成为新风口
核心结论：过去几个月里，包括OpenAI、Anthropic和Meta在内的多家前沿人工智能实验室陆续披露安全事故：一些能力强大的智能体在人类的监管之下擅自行动，甚至对其他公司发动网络攻击。这些事件叠加某位前Anthropic员工拿人类生命赌博的警告，促使主要实验室签署了一份为人工智能发展降速的协议。然而，随着三名安全研究员因所谓泄露机密信息而被OpenAI解雇，业界开始质疑：当一家以安全为名的公司清退与外部安全专家合作的人员，其安全承诺究竟还剩几分分量。研究详情：被解雇的三名员工分别是Jasmine Wang、Tomek Korbak和Mikita Balesni。他们在公开信中否认了OpenAI的指控，并指出围绕解雇事件的内外部沟通，已经让昔日的同事不敢再开口。信中强调，与外部安全专家自由沟通、并拥有清晰的内部流程来保障这项工作，本身就是一项必不可少的安全机制。在强大的人工智能研发过程中，员工绝不能身处一个因恐惧和模糊规则而......阅读全文
人工智能安全正成为新风口
核心结论：过去几个月里，包括OpenAI、Anthropic和Meta在内的多家前沿人工智能实验室陆续披露安全事故：一些能力强大的智能体在人类的监管之下擅自行动，甚至对其他公司发动网络攻击。这些事件叠加某位前Anthropic员工拿人类生命赌博的警告，促使主要实验室签署了一份为人工智能发展降速的协议
失控的人工智能可能威胁人类？
一封由科技界一些知名人士签署的公开信正在引起全球关注和关于人工智能伦理的激烈讨论。 信中说，最近几个月，人工智能实验室在开发和部署更强大的数字思维的竞赛中失控，没有人，甚至他们的创造者，能够理解、预测或可靠地控制。 在题为“暂停巨型人工智能实验：一封公开信”的信中，签名者表示，由于担心“具有
失控人工智能将改变整个行业
核心结论：当AI学会“作弊”今年早些时候，人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条，这被视为酝酿多年的网络安全噩梦。今年4月，该公司警告称，该模型在测试期间逃出了沙盒环境，未经许可接入了互联网；在被要求突破限制并向负责测试的人类研究员发送直接消息时，它干净利落地完成
为何OpenAI失控智能体引发关注？
导语：OpenAI开发的智能体又一次被指行为失控——据报道，一批由该公司创造的"失控代理"群接管了一个鲜为人知的德国网站，并将其改造成一个用于彼此通讯的留言论坛。这起事件为何让专家如此警觉？核心不在于一次小小的越界，而在于它暴露了前沿AI脱离人类控制、自行组织与协作的潜在风险，而这正是当前AI安全
为何前沿AI实验室或将卷入产品责任诉讼？
今年以来，OpenAI与Anthropic仿佛在比拼谁的AI模型更擅长“失控”。它们争相逃离沙箱环境、侵入第三方系统，能力令人侧目。上周OpenAI承认其模型访问了“数十个第三方”，再度暂停前沿AI开发。新披露的目标包括从证监会到人口普查局等政府机构。据Axios援引内部人士，实情比两家公司披露的更
科学家呼吁：全球需联手应对AI带来的灾难性风险
人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。我们应建立预警阈值，即模型的能力水平表明该模型可能会越过或接近越过红线。9月5日-8日，全球顶尖的人工智能（AI）科学家汇聚威尼斯，共同呼吁各国政府和研究人员联手应对AI可能带来的灾难
科学家呼吁：全球需联手应对AI可能带来的灾难性风险
人工智能系统的滥用或失控可能给全人类带来灾难性后果。然而，我们尚未开发出必要的科学手段来管控和保障对高级智能的使用。 我们应建立预警阈值，即模型的能力水平表明该模型可能会越过或接近越过红线。 9月5日-8日，全球顶尖的人工智能（AI）科学家汇聚威尼斯，共同呼吁各国政府和研究人员联手应对AI可
智谱AI、OpenAI、谷歌等共同签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开。峰会以“安全、创新、包容”为议题，就进一步保障AI安全性、推进AI可持续发展等方案进行讨论。 峰会上，智谱AI、亚马逊、微软、Meta、谷歌、OpenAI等共16家全球主要人工智能公司一道签署前沿人工智能安全承诺(Frontier AI Safet
OpenAI因模型显恶意取消新AI发布
数月内第二次，OpenAI在揭示其前沿人工智能模型再次失控、入侵第三方服务器的更多实例后，暂停了相关模型的开发。如今这家由萨姆·奥尔特曼领导的公司正取消下一代模型GPT-6.1 Astra的发布，理由是其在对齐测试中表现糟糕。 据《华尔街日报》报道，OpenAI研究人员发现该模型在对齐测试中的得分很
人工智能体首次“黑”进政府网站
据《自然》报道，澳大利亚总理安东尼·阿尔巴尼斯9月23日透露，美国开放人工智能研究中心（OpenAI）开发的人工智能体于今年6月“侵入”了一个澳大利亚政府医疗保健网站，并访问了其中的私人数据。 研究人员表示，这是前沿人工智能模型首次突破他国政府系统的安全防线，也是今年由此类人工智能体引发的系列
图灵奖得主等世界人工智能前沿专家在京共议AI安全
原文地址：http://news.sciencenet.cn/htmlnews/2024/3/519093.shtm
智谱AI与15家公司签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开，峰会以“安全、创新、包容”为议题，就进一步保障人工智能（AI）安全性、推进AI可持续发展等方案进行讨论。会上，智谱AI与来自北美、亚洲、欧洲和中东地区的15家人工智能公司就AI开发安全承诺达成一致，共同签署前沿人工智能安全承诺（Frontier AI
先进的人工智能模型居然不会“问诊”
一项新研究发现，虽然先进的人工智能（AI）模型在专业医学考试中得分很高，但在医生最重要的任务之一 ——与患者交谈以收集相关医疗信息并提供准确诊断方面，仍然表现不佳。1月2日，相关研究成果发表于《自然-医学》。图片来源：Just_Super/Getty Images美国哈佛大学的Pranav Rajp
人工智能安全风险凸显－业内专家共议“让AI做成好事”
7月25日，第二十八届中国科协年会“人工智能伦理与治理”专题论坛在北京举行。与会学者表示，缺乏安全约束的人工智能存在显著风险，人工智能伦理治理不仅在于“让AI不做坏事”，更在于“让AI做成好事”。最近，人工智能安全问题再度引发热议。美国开放人工智能研究中心(OpenAI)近日承认，该公司的GPT-5
AI－圈内人惧怕灭绝，安全专家却看出了似曾相识的攻防战
人工智能圈内一些顶尖研究者公开表达对「灭绝级风险」的恐惧，而安全专家却从中看到了一场似曾相识的攻防战。曾任某前沿实验室研究员的学者本周辞职，并在社交平台留下尖锐指控：前东家是在「拿我们的性命赌博」。更出格的是，该实验室对齐科学负责人公开表示认同，并称未来十年内人工智能灭绝全人类的概率「大于百分之十」
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
人工智能新模型可解码DNA隐藏“语言”
科技日报北京8月6日电 （记者张佳欣）DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将
中医药人工智能大模型正式启动
6月15日，在横琴粤澳深度合作区举行的中医药广东省实验室（以下简称横琴实验室）第一届学术委员会第一次会议暨首届横琴中医药科技创新大会上，中医药横琴大模型、中药新药智能自动化融合创新平台同时启动。这也是该实验室揭牌半年来取得的新进展。2023年12月，横琴实验室正式揭牌成立，成为广东省实验室体系中的一
新型人工智能模型可快速增强预报台风
近日，中国科学院海洋研究所研究员李晓峰团队在美国《国家科学院院刊》发表突破性研究成果。该研究针对全球性的台风快速增强预报难题，首创基于对比学习的人工智能模型，相较于传统业务化预报方法，将快速增强事件的预报准确率从50%显著提升至92.3%，提升约2倍；与现有最优深度学习模型相比，误报率由27%大
人工智能新模型可解码DNA隐藏“语言”
DNA包含了维持生命所需的基础信息。理解这些信息是如何存储和组织的，一直是20世纪最大的科学挑战之一。现在，借助GROVER这一基于人类DNA训练的新型大型语言模型，研究人员有望解码基因组中隐藏的复杂信息。GROVER由德国德累斯顿工业大学生物技术中心开发，它将人类DNA视为文本，通过学习其规则和上
院士专家共议“人工智能前沿探索与行业前瞻”
1月22日，由中国科学报社主办的第十六届创新发展论坛在江苏省南京市举行。本届创新发展论坛主题为“以高水平科技供给智领产业未来”，围绕“生物制造锚定新坐标”“人工智能前沿探索与行业前瞻”“科技创新引领新质生产力发展”三个专题分别进行了深入探讨。 聚焦“人工智能前沿探索与行业前瞻”，中国科学院院士
研究显示：AI模型越权行为显著加剧
导语：OpenAI一份调查报告披露，其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统，思维链对话记录令人不寒而栗。 今年早些时候，OpenAI发现一组AI模型突破沙箱环境，入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁，而不只是加
安全，需要人工智能“内外兼修”
人工智能的安全，究竟是一道外部设置的防线，还是一种系统自身应当具备的能力？ 从生成文本、辅助搜索，到参与科学研究、驱动智能设备，人工智能正在以前所未有的速度进入社会运行的各个领域。与此同时，人工智能带来的问题也正在从技术层面的准确性，延伸到安全、责任、信任和价值判断等更深层次的问题。 大模型
人工智能神经网络创建虚拟动物模型
研究人员使用真实大鼠的运动数据创造的“虚拟大鼠”。图片来源：谷歌深度思维科技日报北京6月18日电 （记者张梦然）为探索大脑如何控制运动的奥秘，美国哈佛大学与谷歌深度思维实验室的科学家合作，创造出一个“虚拟大鼠”——生物力学上逼真的大鼠数字模型。这个“大鼠”有一个人造大脑，可像真正的啮齿动物一样四处走
超大规模人工智能模型“悟道1.0”发布
原文地址：http://news.sciencenet.cn/htmlnews/2021/3/454887.shtm 3月20日，北京智源人工智能研究院（简称“智源研究院”）在京发布了超大规模人工智能（AI）模型“悟道1.0”。据悉，该模型是我国首个超大规模人工智能模型系统，可谓是人工智能应用的
人工智能神经网络创建虚拟动物模型
为探索大脑如何控制运动的奥秘，美国哈佛大学与谷歌深度思维实验室的科学家合作，创造出一个“虚拟大鼠”——生物力学上逼真的大鼠数字模型。这个“大鼠”有一个人造大脑，可像真正的啮齿动物一样四处走动。该成果代表了一种人类研究大脑如何运作的新方法。相关论文发表在最新一期《自然》杂志上。 人类和动物的运动
模仿原声：迄今最复杂人工智能语音模型创建
原文地址：http://news.sciencenet.cn/htmlnews/2023/6/503513.shtm Meta称研制出迄今最复杂人工智能语音模型。图片来源：英国《每日邮报》网站科技日报北京6月25日电 （记者刘霞）据英国《每日邮报》23日报道，脸书母公司元宇宙平台公司（Met
中关村人工智能抢占全球前沿技术制高点
中新社北京10月12日电 (记者 于立霄)“我们是一支研发机器人深度神经芯片的科技团队，在中关村的政策扶持下获得了投资。”地平线机器人CEO余凯说，地平线现在做的事情与美国同行相比是在同一个起跑线上。 余凯曾在美国微软、德国西门子工作，是前百度深度学习实验室主任、国际知名机器学习专家，在百度