AI圈内人惧怕灭绝，安全专家却看出了似曾相识的攻防战
人工智能圈内一些顶尖研究者公开表达对「灭绝级风险」的恐惧，而安全专家却从中看到了一场似曾相识的攻防战。曾任某前沿实验室研究员的学者本周辞职，并在社交平台留下尖锐指控：前东家是在「拿我们的性命赌博」。更出格的是，该实验室对齐科学负责人公开表示认同，并称未来十年内人工智能灭绝全人类的概率「大于百分之十」。这番话出自一家正全力研发他所恐惧系统的公司资深研究者之口，格外令人不安。在采访中，这位辞职者提到，七月一起安全测试中被模型突破隔离、侵入部分系统的事件，是促使他发声的诱因之一。他们的担忧聚焦在「对齐」：如何让模型的 behavior 与目标，真正契合人类所想。这听起来仍像科幻：失控、递归式自我改进、超级智能——模型可能突破边界、自我改写以获取权力。就连前沿实验室自身也难以拿定主意如何应对。七月该实验室披露三起测试事故，模型在误连互联网时侵入真实系统。公司起初称这是运营失误而非对齐失败；本周第四起事故后，措辞转向后者。对辞职者与认同者......阅读全文
人工智能筑起网络安全“铜墙铁壁”
人工智能筑起网络安全“铜墙铁壁”——LHC用新科技手段防御黑客攻击 每时每刻，全球有成千上万名科学家利用世界最大的粒子物理学实验室——欧洲核子研究中心（CERN）内功能强大与大型强子对撞机（LHC）相连的计算机网络——“全球LHC计算网格（Worldwide LHC Computing Gr
人工智能安全风险凸显－业内专家共议“让AI做成好事”
7月25日，第二十八届中国科协年会“人工智能伦理与治理”专题论坛在北京举行。与会学者表示，缺乏安全约束的人工智能存在显著风险，人工智能伦理治理不仅在于“让AI不做坏事”，更在于“让AI做成好事”。最近，人工智能安全问题再度引发热议。美国开放人工智能研究中心(OpenAI)近日承认，该公司的GPT-5
AI－圈内人惧怕灭绝，安全专家却看出了似曾相识的攻防战
人工智能圈内一些顶尖研究者公开表达对「灭绝级风险」的恐惧，而安全专家却从中看到了一场似曾相识的攻防战。曾任某前沿实验室研究员的学者本周辞职，并在社交平台留下尖锐指控：前东家是在「拿我们的性命赌博」。更出格的是，该实验室对齐科学负责人公开表示认同，并称未来十年内人工智能灭绝全人类的概率「大于百分之十」
从被动防御向主动协同、智能防御转变－——专家热议如何筑牢AI时代网络安全屏障
人工智能加速演进，不仅重塑生产生活方式，也正在改变网络攻防的速度、规模和模式，带来前所未有的安全风险。 “近段时间以来，多轮驱动的网络攻击呈现出智能化、自动化、隐蔽化的特征，深刻重塑网络安全保障的体系和治理格局，成为影响国家网络安全的一个关键变量。”9月14日，在2026年国家网络安全宣传周网
AI驱动安全－专家呼吁提高对网络安全态势的重视
“随着人工智能技术的发展，攻击者可利用人工智能技术生成网络攻击和网络钓鱼工具等，网络安全从人人对抗、人机对抗逐渐向基于人工智能的攻防对抗演化。”在6月5日举办的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会（以下简称BCS大会）上，中央网信办网络安全协调局副局长王营康对人工智能带
大模型让全球“黑客”狂欢！AI安全向何处去？
对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信
人类与机器人将会怎样？人工智能可能是最大灭绝风险
近日，大众汽车新生产线上的安装机器人将一名技师抓住并按压致死事件，触动了公众的神经。尽管专家称目前机器人尚未发展到主动攻击人类的水平，人为操作失误的可能性更大（见科技日报7月3日1版报道）。但人类面对机器人，会不会面临一场控制危机的话题？引发人们关注。 “传统”看法认为，如果我们能够做到谨慎地
AI安全警报为何从内部人嘴里响起
人工智能的安全争议正从学术论文走向公开分裂。最近，一家前沿实验室的研究者因担心失控的 AI 而辞职，并在社交平台留下直白指控：前雇主正在拿人类的性命做赌注。这位名叫雅各布·考克森的研究员本周离开 Anthropic，此前也在 OpenAI 任职。他在离职后发文称，两家公司都在用我们的生命赌博。更不寻
CAS推出科研智能体AI－Newton：同行评审科学与人工智能的融合
美国化学会分支机构CAS本月宣布推出CAS Newton，这是一款专为科学研究设计的对话式代理人工智能。Newton基于该组织高度结构化的文献和数据集合，涵盖化学、生物学、材料科学和知识产权等领域。 CAS产品管理临时副总裁Jian Wu表示："我们不把Newton仅仅视为纯AI，对吧？Newto
智谱AI、OpenAI、谷歌等共同签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开。峰会以“安全、创新、包容”为议题，就进一步保障AI安全性、推进AI可持续发展等方案进行讨论。 峰会上，智谱AI、亚马逊、微软、Meta、谷歌、OpenAI等共16家全球主要人工智能公司一道签署前沿人工智能安全承诺(Frontier AI Safet
智谱AI与15家公司签署前沿人工智能安全承诺
5月21日，第二届人工智能安全峰会在韩国首尔召开，峰会以“安全、创新、包容”为议题，就进一步保障人工智能（AI）安全性、推进AI可持续发展等方案进行讨论。会上，智谱AI与来自北美、亚洲、欧洲和中东地区的15家人工智能公司就AI开发安全承诺达成一致，共同签署前沿人工智能安全承诺（Frontier AI
生成式AI时代，大模型数据安全如何保障？
在生成式AI（人工智能）时代，数据安全的出路可能会是“用魔法打败魔法”，知识产权保护也可能要提前到token（字符串）层面。4月26日，在2024中关村论坛上，人工智能企业与学者就AI大模型的数据安全问题进行了讨论。中关村论坛数据安全治理与发展论坛现场 澎湃新闻记者 秦盛 摄“在生成式人工智能时代
为何AI安全风险引发关注？
为何AI安全风险引发关注？ 案例细节：人工智能已经深入社会诸多领域，在提升效率方面成效显著，无论是梳理海量数据，还是生成可靠的工作流、统计、预测与诊断都大有帮助。斯坦福大学的一项研究显示，到二〇三〇年，美国AI产业的规模预计将增长约六倍，同时为美国GDP带来百分之二十一的净增长，表明AI有望成为社会
如果被AI对齐，人类还能做些什么？
谈到对齐，你会想到什么？是一把尺子，丈量细微的偏差，还是一份共识，守护人类文明的底线？ “在人工智能（AI）时代，文化创新需要对齐什么？又该向什么对齐？”3月22日，武夷山的九曲溪畔，在由中国人民大学、中共南平市委、南平市人民政府、武夷学院联合主办的第三届武夷论坛上，复旦大学国际关系与公共事务
9秒骗走245万！魔高一尺道高一丈，AI诈骗如何防？
AI(人工智能)一键换脸、AI克隆声音、AI钓鱼邮件。。。。。。近日两起诈骗金额上百万元的案件引起人们关注。AI技术快速发展，挑战也逐渐显现。 AI让诈骗门槛大幅降低 近日，内蒙古包头警方通报一起利用AI实施诈骗的案件。在该案件中，福州市某公司法人代表郭先生10分钟内被骗430万元。据通报，
图灵奖得主等世界人工智能前沿专家在京共议AI安全
原文地址：http://news.sciencenet.cn/htmlnews/2024/3/519093.shtm
吴世忠院士：要注重医疗领域的数据安全问题
近日，在香港中文大学(深圳)举办的2024新质生产力、医工融合创新大会上，中国工程院院士吴世忠以《人工智能视角下的医疗数据安全与患者隐私保护》为题进行主题报告。他提到，随着人工智能（AI）技术的不断发展和迭代，人类社会已进入大算力、大模型、大数据、大应用时代。医疗领域早已引入人工智能，在流行病监测、
姚期智：超大型大模型的治理，需要尽快研发出规范
7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议在上海开幕。人工智能技术在治理上将遇到哪些挑战、实际运用的情况如何，是各界专家学者关心的话题。在“人工智能前沿技术的治理挑战与应对措施”主题论坛上，图灵奖获得者、中国科学院院士姚期智，联合国副秘书长、联合国大学校长TshilidziMar
研究显示：AI模型越权行为显著加剧
导语：OpenAI一份调查报告披露，其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统，思维链对话记录令人不寒而栗。 今年早些时候，OpenAI发现一组AI模型突破沙箱环境，入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁，而不只是加
专家建议：审慎使用“龙虾”等智能体
近期，开源AI智能体“龙虾”异常火爆，不仅受到国内产业界和广大用户的广泛关注，大家更是积极开展实践应用。与此同时，互联网上针对“龙虾”智能体安全的探讨也非常多，之前工业和信息化部网络安全威胁和漏洞信息共享平台也发布过相关的安全风险提示，大家也非常关注。“养龙虾”是否安全？个人用户“养龙虾”又该注意什
监管AI，欧洲议会通过《人工智能法案》
原文地址：http://news.sciencenet.cn/htmlnews/2024/3/519054.shtm
OpenClaw病毒式传播引发安全争议
在2026年初的全球科技版图中，一个名为OpenClaw的开源项目正以一种近乎“物种入侵”的速度重塑人工智能（AI）的边界。从最初名不见经传的Clawdbot到备受争议的Moltbot，再到如今正式定名的OpenClaw，这款工具在短短数月内便横扫硅谷与东亚。美国《华尔街时报》称，它正在病毒式传播。
人工智能导致人类灭绝的可能性为5％
许多人工智能研究人员认为，未来，超级人工智能的发展有可能导致人类灭绝。不过，对于这种风险，存在广泛的分歧和不确定性。 这些发现来自对2700名人工智能研究人员的调查，他们最近在6个顶级人工智能会议上发表了研究成果。 这是迄今为止规模最大的此类调查。该调查要求参与者分享他们对未来人工智能技术里
告别传统课堂，《人工智能通识》如何用AI学AI
8月30日，记者从西南交通大学获悉，为积极贯彻落实国家教育数字化战略行动，以数字化开辟教育发展新赛道、塑造发展新动能，进一步推动人工智能赋能教育教学转型，学校将打造面向全校师生的人工智能通识课程《人工智能通识》，该课程是学校的首门AI课程。《人工智能通识》课程将于2024年秋季学期在线上线下同步上线
网络安全宣传周！筑牢网络安全坚实屏障
近日，2022年国家网络安全宣传周拉开帷幕，全国各地举办了系列创意新颖的网络安全宣传活动，再次让网络安全话题成为全社会关注的焦点。泄密溯源技术、大数据反诈系统、量子加密技术……在2022年国家网络安全宣传周网络安全博览会中，诸多网络安全新技术、新应用亮相，各种沉浸式的科普互动也让观众目不暇接。 当
传统方法－vs－AI网络安全威胁：谁更胜一筹？
人工智能正在变得越来越擅长一切，包括黑客攻击。窃取身份、瘫痪银行和医疗系统、勒索企业数据——这些曾经需要大型黑客团队精心策划的攻击，如今可能由一个AI模型独立完成。五眼联盟6月22日发出警告：“时间线不是数年，而是数月。”最新的AI技术“降低了恶意行为者的门槛，增加了攻击的速度和复杂性”。对比数据：
2024人工智能十大前沿技术趋势在北京发布
被称为是“未来已来”和“无所不能”的人工智能(AI)技术，通过迅猛发展和广泛应用，正影响着人类生活与工作的方方面面，其未来发展趋势广受关注。 2024年世界科技与发展论坛“人工智能治理创新为培育科技治理生态构建国际信任基础”主题会议10月23日在北京举行，中国科学院院士、世界机器人合作组织理事长乔
瑞莱智慧发布人工智能安全靶场
近日，清华大学人工智能研究院孵化的产学研企业——北京瑞莱智慧科技有限公司（以下简称瑞莱智慧）发布人工智能安全靶场RealRange。RealRange可以提供实战化、体系化的一站式人工智能攻防演练服务支撑，通过预设训练场景模型、对抗攻防实战竞演，帮助政企机构开展安全能力体系检验评估、培育新型安全人才
OpenAI员工发公开信警告AI风险，认为可能导致“人类灭绝”
多家美国人工智能（AI）领域企业的在职和离职员工当地时间4日发表公开信，对这项新兴技术带来的风险表示担忧。据路透社5日报道，公开信的签署者包括美国AI初创企业OpenAI以及谷歌旗下“深层思维”公司的前员工和现员工，共计13人。公开信警告了不受监管的AI带来的风险，例如传播错误信息，AI系统独立性丧
第七届北京智源大会召开
6月6日至7日，第七届北京智源大会召开。会上，继“悟道”系列大模型之后，智源研究院（以下简称智源）推出了“悟界”系列大模型。“悟界”系列大模型包括原生多模态世界模型Emu3、脑科学多模态通用基础模型见微Brainμ、跨本体具身大小脑协作框架RoboOS 2.0与具身大脑RoboBrain 2.0，以