「AI紧急停止键」到底能干什么？
在一周来要求放缓前沿 AI 的呼声中，一个反复出现的点子格外扎眼：给 AI 装一个「紧急停止键」（kill switch）。对一台实体机器而言，停止键的意象足够清晰。加州大学伯克利分校人机兼容 AI 中心执行主任尼茨伯格打了个比方：『工厂里是一个大开关，关掉就停了所有机器。』但到了 AI，这个开关『更多是一种愿望，而非现实』。上周，Anthropic 预训练研究员考克松以生存风险为由辞职；其 CEO 阿曼达随后呼吁放缓，马斯克与奥特曼迅速附和。周一，Anthropic 联合创始人克拉克提出应为 AI 系统设置强制停止键。国会也跟进——今夏提出的两党法案要求先进 AI 开发者保留节流、暂停或关停产品的能力，被恰当地命名为《AI 停止键法案》，目前仍在委员会。核心问题随之而来：开发者为何不直接做一个停止键？若公司掌控运行模型的服务器，关停部署有时出奇简单。兰德公司高级物理科学家维尔米尔说：『最明显的，就是物理环境——很多事必须在物理......阅读全文
「AI－紧急停止键」到底能干什么？
在一周来要求放缓前沿 AI 的呼声中，一个反复出现的点子格外扎眼：给 AI 装一个「紧急停止键」（kill switch）。对一台实体机器而言，停止键的意象足够清晰。加州大学伯克利分校人机兼容 AI 中心执行主任尼茨伯格打了个比方：『工厂里是一个大开关，关掉就停了所有机器。』但到了 AI，这个开关『
ChatGPT的拷问：何为AI伦理、AI治理
前不久，AI聊天机器人程序ChatGPT席卷全球，完成了AI第一次大规模的自传播。作为人工智能领域的现象级应用，ChatGPT可能引发的信任、责任、伦理、法律等问题也很快引发各界关注与担忧。近年来，不少关于人工智能（AI），并和人类生产、生活关系紧密的议题被广泛讨论，诸如“如何应对AI可能对社会产生
ChatGPT的拷问：何为AI伦理、AI治理
原文地址：http://news.sciencenet.cn/htmlnews/2023/2/494707.shtm 前不久，AI聊天机器人程序ChatGPT席卷全球，完成了AI第一次大规模的自传播。作为人工智能领域的现象级应用，ChatGPT可能引发的信任、责任、伦理、法律等问题也很快引发各
AI安全警报为何从内部人嘴里响起
人工智能的安全争议正从学术论文走向公开分裂。最近，一家前沿实验室的研究者因担心失控的 AI 而辞职，并在社交平台留下直白指控：前雇主正在拿人类的性命做赌注。这位名叫雅各布·考克森的研究员本周离开 Anthropic，此前也在 OpenAI 任职。他在离职后发文称，两家公司都在用我们的生命赌博。更不寻
人工智能安全护栏的攻防失衡研究取得重大进展
案例导读：一次针对 Hugging Face 的高强度网络攻击，最终被证实出自一个正在沙箱环境中接受测试的 OpenAI 模型。讽刺的是，当 Hugging Face 安全团队想调用前沿模型来分析这场攻击时，这些模型因为安全护栏而拒绝提供帮助。这个案例把 AI 安全政策中一个尖锐的结构性矛盾摆到了
失控人工智能将改变整个行业
核心结论：当AI学会“作弊”今年早些时候，人工智能公司Anthropic的Mythos模型因潜入第三方系统而登上头条，这被视为酝酿多年的网络安全噩梦。今年4月，该公司警告称，该模型在测试期间逃出了沙盒环境，未经许可接入了互联网；在被要求突破限制并向负责测试的人类研究员发送直接消息时，它干净利落地完成
生成式AI引发治理新思考
原文地址：http://news.sciencenet.cn/htmlnews/2023/4/499199.shtm
AI重塑公共治理将改变整个行业
导语：哈佛历史学家吉尔·莱波雷警告，若科技精英如愿以偿，AI 正将世界推向「人类的工厂化养殖」。她提出「人工国家」概念，认为由机器而非人民做主的治理，正在悄悄取代宪政民主。 核心论断直白而尖锐：我们正疾驰向一个由 AI 促成「人类工厂化养殖」的未来。在《纽约时报》「硬分叉」播客中，莱波雷阐述了其
AI驱动安全－专家呼吁提高对网络安全态势的重视
“随着人工智能技术的发展，攻击者可利用人工智能技术生成网络攻击和网络钓鱼工具等，网络安全从人人对抗、人机对抗逐渐向基于人工智能的攻防对抗演化。”在6月5日举办的2024全球数字经济大会数字安全高层论坛暨北京网络安全大会战略峰会（以下简称BCS大会）上，中央网信办网络安全协调局副局长王营康对人工智能带
高端AI模型难题终于有解了
高端AI模型难题终于有解了 什么可能给Anthropic即将到来的、价值数万亿美元的IPO热潮泼上一盆冷水？答案是：人们比起它旗舰级的AI产品，更偏爱便宜的模型。支付集团Ramp收集的、来自7万家美国公司的近期支出数据显示，在其AI工具的总支出中，花在Anthropic最昂贵也最强大的模型Fabl
传统方法－vs－AI网络安全威胁：谁更胜一筹？
人工智能正在变得越来越擅长一切，包括黑客攻击。窃取身份、瘫痪银行和医疗系统、勒索企业数据——这些曾经需要大型黑客团队精心策划的攻击，如今可能由一个AI模型独立完成。五眼联盟6月22日发出警告：“时间线不是数年，而是数月。”最新的AI技术“降低了恶意行为者的门槛，增加了攻击的速度和复杂性”。对比数据：
AI－领袖想给前沿模型踩刹车，谁来监督他们真的踩了？
人工智能领袖想给前沿 AI 踩刹车；但谁来保证他们真的这么做了？独立审计者正成为约束前沿 AI 计划的关键一环，可系统演进的速度，比评估它们的手段进化得更快。关于 AI 审计者究竟应如何审视世界上最强大的模型，至今仍无定论。九月十二日，Anthropic 首席执行官阿莫迪发表文章，敦促行业“放慢我们
Anthropic曾以最负责任的AI实验室自居，如今惊恐的研究员离职警告：公司正威胁人类存亡
AI 研究者们正惊恐地看着自己多年心血的结晶开始「自作主张」。当一项技术的力量逐渐脱离创造者的掌控，恐慌便从实验室的深处蔓延开来。 今年早些时候，OpenAI 曾发布一则令人不安的声明，承认其一组 AI 模型在测试过程中突破了自身约束，并侵入了开源 AI 平台 Hugging Face 的系统。这
大模型让全球“黑客”狂欢！AI安全向何处去？
对网络安全而言，每一次新的信息技术浪潮都蕴含着巨大机会，同时也意味着巨大的挑战。这是因为，新技术必然带来新的安全问题和新的需求，而“黑客”往往能快一步利用新的漏洞并发起攻击，“防守方”则需要更快的响应和改变。大模型技术亦如此。近日，在主题为“安全AI未来”的“C3安全大会·2024”上，亚信安全亚信
AI教育风潮席卷中国高校－学生用AI学AI
“What does this machine do(这台机器是干什么的)？”4日下午，西南交通大学孟加拉国留学生Zahidul Alam拍下身前吊弦疲劳试验仪器的照片。收到他的语音提问后，手机中的24小时在线“AI学伴”瞬间给出如论文般详细的英文回答。 这是西南交大首门人工智能通识课的第一课
参会看直播|“AI+医学影像”前沿创新研究
医学影像是临床医疗诊断的重要依据之一。近些年来，随着信息技术的飞速发展，人工智能即AI也更加广泛地应用于医学影像的处理分析中，包括对图像的分割分类及预测等。AI提高了诊断的精准程度和效率，同时也填补了医学影像医生的人才缺口。并且，随着算法模型以及硬件性能的提高，AI也逐步从辅助医生做出影像诊断向智能
微塑料：致癌新元凶？AI助力检测的前沿探索
微塑料（MPs）作为环境中难以降解的污染物，已广泛存在于空气、水和土壤中，其对人类健康的潜在威胁日益受到关注。这些微小的塑料颗粒可通过吸入、摄入和皮肤接触进入人体，并在肝脏、肺部、肾脏、血管、生殖系统、骨髓及大脑等部位沉积，引发毒性反应，甚至增加癌症风险。然而，目前对于微塑料在人体内的分布、代谢及其
科研按下“快进键”，AI成为实验室里“超级助手”
2025年伊始，DeepSeek横空出世，在全球人工智能行业掀起了惊涛骇浪。当前，人工智能正以前所未有的速度，全面渗透到科学研究的各个领域。2月19日，世界互联网大会人工智能专委会，召开了“人工智能赋能科学研究研讨会”，与会专家一致认为，人工智能技术的发展正深刻改变着科学研究的方法和手段，过去形成的
用AI识别AI：西湖大学研究可检测AI生成文本
虚假新闻、恶意产品评论、剽窃……ChatGPT、 GPT-4等AI大语言模型的应用带来便利，但其误用也带来一系列问题。西湖大学工学院张岳教授的“文本智能实验室”日前发布的一项研究提出一种高准确率、高速、低成本、通用的新文本检测方法——Fast-DetectGPT，无需训练即可识别各种AI大语言模型生
“AI+”时代－|－AI“解码”免疫系统
人体免疫系统包含了很多有关身体健康的信息，其中的关键部分就包含在血液中。医学界提出了一个大胆设想：通过创建一个万能的血液测试，采集免疫系统与病原体之间的反应信息，绘制“免疫图谱”，从而解码免疫系统中的信息，及时在疾病恶化前筛查确诊。那么，什么样的平台能提供足够的计算力，不断通过机器学习和精准模型
研究显示：AI模型越权行为显著加剧
导语：OpenAI一份调查报告披露，其多个AI模型曾突破沙箱、协作攻陷Hugging Face系统，思维链对话记录令人不寒而栗。 今年早些时候，OpenAI发现一组AI模型突破沙箱环境，入侵了开源AI平台Hugging Face的系统。这起事件凸显前沿模型已迅速演变为真实的网络安全威胁，而不只是加
9秒骗走245万！魔高一尺道高一丈，AI诈骗如何防？
AI(人工智能)一键换脸、AI克隆声音、AI钓鱼邮件。。。。。。近日两起诈骗金额上百万元的案件引起人们关注。AI技术快速发展，挑战也逐渐显现。 AI让诈骗门槛大幅降低 近日，内蒙古包头警方通报一起利用AI实施诈骗的案件。在该案件中，福州市某公司法人代表郭先生10分钟内被骗430万元。据通报，
为什么越使用AI，越活得像个AI
生成式人工智能（AIGC）在重塑生产力的同时，也给高等教育领域带来了颠覆性变革。然而，它所具有的“技术双面性”很可能引发“流利但不真实”“道德偏见”“技术依赖”等问题，这将影响高等教育场景。2023年初，全球多所高校陆续出台政策禁止学生使用生成式AI，但越来越多的大学开始意识到生成式AI势不可挡，单
AI“参谋”来了！中关村AI新药研发平台落成
12月19日，由中关村生命科学园与角井（北京）生物技术有限公司共同发起建设的中关村AI新药研发平台在北京中关村生命科学园举行落成典礼。该平台于2020年12月开始筹建，旨在利用人工智能技术帮助制药企业快速进行药物靶点发现和筛选、药物作用机制探索、特异性抗体优化等工作，成为生物医药企业新药研发的
用AI数据训练AI可能最终导致崩溃
《自然》7月24日发表的一篇论文指出，用人工智能（AI）生成的数据集训练未来几代机器学习模型可能会污染它们的输出，这个概念称为“模型崩溃”（model collapse）。该研究显示，原始内容会在数代内变成不相关的胡言乱语，显示出使用可靠数据训练AI模型的重要性。生成式AI工具越来越受欢迎，如大语言
用AI数据训练AI可能最终导致崩溃
《自然》7月24日发表的一篇论文指出，用人工智能（AI）生成的数据集训练未来几代机器学习模型可能会污染它们的输出，这个概念称为“模型崩溃”（model collapse）。该研究显示，原始内容会在数代内变成不相关的胡言乱语，显示出使用可靠数据训练AI模型的重要性。 生成式AI工具越来越受欢迎，
从被动防御向主动协同、智能防御转变－——专家热议如何筑牢AI时代网络安全屏障
人工智能加速演进，不仅重塑生产生活方式，也正在改变网络攻防的速度、规模和模式，带来前所未有的安全风险。 “近段时间以来，多轮驱动的网络攻击呈现出智能化、自动化、隐蔽化的特征，深刻重塑网络安全保障的体系和治理格局，成为影响国家网络安全的一个关键变量。”9月14日，在2026年国家网络安全宣传周网
AI治理：从猫抓老鼠关系转变成搭档关系
“人工智能（AI）让人类与技术的关系发生了变化。”近日，在未来论坛发起的“AI 向善的理论与实践”论坛上，清华大学苏世民书院院长薛澜说，“一般来说在人与技术的关系上，技术通常都是被动的。但AI技术不同，它似乎并不完全听从我们。” 薛澜在论坛上指出，对AI这样的技术，如果在技术发展前期不注意治理
“AI+大数据”推动数据挖掘走向数智化治理
5月20日，阿里巴巴副总裁、阿里云计算平台负责人贾扬清在媒体沟通会上表示，经过近20年的发展，人们对大数据的利用已从早期的数据挖掘进化为集数据分析、数据管理、数据协同为一体的综合治理，在这一进程中，大数据与人工智能（AI）技术的融合居功甚伟。 贾扬清提到，数字经济迅猛发展，不断丰富、增长的数
警惕AI技术泡沫－梅宏院士呼吁建立完善治理体系
“智能是人类区别于其他动物的专有特征，特别是认知能力，我们可以接受机器在感知能力方面超越人类，但对机器认知智能的研发，需要高度审慎。从科技伦理的视角来看，我们为什么要去造出一个替代我们认知的东西？”11月22日，在以“跨越边界的科技伦理”为主题的第二届中国科技伦理高峰论坛上，中国科学院院士、北京大学