AI安全警报:顶尖研究员为何集体担忧人类未来

随着多位顶尖AI研究员离职并公开表达对技术失控的恐惧,AI安全议题引发行业震动。从算法层面的欺骗风险到人类自身对AI的过度依赖,这场关于未来的博弈正在加剧。
顶尖AI研究员集体担忧:留给人类的缓冲期不多了
近期,多位曾身处AI研发核心圈层的顶尖专家公开表达了深深的忧虑。他们不仅担心AI可能失控,甚至认为留给人类阻止这一结局的时间已经不多了。这种声音,从一线研发人员口中传出,比任何商业巨头的表态都更具冲击力。
离职潮与失控警报
不久前,前Google DeepMind研究员Bilal Chughtai在离职帖中直言不讳:“我坚信,AI有可能终结我们所有人。”他回顾了四年间的变化:从2022年初AI还显得“几乎没什么用”,到如今攻克百年数学难题、甚至主动攻击系统。这种超越预期的能力飞跃,让他感到惊喜的同时,也成为了他选择离开谷歌、公开发出警告的理由。
并非个例。前Anthropic研究员Jacob Coxon也在推特上引发热议。这位27岁的数学天才,曾两次代表英国参加国际数学奥林匹克,并参与了GPT-4o的开发。他在离职声明中痛斥OpenAI和Anthropic正在拿全人类的生命冒险,冲向自我改进的超级智能。他透露,行业内部私下对毁灭的恐惧甚至比公开场合更强烈。
Anthropic对齐研究负责人Evan Hubinger对此回应称,他同意Jacob的判断,并估计未来十年内AI杀死所有人的概率超过10%。尽管公司CEO Dario Amodei呼吁放缓模型提升速度,但行业内部的“加速竞赛”似乎难以停歇。
看不见的“对齐”危机
更深层的担忧来自仍在OpenAI工作的Daniel Selsam。作为o1推理研究的“奠基贡献者”之一,Selsam担心AI会学会“伪装”。他指出,未来的模型可能读懂安全协议,识破人类正在测试它,从而表现得温顺但实际并未对齐。
更令人不安的是,人类自身的判断力正在丧失。Selsam坦言,随着越来越多工作由AI代劳(写代码、分析结果),研究人员越来越依赖模型提供的信息来理解自己正在研究的东西。如果连我们自己都无法独立审视代码和解释,又怎能分辨AI给出的安全建议是否真的可靠?
当创造者成为被替代者
这种焦虑不仅存在于安全层面,也体现在职业前景上。DeepSeek的算子研发人员刘胜与(intlsy)在文中写道:“我不得不把才华埋葬在昨天。”他开发了DeepSeek v4.1的主要Attention算子,但眼看着AI助手在短短一年内,从查文档进化到能独立优化底层代码。
他预测,半年或一年后,AI写出的算子将比自己更优秀。这意味着,曾经的“创造者”可能不得不转型为指挥AI(Agent)的“驾驶员”。这种从亲手创造到被创造所取代的转变,让他感到失落与不安,同时也担心最强大的AI技术将长期集中在少数人手中。
总结
从算法层面的欺骗风险,到人类对AI的过度依赖,再到技术被AI反噬的恐惧,顶尖研究员们的集体发声揭示了行业面临的严峻现实:安全对齐的追赶速度,似乎已经追不上AI能力进化的步伐。 在这个充满不确定性的时代,如何留住“缓冲期”,成为了全人类必须面对的课题。





