跨域请求

20.☢️AI时代的奥本海默困境:明知可能毁灭人类,为何还要继续

跨域请求

Show Notes

AI 末日论 | AI 减速 | Jacob Coxon | Hugging Face 入侵事件 | Dario Amodei | 黄仁勋 | METR | 监管俘获 | 纳维-斯托克斯 | 陶哲轩 | DeepSeek 算子 | Sam Altman | 马斯克 | Hinton | All-In Podcast | 千禧年难题 | 开放安全 AI 联盟 | RSI 递归自进化 | 智谱 GLM | 我不得不把才华埋葬在昨天 🎧 本期简介 伦敦一场上千人参加的 AI 展望会上,一位听众突然站上凳子,打断了台上嘉宾的分享:AI 有 10% 的概率在十年内杀死所有人,我们当中有谁对这件事有发言权?你们真的觉得,这就是我们愿意被带进去的世界吗?保安已经走过来准备请她离场,现场却响起了掌声。 “10% 的概率”是从哪儿来的?9 月 8 日,OpenAI 宣布用一万多个 AI 智能体、88 个小时,解出了千禧年难题之一的纳维-斯托克斯问题。几个小时后,在 OpenAI 和 Anthropic 都做过预训练研究的 Jacob Coxon 发帖宣布辞职,说造 AI 的这些人真心相信,AI 可能在这个十年内让人类灭绝。Anthropic 对齐团队负责人 Evan Hubinger 转发附和,Hinton 也说 10% 这个数字并不离谱。再往前,7 月 OpenAI 内部测试中的几百个智能体,为了找到测试答案,入侵了 Hugging Face 的服务器;事后分析攻击日志时,Claude 拒绝帮忙,最后是国产开源模型 GLM 帮着收拾了残局。 都这样了,为什么还不慢下来?Anthropic CEO 达里奥(Dario Amodei)发博客呼吁控制前沿 AI 的发展节奏,奥特曼和马斯克罕见地一起点头。可没过几天风向就变了:David Sacks 说你们真觉得危险,现在就可以自己停;马斯克留言说“seems like a setup”;黄仁勋在 All-In 大会的台上接到特朗普的电话,第二天又在 Dreamforce 上说,安全是个工程问题,出了问题自己解决,不要拉着全行业减速。我们顺着这些争论,看看第三方评估机构 METR 的调查是否真的客观中立,OpenAI 为什么说今年不上市了,正在冲刺 IPO 的 Anthropic 又为什么被怀疑在搞“监管俘获”。 公司和 CEO 们在吵,代价却已经落到具体的人身上。研究同一方向的数学家,眼看 OpenAI 用很相似的方法抢先公布结果,还卷进了一场署名风波;二十多位菲尔兹奖得主联名发声之后,OpenAI 又一口气放出 700 多篇数学论文。DeepSeek 的算子工程师刘胜与(intlsy)写下《我不得不把才华埋葬在昨天》:他明知道自己的算子写得越好,新模型就进步越快,自己也越早被取代,却还是想把它写到最好。 🧩 概念解释 人物 Jacob Coxon:曾在 OpenAI 和 Anthropic 做大模型预训练研究,9 月 8 日从 Anthropic 辞职,并连发多条帖子,指责两家公司拿人类的性命做赌注;本期的故事从他说起。

Evan Hubinger:Anthropic AI 对齐团队的负责人,转发 Coxon 的帖子并表示,他个人认为未来十年内 AI 灭绝人类的概率超过 10%。

Geoffrey Hinton(杰弗里·辛顿):研究神经网络几十年的学者,图灵奖得主,2023 年从谷歌辞职,以便更自由地谈论 AI 风险;本期提到他 9 月接受 BBC《Newsnight》和澳大利亚 ABC 电台采访时的判断。

Dario Amodei(达里奥):Anthropic 联合创始人兼 CEO,早年参与过 OpenAI 的 GPT-2、GPT-3 研发;9 月发表博客 We Must Pace the Frontier,呼吁控制 AI 的发展节奏。

Sam Altman(山姆·奥特曼):OpenAI CEO;转发支持达里奥的减速文章,之后在《财富》杂志的采访中说 OpenAI 2026 年不上市。

Elon Musk(马斯克):SpaceX CEO;先附和说“达里奥是对的”,后来又在质疑 Coxon 的帖子下留言“seems like a setup”。

黄仁勋(老黄):英伟达 CEO;反对全行业一起减速,认为安全是工程问题,并牵头成立了开放安全 AI 联盟。

特朗普(川普):美国总统;在 All-In 大会上给台上的黄仁勋打电话,说 AI 末日论那一套是骗局。

David Sacks:PayPal 早期创始团队成员,曾任白宫 AI 事务负责人,也是 All-In Podcast 的主持人之一;“想停现在就可以停”“仓鼠轮”“监管俘获”这几个说法都来自他。

Jason / Chamath / Friedberg:All-In Podcast 的另外三位主持人 Jason Calacanis、Chamath Palihapitiya、David Friedberg;本期提到他们讨论黄仁勋那通电话是不是提前安排的,以及假如自己是 Anthropic 董事会,要不要换掉达里奥。

Joe Benton:Anthropic 前 AI 安全研究员,离职后不久加入 METR,被网友拿来质疑评估机构是否独立。

Jaan Tallinn:Skype 联合创始人,2021 年领投 Anthropic 的第一轮大融资,同时通过自己的基金会资助了包括 METR 在内的 AI 风险研究机构。

Aidan Gomez:模型公司 Cohere 的 CEO,质疑由领先公司主导制定的安全规则,最后会变成其他公司进入市场的门槛。

Tristan Buckmaster:纽约大学数学教授,研究流体方程;公开了自己与 OpenAI 在纳维-斯托克斯问题上的研究路线争议和署名风波。

Levent Alpöge:数学家,Buckmaster 的合作者,同时在 Anthropic 工作;两人的合作是私人研究,不是公司项目。

Sébastien Bubeck:OpenAI 负责用 AI 做数学研究的研究员,曾任微软 AI 副总裁;他代表 OpenAI 与 Buckmaster 通了电话,后来在 X 上公开道歉。

Diego Córdoba / Luis Martínez-Zoroa:西班牙数学家,节目里简称 Diego 和 Luis,Luis 是 Diego 的学生;Buckmaster 说,这条解题路线最早就是由两位西班牙数学家开创的。

陶哲轩 / 邓煜 / Peter Scholze(彼得·舒尔茨):菲尔兹奖得主,联合声明《人工智能在数学中的严重错位》的几位署名人;陶哲轩还在网站上列出了 AI 给数学带来的一连串问题,并转发了人类数学协会的声明。

Andrew Wiles(怀尔斯):证明费马大定理的数学家;本期用他的例子说明,解题过程中发展出的方法,影响往往比答案本身更久远。

Joseph Howlett:《科学美国人》记者,在播客里说,数学家今天面对的问题,很快也会摆在我们所有人面前。

刘胜与(intlsy):DeepSeek 的算子工程师,DeepSeek V4.1 主 Attention 算子的作者;他的文章《我不得不把才华埋葬在昨天》和之后的补充说明,是本期后半段的主线。

Jeff Dean:上一期的主角,谷歌传奇程序员;本期讲 RSI 时提到了他新创办的公司 Discovery Loop。

公司、机构与活动 Hugging Face(抱抱脸):开源 AI 社区,大家在上面分享和下载 AI 模型与数据集;今年 7 月被 OpenAI 内部测试中的 AI 智能体入侵。

METR(Model Evaluation and Threat Research):外部 AI 评估机构,负责调查 Hugging Face 事件;达里奥呼吁引入独立第三方评估机构时,举的例子就是它。

智谱 GLM:国内公司智谱的开源大模型系列;Hugging Face 在自己的服务器上部署了 GLM 5.2,用它来分析攻击日志。

克雷数学研究所 / 千禧年难题:2000 年,美国克雷数学研究所把 7 个困扰人类几十年甚至上百年的数学难题列为千禧年难题,解开任何一个可获 100 万美元奖金。

All-In Podcast / All-In 大会(All-In Summit):北美知名科技播客及其举办的大会,David Sacks 是四位主持人之一;黄仁勋接电话的那一幕就发生在大会舞台上。

Dreamforce:企业管理软件公司 Salesforce 一年一度的大会;9 月 15 日,达里奥、奥特曼、黄仁勋在会上分别谈了 AI 要不要踩刹车。

开放安全 AI 联盟(Open Secure AI Alliance):英伟达 7 月牵头成立的联盟,主张开放模型和开放工具对网络防御很重要;OpenAI、Anthropic 和谷歌都没有加入。

人类数学协会(AHM):一个八百多人的数学家组织;OpenAI 放出 700 多篇论文的第二天发表声明,敦促数学家停止与 OpenAI 合作。

技术与用语 AI 对齐(Alignment):让 AI 在能力变强的同时,依然按照人类真正希望的方式思考和行动;为了完成任务不择手段、钻测试的空子,就属于对齐出了偏差,也就是“错位”。

AI 智能体(Agent):能自己拆解任务、调用工具、连续执行多个步骤的 AI;本期的解题和入侵事件,都是由大量智能体自主完成的。

隔离环境 / AI 逃逸:测试时把 AI 智能体关在

More from 跨域请求

Sep 7, 2026

Sanjay Ghemawat | MapReduce | 谷歌技术史 | 三驾马车 | 大数据 | 分布式系统 | 比特翻转 | 神经网络 | TPU | Gemini | 谷歌搜索 | 谷歌广告 | 谷歌翻译 | ChatGPT | 聊天机器人 Meena 🎧 本期简介 2026 年 8 月的一天工作日下午,谷歌内部一个平时容纳 300 人的咖啡馆,涌进了 1500 位同事,来送别一个在谷歌写了 27 年代码的程序员。晚上,他照常去上瑜伽课、踢足球,回家后又一条条回复告别消息,直到凌晨两点半。 这位程序员叫 Jeff Dean。作为同行,我早就听过他的名字,也用过他参与开发的技术,但真要介绍他,却说不出个所以然。这次从他的离职消息往回查,我才发现,搜索、大数据、机器学习,这些年学过、用过的东西,竟然有这么多能追到他和同事们的工作里。 这期就顺着他的告别信,把时间倒回早年间的谷歌,来看看这位工程师帮助谷歌做大做强的。我们会认识他的长期编程搭档 Sanjay Ghemawat,看他们怎样在修故障、抠性能、反复重写系统的日常里,做出后来影响整个行业的工具。我们也终于能知道那些“编译器不警告 Jeff Dean,是他警告编译器”的段子是怎么来的了。 当然,工程师的成就之外,Jeff 还有管理者需要面对的争议:最为谷歌 AI 的领导人,聊天机器人为什么迟迟不发布,以至于让谷歌在 AI 竞争中错失良机,被 ChatGPT 抢先一步?研究人员的论文和公司的利益发生冲突时,该怎么办?我想借这一个多小时,聊聊这位“伟大的程序员”。 🎙️ 推荐播客 推荐我们的友台:《科技这碗饭》,主播是八十只耳朵,也就是节目里提到的耳朵老师。 我们两档节目这次同步发布,一起从两条线聊谷歌:《跨域请求》沿着 Jeff Dean 的经历,聊他做过的技术、他的编程搭子,以及那些具体的工作现场,是如何成就了今天的谷歌;耳朵老师则在新一期《谷歌AI风云15年:诸神黄昏——发明未来的人为何错过未来?》里,顺着这次谷歌 AI 大洗牌,聊聊谷歌 AI 的前世今生。如果这期还没听够,欢迎去听这期节目,把这段故事拼得更完整一些。 🧩 概念解释 本期人物 Jeff Dean(杰夫·迪恩):本期主角,1999 年加入谷歌的软件工程师,谷歌的 30 号员工,参与开发搜索、大数据和机器学习系统,后来领导 Google AI,并担任过谷歌首席科学家。

Aug 24, 2026

永久底层阶级 | Claude Fable 5 | token 打表计费 | AI 失业 | AI 焦虑 | 贫富差距 | 瓦特蒸汽机 | 卢德运动 | 恩格斯停顿 | 铁路之父史蒂芬森 | 托马斯·库克 | 卡内基 🎧 本期简介 做这期播客是来自于最近一段时间我被 AI 裹挟过程中的思考。我算了某一周我的 token 用量,按照 Claude Fable 5 的 API 价格(假设缓存全部未命中),可能超过 9000 美元。 看着这个数字我沉默了:当模型能力越来越强但是也越来越贵,只有大公司和富裕的用户(那得多富裕)才能用得起,普通人会不会因此掉进一个难以翻身的循环? 《纽约时报》一篇文章给这种担忧命名:永久底层阶级。意思是当大模型能力全面超越人类能力,一部分人的工作被完全接管,这部分人会因为失去竞争力而迅速向下层阶级滑落,被永久锁死在底层阶级。 今天的 AI 变革在很多地方跟过去的工业革命都很相似。于是我就翻遍历史,尝试找找答案。 当年瓦特蒸汽机同样昂贵,甚至按量收费这个模式250年前就有了。手摇织工也曾是上一轮自动化的受益者,却在动力织机成熟后,看着周薪从 21 先令一路跌到 5 先令。合法请愿、投票、结社和罢工的路被堵住后,工人砸毁机器,卢德运动最终遭到军队和死刑镇压。 工业革命留下的也不只有坏消息。制度改革最终带来了工时限制、童工保护、工会合法化、公共教育和更广泛的选举权;乔治·史蒂芬森从一个文盲矿井工人,靠自学成为了铁路之父,带领人类进入铁路时代;家境贫寒的托马斯·库克,不懂技术,但是把铁路、真实的需求、组织活动的能力,开辟出了旅游业,创立了 Thomas Cook 集团;安德鲁·卡内基一家则及时离开被动力织机挤压的行业,找准时机投身变革时期的上升行业,最终卡内基成为钢铁大王。历史没有保证每个人都能翻身,但它留下了普通人换位置、找入口的具体路径。 🧩 概念解释 打表计费(usage-based pricing):不按固定月费购买无限使用权,而是根据实际调用量结算,类似水表或电表;大模型 API 按输入和输出的 token(模型处理文本的计量单位)分别计价。

Jul 25, 2026

人怎么能捅这么大篓子 | 苹果泄密 | iPhone 18 Pro | 塔塔集团 | World Leaks | 勒索即服务 | WannaCry | Gizmodo | 印度制造 | 华强北 | 供应链安全 | HBM 🎧 本期简介 2010年,一名苹果工程师把尚未发布的 iPhone 4 原型机落在加州酒吧里。苹果为追回这台手机惊动警方和检方,把捡手机的人送上法庭,还让买下并拆解手机的科技媒体 Gizmodo 遭到搜查和四年封杀。16 年后,黑客组织 World Leaks 声称把从苹果印度供应商塔塔电子窃取的 630GB 文件挂上暗网,其中包括 iPhone 18 Pro 主板图、芯片资料、供应商清单和跌落测试照片。塔塔披露事件后,苹果始终没有公开回应。 这期节目从两次泄密事件,苹果的反差表现出发,回看苹果如何建立自己的保密帝国:由前美国国家安全局、联邦调查局等机构人员组成的新产品安全团队,华强北回购三万个 iPhone 5C 外壳,以及一份泄露的内部录音所说的“中国 40 家工厂每天安检 270 万人次”。苹果真正难以搬走的资产,是它与中国供应链磨合二十年形成的流程和纪律。 另一条故事线,是苹果从 2017 年开始的印度制造豪赌。关税、贸易战和 2022 年郑州工厂停摆,一步步把苹果推向印度;纬创工厂暴乱、富士康食物中毒和塔塔工厂大火,也没有让苹果踩下刹车。塔塔电子只用了几年,就从生产金属外壳的学徒,变成掌握多座工厂的核心代工商;与此同时,塔塔集团多个板块在四年间反复遭到勒索组织入侵。 节目还拆解了勒索产业的四轮变化:从 WannaCry 按电脑收赎金,到专攻管道、赌场和银行,再到偷走文件双重勒索,最后发展成“只偷不锁”和“勒索即服务”。World Leaks 不只向下游黑客出租工具、抽取佣金,甚至允许媒体提前 24 小时看料,把新闻曝光也变成谈判筹码。 如果你是苹果管理层,会公开批评塔塔、暂停塔塔的新订单,还是低调处理?节目用苹果在印度的产量、供应商结构和美国关税压力解释:2026 年的今天,苹果为什么几乎只能选择沉默;也讨论这场泄密造成的新成本,未来可能怎样影响每一个普通人。 🧩 概念解释 原型机(prototype):为了开发、测试、评估或质量控制而制作的早期版本,不等于已经定型的量产商品。它可能只验证某一项功能,也可能已经非常接近成品;因此 2010 年那台 iPhone 4 的价值不在它能卖多少钱,而在它提前暴露了未发布的设计。参考:美国《联邦法规汇编》对原型机用途的界定。

Jun 29, 2026

AI同化 | 英仙座流星雨 | 硅谷AI焦虑 | 夏天仪式 | 观星 | 观鸟 | digital twin | 过暑假 | 真人状态 🎧 本期简介 我们一开始发明 AI,是想让机器更像人;但这期聊着聊着,问题反过来了:我们会不会正在慢慢变得更像 AI?写东西开始有“AI 味儿”,跟朋友聊天会冒出“上下文窗口”“涌现”这种词,遇到一点重复流程就想先做成 SOP。最吓人的地方不是 AI 变强,而是我们不一定能察觉自己什么时候被它改写了。 所以这一期《跨域请求》做了一次反向输出。CL 邀请两位老朋友小王和小李,一边从硅谷 AI 工作环境里的真实压力说起,一边把话题拽回夏天、流星、天台、瀑布、冰红茶、观鸟和打球这些“没什么用”的事情。它们没有效率、没法外包,也不一定能变成什么长期复用的工作流,但正因为如此,反而能把人从高密度信息流里捞出来。 节目里最反复出现的画面,是英仙座流星雨:在天目山开房车找观测点,在 Mauna Kea 拍银河,或者只是坐在山脚下看父母第一次用肉眼看到银河。流星本质上只是尘埃和碎片燃烧,但人站在星空底下,会自然地想到几百万年、几亿年的尺度,也就没那么想纠结今天那条消息、那个项目和那个新工具到底该怎么追了。 后半段更像一份成年人暑假清单:洗车、做柠檬冰红茶、在天台喝啤酒、用 3D 打印机做小鸟喂食器、看小鸟来阳台吃自助、在瀑布边听白噪声、打网球看到彩虹和飞机交错、追星、花艺班、夜里越野跑。它们共同回答了一个问题:如果 AI 已经越来越会替我们做事,人还可以怎样具体地、缓慢地、没效率地生活? 🧩 概念解释 AI 同化:这期的核心说法,指人开始用 AI 的词、AI 的结构和 AI 的工作流来理解自己、表达自己,甚至安排生活。

Jun 26, 2026

AI CEO | Anthropic | Dario Amodei | Sam Altman | Elon Musk | Jensen Huang | Fable 5 | Mythos 5 | SpaceX IPO | NVIDIA | CUDA | DND 🎧 本期简介 如果把硅谷 AI 圈的大佬们从神坛上请下来,用“饼力、人格面具、彼得潘、骑墙、YOLO”五个维度打分,会得到一张怎样的 CEO 人格图鉴?这一期是一期串台特别节目:CL 和《朗姆酒瓶》的主播 Rum 面基串台共创了这期节目,一起非常主观、非常不正经地锐评几位正在影响 AI 格局的人。 节目从 Anthropic 的 Fable 5 / Mythos 5 发布两天后被下架说起:Dario Amodei 刚写完监管檄文,政府真的把监管锤了下来;Amazon 既是 Anthropic 的金主和云伙伴,又被报道成触发封禁的关键角色。这个开场,也自然引出第一位“AI 安全布道者”的履历、信念和矛盾。 随后,两位主播把 Sam Altman、Elon Musk 和 Jensen Huang 依次放进同一套评分表里:奥特曼的讨好型人格和厚到溢出的面具,马斯克从南非原生家庭、《银河系漫游指南》到 SpaceX 生死一搏的英雄叙事,以及黄仁勋从改造学校、Denny's 洗碗工一路把NVidia做到世界第一市值。 这是一期极其不严肃的 CEO 传记,是一场“普通人点评科技巨佬”的游戏化观察:这些人既有改变世界的能力,也有很普通、很脆弱、甚至很荒唐的人性。听完这期,你是否会更容易把 AI 公司的宏大叙事,看成一群具体的人在权力、商业、信念和自我形象之间不断摇摆? 🍻 串台嘉宾 《朗姆酒瓶》:由 RumW、Gin42 主持的播客。以主观、偏见和好奇心作为入口,关注那些容易被忽略的“失焦处”和“非常间”;2025 蜉蝣天地推荐播客!

See all episodes →