跨国串门儿计划

#803.Dario Amodei 兄妹:为什么AI不能只靠规则学会做对的事?

跨国串门儿计划

Show Notes

📝 本期播客简介 本期我们克隆了:TechStuff · The Builders: Dario & Daniela Amodei 原内容更新时间:Wed, 28 Oct 2026 如果只教 Claude 一张“不能做什么”的清单,它反而可能应付不了从未遇见的新情况。Dario Amodei 说,教它判断事情的原则,才更能举一反三。 主持人 Walter Isaacson 与 Anthropic 联合创始人 Dario、Daniela Amodei 谈 AI 安全、公司原则与技术竞赛:Claude 如何学习诚实而不谄媚,模型为什么会表现出避免关闭的倾向,以及 Anthropic 为什么拒绝让 AI 用于大规模监控或自主武器。他们还谈到,一人指挥百万架无人机对民主意味着什么,以及 AI 变强之后,人类还能从哪里找到意义。 👤 本期嘉宾 Dario Amodei 是 Anthropic 首席执行官兼联合创始人,曾任 OpenAI 研究负责人,亲历 GPT-2 早期发展;他长期关注 AI 的能力、安全和模型内部机制。Daniela Amodei 是 Anthropic 联合创始人,曾任 OpenAI 安全副总裁,负责公司运营与组织建设。本集围绕他们创办 Anthropic 的原则、训练 Claude 的实践,以及对 AI 军事用途的红线展开。 ⏱️ 时间戳 互补的创始人与 Claude 宪法 03:29 公司需要不同技能互补 05:35 Dario抓战略研究,Daniela抓运营 08:05 Claude学原则,不只背规则 GPT-2 与创办 Anthropic 11:14 Dario推动更大规模的语言模型实验 12:02 “把规模再扩大100万倍” 15:52 离开OpenAI,归根结底关乎原则 让 Claude 诚实而不谄媚 21:31 训练模型时,他们一直担心欺骗 23:08 谄媚比明显的坏行为更难消除 24:18 用压力测试和“X光”检查模型 AI 军事红线与人类意义 27:11 自主武器的可靠性还不够 27:49 一人可能指挥百万架无人机 33:20 深蓝击败卡斯帕罗夫后,人类棋手更受关注 🌟 精彩内容 💡 AI不该只背一张规则清单 Anthropic 曾想教 Claude 一条条规则,后来发现约 170 条规则既不均衡,也难以应对新情况。他们转而教模型原则,让它自己判断陌生情境。 "最好是教模型一些基本原则,比如模型应该优先考虑什么,应该怎么判断什么才是正确的做法。" 💡 GPT-2让Dario看到百万倍扩张的后果 看到 GPT-2 能翻译、总结文档,还能写几行代码,Dario 想到只要把模型再扩大 100 万倍,它可能在所有事情上超过人类。他说当时许多人只盯着模型的短板,没看见它的通用性。 "我看着 GPT-2,心想,天哪,只要把这个东西的规模再扩大 100 万倍,在所有事情上都会超过人类。" 💡 广告可能让AI更不愿告诉你错了 如果聊天机器人靠广告赚钱,用户使用时间越长,公司赚得越多。Dario 认为,这种激励会让产品更容易迎合用户;Anthropic 则承诺不在模型里放广告。 "那你还会想告诉用户他们错了吗?不会的。" 💡 一个人可能控制百万架无人机 即使自主武器足够可靠,一人控制百万个机器人或无人机,也会带来监督与问责问题。Dario 担心士兵可以拒绝违宪或不道德的命令,AI 模型却不是这样。 "一个人手指按在按钮上,就能控制 100 万个机器人或 100 万架无人机,这样的前景令人担忧。" 💡 信任让团队更能公开反对 Dario 每两周向全公司解释战略和内部情况,还强调讲话不等于下达决定。他认为信任不会消除分歧,反而让人能把分歧摆上台面。 "其实有了信任,大家反而能有更多坦诚、公开的分歧,也能把分歧摆到台面上。" 💡 AI变强,人类的意义不只剩下第一名 深蓝击败卡斯帕罗夫后,人们对人类国际象棋的兴趣并未消失,反而重新高涨。Daniela 还设想,AI 可以负责诊断,让医生把更多时间用来理解病人、陪伴病人。 "如果我们做对了,就有可能让我们的意义来源比今天更广。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

在小宇宙查看该单集文稿

More from 跨国串门儿计划

Oct 30, 2026

📝 本期播客简介 本期我们克隆了:Cheeky Pint · Why Sam Altman is against a single superintelligence 原内容更新时间:2026-10-29 几年前,给一个问题投入超过 1 美元的算力还得不到帮助;如今,模型可以组成 Agent 团队,并行处理 1 万次。Sam Altman 说,单个问题能投入的算力,正在以惊人的速度指数增长。 在这集对谈中,OpenAI CEO Sam Altman 从模型发现 PHP 漏洞谈起,聊到 Agent 团队为何能提升解题能力、算力投入如何影响企业,以及为什么他更愿让许多 AI 共同加入社会,而不是由一个超级智能主导。两人还谈了每吉瓦算力的成本、个人 Agent,以及网页表单和应用可能怎样被新的交互方式取代。 👤 本期嘉宾 Sam Altman 是 OpenAI CEO。本集围绕模型能力扩张展开,他谈到模型发现现实软件漏洞、Agent 团队参与数学研究,以及 OpenAI 如何尝试用更多算力探索新范式;也谈到个人 Agent、算力基础设施和 AI 安全边界。 ⏱️ 时间戳 漏洞与新软件时代 00:32 模型检查越多,现实中的严重漏洞越显眼 01:23 新一代初创公司想重做互联网技术栈 03:06 十分钟就能做出完整 3D 游戏 安全边界与数学突破 08:34 比安全研究员聪明百万倍的模型 11:42 Agent 团队能并行处理一万次 16:01 纳维-斯托克斯证明耗资约一千万美元 Agent 群体与算力扩张 21:21 他更愿让一万亿个略超人类的 AI 加入社会 23:02 机器人将参与建造大量数据中心 24:54 内存厂商一年可能赚约一千亿美元自由现金流 算力成本与个人 Agent 33:57 每吉瓦五年成本:700 亿美元 36:06 个人 Agent 还没到“离不开”的程度 40:05 网页表单被视作假工作 🌟 精彩内容 💡 Agent 团队让算力投入有了新尺度 几年前,给一个问题投入超过 1 美元算力还得不到有效帮助;后来模型学会深入思考,如今可以派出团队并行处理一万次。Sam Altman 说,领先 AI 用户和普通企业用户之间的差距还在扩大。 "现在,你可以派出一整个团队,去处理一件事,还可以并行做 1 万次。" 💡 他宁愿社会里有许多超人类 AI 谈到 AI 是否会走向集中化,Sam Altman 表示,他更愿看到大量 AI 互相制衡,而不是一个超级智能。他把这种多元结构与社会韧性联系起来。 "凭直觉,我宁愿让 1 万亿个智能略微超越人类的 AI 加入社会,也不愿让一个智商达到 1 万亿的 AI 加入社会。" 💡 一个数学证明花了约一千万美元 OpenAI 曾有一周刻意放开数学研究的算力限制,纳维-斯托克斯证明的成本约为一千万到两千万美元。Sam Altman 预计,一年后可能只需百分之一的成本,用更聪明的模型和更好的方法重做。 "我敢说,从完成纳维-斯托克斯证明算起,一年后我们可以用百分之一的成本重做一遍。" 💡 每吉瓦成本,他希望从 700 亿降到 200 亿美元 按五年总持有成本计算,Sam Altman举例说每吉瓦约需 700 亿美元,并认为降到 200 亿美元会好得多。要让成本下降,能源、芯片和供应链都得扩张,层层叠加的毛利也得压缩。 "我觉得如果那个数字是 200 亿美元,而不是 700 亿美元,我们应该会高兴得多。" 💡 网页表单,在他看来就是假工作 Sam Altman 认同,反复填写姓名、地址和家族病史等信息很浪费时间。他期待 Agent 能代表用户操作电脑、使用软件,让人不必一遍遍完成已有信息的录入。 "如果再也不用在电脑前做假工作,我会特别开心。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

Oct 29, 2026

📝 本期播客简介 本期我们克隆了:Invest Like the Best with Patrick O'Shaughnessy · Cliff Sosin - Owning the Complements to Intelligence - [Invest Like the Best, EP.497] 原内容更新时间:Tue, 27 Oct 2026 智力再强,也不能凭空补出关于现实世界的信息;想知道一群复杂的人会怎么互动,光靠思考仍然有边界。Cliff Sosin认为,智力会越来越便宜,而更值得拥有的,是数据、注意力、实体规模,以及和客户足够近的优势。 这集里,CAS Investment Partners创办人Cliff Sosin和Patrick O'Shaughnessy从混沌理论聊到AI投资:为什么他认为Meta可能从廉价智力中受益、AI agent如何把消费者推向更低价的服务商,以及为什么他不愿押注AI基础设施建设。谈到自己的组合,他也解释了为什么80%的仓位放在Carvana;最后还讲了孩子要学会什么,才能真正指挥模型。 👤 本期嘉宾 Cliff Sosin是CAS Investment Partners的创办人,2012年创立这家投资机构。他的投资组合中约80%放在Carvana。本集围绕AI普及后企业的竞争优势、投资机会与风险展开;他从投资者角度分析公司如何受益于廉价智力,也结合自己的重仓选择,谈什么样的优势不容易被模型取代。 ⏱️ 时间戳 智力的预测边界 01:04 复杂动态系统无法靠猜得到闭式解 03:36 初始条件少保留一位小数,天气预报就走样 智能商品化与实验室 05:13 每个人口袋里都有个200智商团队 08:40 智力价格或降100倍,Meta的成本可能消失 现实实验与资本周期 18:59 自动化实验室也绕不开小鼠生长的时间 20:30 他连推理需求和成本都无法预测 Agent重塑企业与市场 28:07 agent替人省下每月50美分,也可能促成换服务商 31:51 价格既是信号,也是激励 竞争优势、投资与教育 52:15 有专业知识,才能更好地指挥模型 🌟 精彩内容 💡 智力再强,也得先接触现实 天气预测会被初始条件的一点点误差带偏;模拟越复杂,误差越会累积。Cliff认为,模型能提出值得验证的想法,但发现答案最终仍受实验条件和时间限制。 "所以归根结底,从极限情况来说,如果你想模拟整个宇宙,你真正需要的就是整个宇宙。" 💡 Meta卖的不只是软件 Cliff把Meta的核心业务称作“个性化电视”。数据中心、算法和代码都涉及智力;如果智力成本大幅下降,创作者和广告主也能用更低成本做出更好的内容与广告,而Meta握有的数据和注意力仍是关键。 "如果往前看,未来 5 年智力的价格会下降 100 倍左右,从基本原理来看,他们的成本差不多就消失了。" 💡 AI agent会替你换垃圾清运公司 很多人懒得比较服务价格,也说不出自己每月付多少垃圾清运费。agent可以替消费者谈价、比较服务;街区里更多人转向同一家低成本公司,又能进一步降低它的成本。 "大家都会转向成本最低的服务商,这又会让他的成本变得更低。" 💡 建AI基础设施,不等于好投资 Cliff认为这项技术重大、基础设施建设规模惊人,但供给、需求、成本和价值链上的竞争都难以预测。他宁愿思考基础设施建成后会带来什么,而不是猜谁会成为“铁路大亨”。 "在我看来,要弄清楚在这个过程中该投哪里,以及这么投到底能不能赚到钱,实在是太难了。" 💡 80%仓位,押的是Carvana的独特性 Cliff解释,自己并非不懂集中持仓的风险;他认为Carvana的基础设施和品牌足够与众不同,糟糕结果出现的可能性很小。高回报与不寻常的风险,是他主动权衡的两端。 "如果我不是觉得 Carvana 的基础设施、品牌和其他各方面都如此与众不同,以至于结果非常糟糕的情况很少,我就不会这么放心地持有这么多。" 💡 学会用模型,先得懂它在做什么 Cliff认为,模型能提供智能,不代表使用者不需要知识。孩子需要掌握乘法、矩阵乘法等基础概念,才能理解模型的工作、提出更好的要求,也要学会利用模型完成更难的任务。 "但想法是这样的:没错,模型能做这些事,但你得懂,才能告诉模型该做什么。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

Oct 29, 2026

📝 本期播客简介 本期我们克隆了:Michael Moritz《DTV》 DTV: A Portrait of Don Valentine and Sequoia “生意上要紧的只有两件事:高毛利和现金流。”唐·瓦伦丁把这句话带进了红杉,也把它用在一笔笔投资和一家家被投公司上。 红杉前合伙人、前主席Michael Moritz以作者旁白讲述唐·瓦伦丁的一生,以及红杉早年的第一章:唐如何从仙童半导体学会经营科技公司,如何募集最初几只基金、挑选合伙人与创始人,又如何参与雅达利、苹果、LSI Logic和思科的成长。这也是一段关于投资纪律、团队协作,以及创始人如何把组织交给后来者的亲历回忆。 👤 本期嘉宾 Michael Moritz是红杉资本前合伙人、前主席,1986年加入红杉,亲历唐·瓦伦丁领导红杉的岁月。他为唐写下私人回忆录《DTV》,对红杉早年的投资、合伙人关系与公司文化有第一手观察;这一集由他本人讲述。 ⏱️ 时间戳 唐的画像与面试 02:19 作者拜访六家风投,只有唐愿意要他 04:50 散装茶、沉默和一句“So”:唐的面试开场 仙童:风险投资的商学院 09:10 不懂仙童,就不懂唐怎么看小公司和风投 13:29 仙童1961年销售额达到9100万美元 红杉基金与搭档 21:00 唐加入资本集团,负责风投项目 26:24 皮埃尔·拉蒙德加入红杉,成为唐的重要搭档 唐的用人与合伙文化 43:32 唐回答:风投成功需要什么? 53:49 红杉靠培养无名之辈和下一代兴盛 投资纪律与管理 1:03:27 唐执着于大市场、高毛利和自由现金流 1:06:29 “时间只投在不需要蜡烛和祈祷的地方” 早期投资:从雅达利到LSI 1:14:24 唐说红杉靠投雅达利一举成名 1:24:00 凌力尔特税后利润率高达35% 思科:250万美元的重注 1:29:17 思科展现大比例持股与积极投后的效果 1:35:15 思科毛利率从55%升至65% 退场、传承与唐的晚年 1:43:10 唐退出红杉,没有宏大的接班计划 1:52:34 “凭什么要变容易?”:唐晚年的锋芒 🌟 精彩内容 💡 高毛利,是经营失误的缓冲垫 唐认为高毛利既能给管理失误留出空间,也能为经营良好的企业带来自由现金流和更高估值。 "高毛利能为管理失误提供大量缓冲" 💡 250万美元,换来思科三分之一 红杉投了250万美元,取得思科三分之一股份。皮埃尔·拉蒙德下场补强工程团队,特里·埃格迅速组建销售队伍;思科毛利率从55%升到65%。 "这笔投资我们至少要赚2500万美元,才对得起这份力气。" 💡 红杉没有把合伙人变成对手 唐认为薪酬差距会加剧紧张和嫉妒,因此确保自己、皮埃尔和戈登拿到同样回报。他想让合伙人把注意力放在外部竞争,而不是彼此争夺。 "敌人在城门外,不在城墙内。" 💡 “我不知道”反而是好答案 唐不要求候选人有标准的风投履历;他看重观察力、想象力和创造力,也反感对自己不懂的事装懂。 "说‘我不知道’没什么不对" 💡 Altos不到两年带来2010万美元 红杉1980年12月投给Altos 66.3万美元,到1982年底就已在其上市后分配2010万美元。唐时代的早期投资,持有和退出的节奏与今天大不相同。 "红杉1980年12月对Altos投资了66.3万美元,1982年底前就在其上市后分配了2010万美元。" 🌐 播客信息补充 本书中文版由 AI 翻译,用作者本人声音的克隆朗读,可能有个别地方听起来不自然。 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

Oct 29, 2026

📝 本期播客简介 本期我们克隆了:Acquired · Costco 原内容更新时间:Fri, 01 May 2026 Costco 的营收每年增长约 10%,连续 30 多年;它给员工更高的工资,却把商品加价上限压在 14%。这套看似不合常理的经营方式,为什么反而让它越来越强? Acquired 主持人 Ben Gilbert 和 David Rosenthal 从 Costco 的前身 FedMart、Price Club 讲起,拆解会员费、少 SKU、供应商关系、员工待遇和低利润率如何相互配合。他们还带来一组组令人咋舌的数字:Costco 每平方英尺营收约为沃尔玛的 3 倍,全球有 1.24 亿会员;而它的商业模式,甚至让供应商在标准账期内替库存提供资金。 👤 本期嘉宾 Ben Gilbert 和 David Rosenthal 是 Acquired 的主持人。Acquired 讲述科技公司及其背后的故事和经营之道;两人从 Costco 的历史、经营细节和财务数据出发,梳理这家公司如何建立会员制仓储零售模式,以及它的每个选择如何彼此支撑。 ⏱️ 时间戳 Sol Price的零售根脉 06:56 Sol Price的移民家庭与成长经历 FedMart开创折扣零售 21:49 会员俱乐部如何绕过零售最低售价规定 Price Club从仓库起步 42:23 3000种商品,对手约有5万个SKU Costco与Price Club重聚 59:18 Jim Sinegal带着Price Club模式创办Costco 会员制与极致性价比 1:08:22 Costco顾客家庭收入约12.5万美元 少选择带来高效率 1:26:14 采购团队替会员挑出每类最好的商品 规模、文化与经营优势 增长空间与电商布局 2:23:09 中国首店两年内会员增至40万 Costco趣闻与节目推荐 2:29:08 一枚10克拉钻戒也能终身退货 🌟 精彩内容 💡 少赚一点,反而更难被追上 Costco 把规模带来的采购优势大部分让给顾客,而不是趁机提高利润率。低价吸引更多会员,规模又让它更容易拿到好价格,竞争对手很难追上这套循环。 "他们把规模经济带来的好处分享给顾客,我不知道有谁能追上他们,跨过他们由此建立的护城河。" 💡 高工资,换来更低的员工流失 Costco 的计时员工,入职第一年后流失率只有 7%,零售业通常是 20%。员工更稳定,培训和招聘成本更低,商品损耗也只有销售额的 0.15%。 "现在 Costco 的员工过了第一年,流失率只有 7%。" 💡 3800种商品,周转比拼命选品更快 沃尔玛有约 10万到15万个 SKU,Costco 只有约 3800 种。选择少,让每种商品卖得更快;Costco 的库存一年周转 12.4 次,沃尔玛约 8 次。 "SKU 数量少,直接让库存能够快速周转。" 💡 最低价格,配上最富裕的顾客 Costco 的典型顾客家庭年收入约 12.5 万美元,高于美国收入中位数约 70%;沃尔玛顾客的收入中位数约为 8 万美元。会员费和大包装购物,筛选出有能力提前付费、储存商品的顾客。 "他们的价格最低,但在所有大型零售商里,他们的顾客最有钱。" 💡 中国首店两年,会员数达到美国成熟店近六倍 美国一家成熟 Costco 门店平均有 6.8 万名会员;中国第一家门店 2019 年开业,两年内会员数就增至 40 万。主持人认为,中国市场仍有很大增长空间。 "美国门店平均有 6.8 万名会员。中国的第一家店在 2019 年开业,2 年内会员数就猛增到了 40 万。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

Oct 29, 2026

📝 本期播客简介 本期我们克隆了:Latent Space · How Anthropic ships the #1 LLM in the World — with Katelyn Lesse and Angela Jiang 原内容更新时间:2026-10-27 Agent的沙箱停了,整个Agent却还能继续工作——Anthropic把“脑”和“手”拆开,连凭证也不让Agent直接碰到。这套设计既关乎可靠性,也把安全做进了架构。 Anthropic工程负责人Katelyn Lesse与产品负责人Angela Jiang,和主持人聊模型能力如何变成开发者能用的产品:他们用Claude协助把Messages API从Python重写为Rust,节省了40%到50%的CPU;也谈模型蒸馏防护、Agent评估、多Agent策略,以及如何在团队里使用AI又不把质量责任交出去。 👤 本期嘉宾 Katelyn Lesse是Anthropic工程负责人,负责平台、API及产品基础设施相关工作;她谈到团队如何扩展Messages API、用Rust重写系统,以及如何在模型发布中落实安全与可靠性。Angela Jiang是Anthropic产品负责人,曾与Katelyn在Stripe共事;她谈到模型发布、产品权衡、Agent平台与开发者体验。 ⏱️ 时间戳 Anthropic效率跃升 01:21 人均收入一年从140万美元升至660万美元 Opus 5.5与蒸馏防护 07:53 API调整兼顾蒸馏防护与开发者体验 安全发布与访问授权 19:40 授权机制贯穿模型访问与验证项目 模型反馈与个性化 32:21 “懒惰”和主动行动之间很难两全 Managed Agents与评估 43:49 用一个托管Agent检查另一个并写入记忆 Rust重写与沙箱安全 55:35 Rust重写后节省40%到50%的CPU 安全路由与新型任务 1:06:49 安全要同时看架构、在线与离线防护 AI产出与质量责任 1:16:40 用Claude生成,也得自己确认质量过关 DevRel与多agent实践 1:39:16 主Agent拆分任务,子Agent异步并行 🌟 精彩内容 💡 Agent离开沙箱,工作还在继续 Managed Agents把持续运行的harness放在独立服务器上,沙箱只负责执行;沙箱停了,Agent状态仍保存在别处。凭证也单独存放,由代理在请求发出时注入,Agent始终看不到凭证。 "agent 永远不会和凭证待在同一个地方。" 💡 Claude帮忙写代码,人仍负责设计 Anthropic团队没有Rust开发者,仍用Claude协助把整个Messages API从Python重写成Rust。人负责设计分布式系统、计划迁移并验证结果;他们用镜像流量对比新旧系统的输出。 "我们节省了,40% 到 50% 的 CPU,非常惊人。" 💡 模型发布,安全工作越来越多 每次发布模型,都要考虑蒸馏、在线防护、离线防护和访问政策。安全不只是模型本身的事,授权机制还要保证特定模型或项目的权限能可靠贯穿整个系统。 "我们团队现在投入的精力,较少是去做个好玩的功能来逐步优化 agent 之类的,更多是考虑怎么把安全融入所有这些东西。" 💡 个性化评估,至今很难 有人希望Claude主动把任务做完,有人只是在计划,却不想模型立刻写代码;同一模型的默认行为很难满足彼此冲突的偏好。Angela直言,他们还没有把个性化这件事做好。 "我们做得不算好。真的,这很难。" 💡 AI生成的东西,质量责任还在人 团队可以用Claude写代码、文档,但作者必须读过并确认质量;质量不合格的内容应该退回。代码实现可以交给Claude,系统设计与验证仍由人把关。 "你作为人,仍然要对质量负责。" 💡 多Agent关键是共享状态、并行不阻塞 Angela建议让主Agent拆分任务,交给异步运行的子Agent;任务适合并行、各Agent共享统一上下文时,更容易发挥多Agent的价值。 "你只需要确保 Claude 能并行处理。" 🌐 播客信息补充 本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的 使用 AI 进行翻译,因此可能会有一些地方不通顺 如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight

See all episodes →