Show Notes
活动预告🥳：8 月 16 日，我们会办一场线上活动，嘉宾是 Luma AI 模型产品 Lead 戴高乐、爱诗科技联创谢旭璋、前 OpusClip 增长产品负责人谢君陶，大家记得翻到 shownotes 末尾查看报名信息！ 本期嘉宾朱亦博可以说是国内最懂 AI Infra 的人之一。 从微软、字节 AI Infra 负责人到谷歌、再到阶跃联创，他的职业经历几乎和 AI Infra 的发展并行，如他所说，贾扬清、李沐等人可能是 AI Infra 的开路者，而他则是紧随其后的第二批从业者。 在这期播客中，亦博不仅分享了 AI Infra 的底层认知，也讲了很多行业的内幕故事与实战细节。我们从最基础的 AI Infra 定义聊起，解答了其在模型表现中的作用、重要性，也揭示了“优化指标”的意义与评判标准，并讨论了行业现状和未来发展等等内容。 听完这期，你可能会意识到：在大模型时代，AI Infra 不只是「降本」的后台支持，也是决定一家 AI 公司能走多远的核心战斗力。 BTW：阶跃最近刚刚开源了推理效率更高的基模 Step 3（github.com），亦博自己的团队也在招人中，感兴趣的可以联系邮箱：[email protected] 【人类博物馆】 导游：曲凯，42章经创始人 39 号珍藏：朱亦博，阶跃星辰联合创始人，前字节 AI Infra 负责人，也曾在微软、Google 任职 1:07 AI Infra 的定义 2:49 贾扬清、李沐是 AI Infra 的第一批人，我属于第二批 4:13 为什么说 Infra 迎来了一个新的 Google 级别的机会？ 6:21 移动互联网 vs 大模型时代：两代 Infra 有什么异同？ 7:38 算法人可能「只有 2 年的保质期」，Infra 更吃经验 8:40 怎么衡量 AI Infra 的好坏？几个关键指标 10:09 该不该、该怎么投入 Infra？一笔很好量化的 ROI 账 11:20 面对云厂商和模型公司的挤压，第三方公司的突破口是什么？ 14:17 对 Infra 人的一句忠告：要么深入模型、要么深入硬件 16:15 AI Infra 对模型效果到底有多大的影响？ 17:45 DeepSeek 能冲出来，一大原因是选对了优化目标 20:04 阶跃现在最重视的优化目标是什么？
22:06 Infra、算法、数据团队之间该怎么配合？有关组织架构的心得体会 28:41 做 AI Infra 最大的阻碍是什么？ 30:16 模型范式不会那么快革新，但多模态可能是一个突破口 32:29 简评几家硅谷当红 AI Infra 公司 34:15 第三方 AI Infra 的创业机会在哪里？ 36:35 我们想提升国产卡的竞争力，哪怕只有一点点 39:28 介绍一下阶跃新发布的视觉推理模型 46:30 DeepSeek 做得好，就是因为梁文锋懂 Infra？ 47:54 一些业内真实的踩坑案例 55:13 给 Infra 从业者的一些建议 55:43 《The Bitter Lesson》的含金量还在上升 【活动预告🥳】 8 月 16 日，我们会办一场线上活动。感兴趣的朋友欢迎点击链接或扫描下面的二维码，一起来认识&交流！
【The gang that made this happen】 制作人：陈皮、Celia 剪辑：陈皮 Bgm：Mondo Bongo - Joe Strummer & The Mescaleros
在小宇宙查看该单集文稿
More from 42章经
这一年，说起 AI 应用创业，相信很多人的共同感受就是：难。 融资难，找 PMF 难，养活团队难，不被模型吃掉难，更难的是，身处绝境时，到底怎样才能坚持下去。 这期节目的嘉宾 Jason，也经历了这样的过程。他是 Articuler.ai 的创始人，此前做过 5 年投资，后来去了美国，埋头创业。去年最难的时候，他拿到的融资 TS 被撤回，睡朋友家的沙发，卖掉了自己的股票垫给公司，却仍一度面临现金流即将断裂、发不出工资的窘境。 那段时间，他经常睡不着，在朋友家楼下转圈，一遍遍问自己：「我到底要不要放弃？」 而他给自己的答案始终是：「这件事我必须得做，而且就得我来做。」 穷让人绝望，却也让他们摸索出了新的 PMF 场景，撑了过来。如今，Articuler.ai 已有 7 万多注册用户、超百万美金 ARR，付费、留存和增长逐渐有了起色，与外部伙伴的合作也越来越顺，co-host 了 OpenAI Codex Meetup、AGI Summit、SF Tech Week 中的各种活动等等。 这期播客，我们就请 Jason 重点讲了讲他是怎么撑过最难的那段日子、在绝境中找到 PMF 的，以及这个华人团队，凭什么能在美国跑通 GTM、赢得本地客户的信任。 坦白讲，Jason 并不是我们播客最常邀请的那类嘉宾，也不是美元 VC 通常青睐的 Founder。但用他自己的话说，从学生时代到创业，他一直把自己看作一个 Underdog，也一直相信： Underdog 能赢。而且很多事情就该由这样的人去改变。 【人类博物馆】 导游：曲凯，42章经创始人 53 号珍藏：Jason，Articuler.ai 创始人 【时光机】 01:52 找到新的 PMF 场景，可能恰恰是因为穷
最近 Personal Agent 非常火。而早在这波概念火起来之前，子皓就已经在做这个方向的软硬件结合产品 Ambi 了。所以国庆前，我们约他录了这期播客，请他分享几个月做下来对这个赛道的思考和实践经验，比如这件事的成本到底有多高、人们有多大需求、如何看待不同的产品路线、面对大厂该怎么竞争等等。 子皓一直是我心中很擅长 deliver 结果、或者说总能赚到钱的 founder，所以我也请他分享了为什么这么会经营。过程中，还第一次听他讲高三暑假发现商机、成为溜冰场独家代理的故事。不得不说，他在赚钱这件事上真是有天赋，而天赋之外，也有很多可被习得的经验。 其实这波 Personal Agent 的火是有迹可循的，从 Openclaw、Hermes，到 Muse、Instinct，背后的主线都是「如何让智能被更多人更好地用起来」。但奇怪的是，这个赛道上跑出来的国内产品并不多。事实上这几年，跑出来的国内 AI 产品都不多。所以节目最后，我和子皓也探讨了下这到底是为什么。我们没能得出答案，也真的希望这个局面能很快发生变化，因为我们或许已经等到了能跑出亿万级用户体量产品的 timing。 （Ambi 最近已经开放下载，42章经拿到了五个邀请码，欢迎感兴趣的朋友填写表格申请：https://my.feishu.cn/share/base/form/shrcnoeenyPxPRgTUEq3G0tWX8P 【人类博物馆】 导游：曲凯，42章经创始人 54 号珍藏：莫子皓，Ambi 创始人，曾任 Plaud 合伙人兼中国区 CEO。他还曾创办「米公益」，公司后被轻松筹收购。此后，他先后担任暖哇科技合伙人兼首席产品官、百川智能医疗方向产品及运营负责人 【时光机】 Part 1 对 Personal Agent 的思考 01:49 为什么最近 Personal Agent 这么火？
这几年，很多人都在用 AI 炒股。最近，模型厂和大厂也在主推 AI 在金融场景中的应用。 但 AI 到底怎样才能更好地辅助交易？会给市场带来什么变化？用上 AI，人人就都能像巴菲特一样了吗？ 这期播客，我们请到了很火的开源项目 Vibe-Trading 的作者和维护者吴浩哲，聊了聊 AI Trading 相关的各种问题。 浩哲本科毕业于武汉大学数学系，目前是香港大学在读博士生、HKUDS 成员，一直在探索 AI 与金融的结合。Vibe-Trading 开源半年，已有 3.4w 个 Star。 节目里，我们就从这个项目讲起，拆解了 AI Trading 到底是什么、由哪些部分组成、哪个环节最关键，以及它和传统量化有什么区别、人又该在交易流程中扮演什么角色。此外，我们也聊了聊最近很火的 Jev 到底能不能在 AI Trading 中发挥作用。 贯穿整期节目，还有浩哲的一个观察： 在金融里，决策很便宜，行动很贵。 你可以轻易获得成百上千个判断和信号，但真要付诸交易，「可解释性」就变得非常重要。你得知道判断是怎么来的、为什么值得相信，才能决定自己是否愿意为它付出真金白银。 节目最后，我们还聊到了一个颇有哲学意味的问题：随着 AI 越来越强，「Human in the loop」或许不是因为 AI 需要人来判断，而是人需要通过参与，来确认自己的意义感和价值…？ 【人类博物馆】 导游：曲凯，42章经创始人 53 号珍藏：吴浩哲，Vibe-Trading 作者及维护者，武汉大学数学系本科，香港大学在读博士生、HKUDS 成员，长期探索 AI for Finance 的研究与实践 【时光机】 01:26 介绍下 Vibe-Trading：为什么开源不到半年，就能有 3 万多 Star？
活动预告🥳：9 月 12 日，我们会请到雨鑫做一场线上活动，大家记得翻到 shownotes 末尾查看报名信息！ 最近硅谷有了新热点：主权 AI 和 Personal Intelligence。简单来说，就是很多人开始相信，未来会有越来越多的应用公司和个人，训练自己的模型。 对绝大多数人来说，训练模型仍然是一件听起来遥不可及、门槛很高的事，但我们这期节目的嘉宾逯雨鑫却认为，它非常简单，简单到他此前没有 AI Lab 的经历，也不是 AI PhD，只用了 2 周和数百美元，就后训练出了两个登顶 Hugging Face Model Trending 榜首的小模型。 他具体是怎么做到的、摸索出了怎样的 Pipeline？过程中踩过哪些坑？以及无论对个人还是公司来说，训练模型最大的卡点都是数据，那么他是怎么攻克这个难题的？在蒸馏路线、数据来源上，又有哪些 secret sauce？ 节目后半段，我们还进一步讨论了主权 AI、Personal Intelligence 和 Local AI 相关的各种问题，比如这些事情普及开来的门槛在哪里、未来 AI Lab 和应用公司的分工与价值会有什么变化等等。 就在一个月前，我们还在讲 AI 应用遭受的冷遇；但录完这期，我们好像又看到了应用的曙光。也许在不久的将来，越来越多的应用公司都会成为 Neo Lab，Local AI 也可能成为一个 PC 级别的机会。而拥抱模型训练和 Local AI，最好的时间可能就是现在。 希望雨鑫摸索出的实践路径，能给应用公司和个人带来一些启发。如果你还想了解更多，也欢迎报名 shownote 末尾的线上活动，来和雨鑫直接交流（尤其欢迎应用创业者！） 【人类博物馆】 导游：曲凯，42章经创始人 52 号珍藏：逯雨鑫，Mind Lab 研究员；以个人开发者身份、数百美元成本微调的模型两次登顶 Hugging Face 热度榜；focus 在 post-training（蒸馏、SFT）与数据工程，近期方向为 continued pre-training 【时光机】 Part 1 训模型的实操经验 01:33 非 PhD / AI Lab 背景，凭什么能训出榜一模型？
活动预告🥳：8 月 22 日，我们会请到繁青做一场线上活动，还会有数十位 model researchers 参与，大家记得翻到 shownotes 末尾查看报名信息！ 近几个月，我们找了很多做模型、算法的人交流，聊下来的感受之一是：数据的重要性再次凸显出来。 市场也有很明确的对应反馈，比如一批合成数据公司在很短时间内做出了可观的收入；无论是模型厂还是互联网大厂，都在数据上更为投入。 这期节目，我们请来了较早抓住这波合成数据机会的 Evolvent AI 联合创始人孟繁青。繁青是 01 年出生的 NUS PhD，曾在 Kimi 做过一年多的 Agent 和 RL Infra。 节目里，我们从他在模型厂做 Post-training 与出来创业的不同感受聊起，也相继把有关后训练、数据、RSI/Self-Evolving/AI for AI、国内模型竞争格局，甚至蒸馏这个相对敏感的话题，都比较完整地梳理了一遍，聊出的一个最大非共识，是繁青对国内外模型差异的判断： 原本我们以为，国内更有优势的会是偏工程的 Post-training；但在他看来，国内模型真正有特色的地方，反而是 Pre-training 阶段被资源限制倒逼出来的架构创新。 基于这个认知，我们也得出了一个让人乐观的结论： 很多人会说国模很依赖蒸馏，但繁青认为，蒸馏只是一个加速手段，并不是国内模型变强的决定性因素。就算有一天海外把所有蒸馏通道都封掉，国模依然可以靠预训练的创新能力，构建起自己的竞争力。 最后，Evolvent AI 最近发布了新的研究成果 RSIBench-Data。如果有朋友想在数据、RSI 方面进行交流，也欢迎联系繁青。 【人类博物馆】 导游：曲凯，42章经创始人 51 号珍藏：孟繁青，Evolvent AI 联合创始人；前 Kimi RL 实习生，foucs 在 RL Infra，参与 Kimi K2.5、Kimi Linear 等重要模型发版 【时光机】 Part 1 后训练与模型竞争 01:15 在 Kimi 和出来创业的感受有什么不同？