Show Notes
过去几年，推理消耗的Token爆炸式增长，Token经济随之成型，推理专用芯片也持续升温：去年年底，英伟达以约200亿美元对AI芯片初创公司Groq进行“收购”（acqui-hire）；做晶圆级“大芯片”的Cerebras今年6月IPO，市值达到670亿美元；OpenAI联手博通，推出了首款自研推理芯片Jalapeño，从设计到流片仅用了9个月——加上我们之前聊过的谷歌TPU，推理芯片牌桌上的玩家越来越多。 这场推理芯片大战中，各家真正比拼的是什么？为什么走向了不同的技术路径？推理芯片未来又会向什么方向收敛？ 本期硅谷101，我们请来两位AI芯片创业者，逐一拆解这些热门推理芯片在技术路径上的取舍与得失。其中嘉宾Mark是英伟达首席科学家Bill Dally的学生。Bill Dally是现代GPU并行架构最重要的奠基者之一。我们也借由Mark的视角，去了解这位芯片大师是如何思考问题和看待创新的。 【主播】 泓君，硅谷101创始人，播客主理人
【嘉宾】 Mark，AI芯片创业者 徐子扬，AI芯片创业者
【你将听到】 Groq、Cerebras技术路线 04:17 为什么训练看算力，推理看带宽 14:13 SRAM、DRAM、HBM的优劣 16:39 Groq和Cerebras的技术路径选择 19:34 Groq：确定性、静态编译调度，动态性不足 25:18 Cerebras 的软肋：良率、成本与系统适配 32:32 英伟达为什么要acqui-hire Groq 33:58 “推理时代，Cuda一定会被绕过”
推理时代芯片护城河 39:19 两位芯片创业者的SRAM推理芯片方案 41:07 最重要的指标：速度、性价比、耗电量 44:25 速度越快，AI越聪明 49:04 面对模型迭代，抓住“不变量” 54:15 消失的算力：为何芯片利用率跑不满 58:27 芯片设计全流程：需求、架构、RTL、验证、后端、流片、封装测试、良率、交付 01:01:16 国内优势：供应链+基础设施+开源生态 01:03:17 创业者做芯片，如何和模型厂商竞争
Bill Dally芯片设计哲学 01:05:17 为未来AI补齐强逻辑 01:09:40 “一切围绕局部性展开” 01:11:43 跳出local minimum，必须想清楚牺牲什么 01:13:03 Bill给学生的创业建议 01:14:47 亚马逊的工程哲学
OpenAI自研推理芯片解析 01:17:30 Jalapeño：通用芯片，低能耗，9个月流片 01:20:10 选择HBM4，不缺钱，但缺电 01:24:15 SRAM优势还能保持多久 01:27:03 芯片内异构，暗硅，另一种路径
【硅谷101年会来了，线下见】 10月10日—11日，我们将在【硅谷】举办Alignment 2026年度大会，从大模型、Agent、机器人到AI Infra，从实验室里的突破，到真实世界的商业化，我们直击AI变化最剧烈的前沿。来自OpenAI、Anthropic、NVIDIA、Meta、Google DeepMind、SemiAnalysis、Cerebras等公司的研究者、创业者与投资人将齐聚现场，分享正在发生的机遇和挑战。
报名通道：
【相关阅读和名词解释】 Prefill / Decode：大模型推理的两个阶段。Prefill（预填充）一次性并行处理完整输入提示词，生成KV缓存和第一个Token，是计算密集型，瓶颈在算力；Decode（解码）基于KV缓存逐个自回归生成后续Token，是内存带宽密集型，每生成一个词都要把整个模型权重从存储读到计算单元。 KV Cache（键值缓存）：是注意力机制中的中间计算结果，避免每次生成新Token时重复计算历史Token的键值向量。当新请求与之前处理过的内容有相同前缀时，可直接复用已有KV Cache，称为“缓存命中”。 Attention / FFN：Transformer架构的两个核心模块。Attention（注意力机制）负责“找关系”，让每个Token关注序列中其他Token的信息，参数量较小但计算模式随上下文长度变化。FFN（前馈网络）负责“加工信息”，独立处理每个Token，参数量极大，是模型静态权重的主要部分。 SRAM / DRAM / HBM：SRAM用6个晶体管存1bit，延迟仅0.3-3ns，带宽性价比极高，但容量极小。DRAM用1晶体管+1电容，容量大、成本低，但延迟50-100ns且需刷新。HBM本质是3D堆叠的DRAM，通过超宽总线实现高带宽，容量较大但成本高，且市场上极度缺货。 Kernel（算子）：连接AI算法与芯片硬件的“翻译官”，将矩阵乘法、注意力等算法操作转化为硬件可执行的指令。算子开发属于内核级编程，直接决定模型的推理速度、能耗和芯片兼容性。 系统级异构：指在系统层面组合不同类型的计算芯片（如GPU、SRAM推理芯片、专用加速器），用最合适的硬件做对应部分的应用，而非用一颗芯片包揽所有工作。OpenAI Jalapeño则选择将异构收进单颗芯片内部。 流片（Tape Out）：指芯片设计完成后，将电路版图数据交给晶圆厂进行实际制造的过程。晶圆厂据此制作掩模（Mask），再通过光刻等工序生产芯片。流片成本极高，先进制程一次可达数百万美元，且若设计有误，整批芯片可能报废。
【硅谷101听友群】 在这里，和同好一起深聊科技、商业与未来，期待你的声音，也期待更多有趣的讨论。 扫码加入，即刻相遇！
【监制】 泓君 【后期】 Amei 【运营】 朱婕 【BGM】 Still Waiting For You STEMS INSTRUMENTS - Wave Saver Seven Daughters - Fabien Tell Reclaim - Megan
More from 硅谷101|中国版
回顾9月，AI圈的重磅新闻一个接一个。 先是OpenAI发布GPT-6 Astra，总裁格雷格·布罗克曼在发布会上宣布：AGI已经到来。 这场发布对机器人行业的冲击，来得有些意外，一个发布会报告里只字未提机器人的通用模型，转身就空降了机器人评测榜首，甚至让很多机器人的Benchmark都失效了。有人开玩笑说：机器人领域等了这么多年的“GPT时刻”，居然是GPT自己。 同样在这个月里：Meta Muse冲上美国App Store榜首，它的竞争对手Instinct估值也涨到了100亿美元；xAI的Grok Bot也开放了企业部署；不生成文本、只给选项打概率的决策模型Jev以“系统1”走红，发布24天就融了8.7亿美元。 在AI for Science方面，Claude发现类CRISPR的新酶系统；扎克伯格夫妇资助成立的Biohub宣布将虚拟细胞计划扩大到18亿美元，这些进展又会为科学发现带来哪些改变？ 本期《硅谷101》，我们请来三位分别站在Agent、机器人和AI制药一线的研究者，聊清楚三件事：个人Agent商业化卡在哪？机器人怎么被Astra这样的底层模型冲击？AI制药真正的瓶颈是什么？ （本期节目录制于2026年9月29日）
模型在榜单上越来越强，为什么真正把工作交给AI，还是需要人反复解释、检查和兜底？ 半年前，我们与阿里国际站总裁张阔聊了Accio Work，以及Agent如何参与采购和日常经营。半年后，我们再次请到他，聊聊这半年来商家使用Accio Work的真实案例，试图回答这个问题：模型能力的提升，究竟有多少变成了商家工作里的进步？ 张阔分享，很多模型的通用评测成绩已经接近满分，但团队在真实经营中，并没有感受到同样幅度的提升。为此，他们从实际业务中整理了107个任务，包括比较供应商报价、识别钓鱼邮件、预订船期和处理交易纠纷。据他介绍，在这套特定评测中，最前沿模型在无人干预条件下的任务通过率约为61%。 这些任务没有数学竞赛那么耀眼，却直接关系到商家的成本、交期和利润。一个好用的Agent，既要能把工作做完，也要让人用得起；既要理解工具和流程，也要理解这盘生意究竟想追求什么。 这期节目，我们聊聊榜单成绩与实际交付之间的落差、通用模型与垂直产品的竞争，以及当AI接手越来越多的执行工作，人还需要保留哪些判断。
这个夏天，来自全球各地的多个气象机构都拉响了同一个警报，一场史无前例的超级厄尔尼诺正在上演。 来自摩根大通的经济学家预计，全球的食品通胀将在2027年的上半年上升到5%，明显高于今年同期的2.8% 。这其中有来自霍尔木兹海峡封锁和黑海冲突的因素，也部分归因于我们正身处的这场、50年来颇为罕见的超级厄尔尼诺。 它究竟会通过什么方式影响到全球供给？它所带来的危害是否真的像媒体报道的那么大？在一次次与极端气候变化的对抗中，人们又为应对厄尔尼诺做了怎样的准备？
随着AI模型能力提升，训练需求更复杂，一批为模型公司提供训练数据的新公司正在快速增长：AfterQuery今年4月宣布A轮融资时，估值为3亿美元，到了9月，据媒体报道，新一轮融资已经将其估值推至32亿美元。另一家提供训练数据与智能体环境的公司Bespoke Labs，也在今年7月宣布，种子轮与A轮融资合计达到4000万美元。 虽然估值水涨船高，AI数据行业对外界来说却极其不透明。问题来了：这些公司究竟在卖什么？ 过去提到数据标注，我们容易想到给图片打标签、给模型回答打分。但随着AI从回答问题走向执行任务，数据公司的交付物也在变化：从专家写出的评分标准，到包含任务、工具和验证机制的强化学习环境。它们需要找到懂行的人，获得真实的行业资料，再把专业知识与工作经验转化成模型能够学习的训练信号。 与此同时，新的AI评测层出不穷。榜单分数提高了，究竟代表哪些能力变强了？针对评测生产数据，什么时候能改善真实用户体验，什么时候又会变成单纯的刷分？对于每天训练模型的研究员来说，他们最需要的数据，到底是什么？ 本期节目，我们邀请到在Scale AI负责后训练与评测研究的何允中，以及加州大学伯克利分校博士后、Agents’ Last Exam项目研究者孙一铀，从产业与研究两个视角，拆解这门透明度不高、又变化极快的生意。 我们聊了Scale、Mercor、Surge等数据公司的不同背景，也讨论了小团队在合成环境与垂直领域中的机会。从采购一份游戏源码，到验证专家提交的任务，再到设计让人愿意交出经验的激励机制，好数据的难点，往往藏在榜单之外。
【本期节目由Eight Sleep赞助播出】 在这个健康意识崛起的时代，我们越来越愿意花大价钱管理自己的身体。睡眠，就是其中最重要的方面之一。 与手表、戒指等可穿戴设备不同，Eight Sleep的产品是一张能够自动控温的智能床套。马斯克、扎克伯格、Bryan Johnson、Sam Altman，都是它的用户。多名职业运动员，也习惯带着它去比赛。这张售价约两万元的智能床套，究竟替我们做了什么？ 这期播客，我们邀请了Eight Sleep的两位创始人，Matteo Franceschetti和Alex Zatarain，聊聊睡眠科技和文化。 他们说，现代人已经熟悉了各项睡眠指标，例如深度睡眠、REM、HRV。但Eight Sleep想要更进一步：在人们熟睡时，根据身体的变化，自动调整床面温度、床体高度，让技术在你毫无知觉的时候工作。 这张床套背后，也是一家消费硬件公司十多年的摸索。从拆开电热毯做原型机，到众筹卖爆却发现卖一台亏一台；从搬到中国学习制造，到反复经历现金流危机，创始人踩了很多坑，才慢慢探索出令人满意的产品形态。 今年4月，Eight Sleep进入中国。消费竞争激烈的中国市场，反而是他们增长最快的一个。一张床套卖两万人民币，Eight Sleep如何解释自己的定价？进入全球35个国家，这家公司从上百万用户身上学到了什么？ 我们也聊到伴侣之间的温差、孕期与产后的睡眠变化，以及他们更远的野心：从改善睡眠，走向健康异常预警和预防医疗。最后，我们还是回到那个最朴素的问题：究竟怎么才算睡个好觉？