海外独角兽

E8 专访张祥雨:多模态推理和自主学习是未来的 2 个 「GPT-4」 时刻

海外独角兽

Show Notes

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈,由「海外独角兽」和「张小珺商业访谈录」的共同制作,张祥雨专注于多模态领域,他提出了 DreamLLM 多模态大模型框架,这是业内最早的图文生成理解一体化的多模态大模型架构之一,基于这个框架,阶跃星辰发布了中国首个千亿参数原生多模态大模型 Step-1V。此外,他的学术影响力相当突出,论文总引用量已经超过了 37 万次。 一直以来,业界都相当期待一个理解、生成一体化的多模态,但直到今天这个模型还没出现,如何才能达到多模态领域的 GPT-4 时刻?这一期对谈中,祥雨结合自己在多模态领域的研究和实践历程,从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考,在他看来,虽然语言模型领域的进步极快,但多模态生成和理解的难度被低估了: 接下来 2-3 年,多模态领域会有两个 GPT-4 时刻:多模态推理和自主学习; 多模态生成理解一体化难以实现的原因在于,语言对视觉的控制能力弱,图文对齐不精确,数据质量有限,生成模块往往无法反向影响理解模块等; 模型 scale 到万亿参数后,在文本生成和知识问答能力增强的同时,推理能力,尤其是数学,却呈现出能力随规模增长反而下降的现象; 大模型出现推理能力下降的原因在于大模型在思考时,倾向跳步,next token prediction 框架天然更关注压缩率而非推理精度,这在任务目标与压缩率存在差异时会出问题; Rule-based RL 可通过直接优化任务目标,迫使模型选择可靠推理路径,在推理任务中抑制跳步、强化稳定的思维路径; o1 范式的技术本质在于激发出 Meta CoT 思维链:允许模型在关键节点反悔、重试、选择不同分支,使推理过程从单线变为图状结构。 …… 访谈文字版全文链接。

在小宇宙查看该单集文稿

More from 海外独角兽

Apr 17, 2026

💡 本期简介 2025 年底,拾象在年度预测里写过一句很激进的预测,“我们可能是最后一代白领”。在 2026 过去将近 1/3 之后,它看起来更像是一件正在发生的事实。 过去一个季度,模型的进步幅度几乎比过去一年更快,就在今天 Anthropic 又发布了自己的最新一代模型 Opus 4.7。 另外一个值得关注的趋势是头部 AI labs 的战略也开始迅速对齐, coding 从“重要场景之一”,变成几乎所有 AI labs 的 T0 级战略,而市场的竞争重点也从争抢 chatbot DAU,转向争抢 Top 1% 用户,希望先拿下围绕知识工作者的“高价值任务”。 本期内容是「年更播客」的复更第一期,拾象的四位同事从湾区和北京连线,聊 Coding AGI、聊 Harness、聊黄仁勋在 GTC 2026 上的两张图、聊 Multi-Agent、聊二八定律,也聊一个没法回避的哲学问题:如果 execution 都被 AI 吃掉了,人该做什么? 我们也希望从这个春天开始,将内部的思考和争论搬到麦克风前,以声音的形式更多的和大家交流。欢迎收听,也欢迎留下你们的建议和想听的话题。 🎙️ 本期声音 Penny | 拾象联合创始人、海外独角兽发起人; Cage | 拾象 AI research lead,关注一级市场; Feihong | 拾象二级市场研究员,覆盖全球软件与硬件; Siqi | 拾象&海外独角兽内容负责人; 🧭 关于我们 海外独角兽是拾象科技旗下的 AI 开源研究平台,本播客聚焦硅谷 AI 前沿观察,和全球 AI 最权威的声音对话。不定期更新,欢迎订阅。 公众号 | 小红书 | 小宇宙 本期你会听到 过去一个季度硅谷到底发生了什么,为什么 AI 研究员和工程师们都开始感到“朝不保夕”? 价值公式正在从 “DAU × 广告 ARPU” 向“token 消耗 × 任务单价”转移 为什么硅谷反而没有出现“龙虾热” 真正做生产级 Harness 的为什么只能是模型公司 黄仁勋在 GTC 2026 上的两张图到底想说什么 过去几乎不投硬件的硅谷 VC 为什么最近一两个月突然集体转向 80% 的 token 和 80% 的 spending 为什么是两件事 💡 Highlights 00:02:32 硅谷的气氛变了:从线性进步到一个季度一次质变,“最后一代白领”正在成为事实 00:06:31 Coding 先 AGI:人写代码的比例从 70 到 80% 降到 5% 以下;AI research 半自动化的闭环最吓人 00:09:57 Harness :为什么国内龙虾热之后紧跟着卸载热,真正做生产级 Harness 的为什么只能是模型公司 00:18:33 OpenClaw的四点启发:IM 作为入口、预装 skills 生态、harby + cronjob 给 agent 装时钟、soul 做人格层 00:23:54 GTC 2026 上值得被关注的两张图

Sep 11, 2025

最近,我们观察到 AI 市场开始出现了一些新变化:随着 ChatGPT 加入记忆功能,AI 的角色正发生有趣的转变——它不仅是帮你写代码、做 PPT 的小工具,还有潜力成为一个真正懂你的生活伙伴。同时,Agent 开发进入了更成熟的阶段。过去大家主要依赖 prompt 技巧,如今通过强化学习和记忆系统,开发者可以训练出既有情商、又能生成小工具的智能体。 这两个趋势的叠加,推动 AI Agent 可以更加个性化、专业化地完成用户任务。 本期节目,我们邀请了 Macaron 创始人陈锴杰。他是 95 后连续创业者,曾打造 300 万用户的互动故事平台 MidReal。他将和我们聊聊如何把 Memory 当作一种智能能力进行训练,并分享强化学习在 Agent 开发中的重要性。锴杰坦言,Macaron 还有巨大的优化空间,100 分里只会给 7-8 分。但他相信,Personal Agent 将成为像社交软件一样的超级赛道。 如果你对 AI Agent 如何与我们的生活交互感兴趣,请千万不要错过这期内容!

Aug 13, 2025

过去几年,AI 的巨大突破赋予了机器语言的力量,而下一个前沿在于赋予 AI 关于世界的记忆。当大模型只能分析短暂的视频内容时,一个根本性的鸿沟依然存在:虽然 AI 能够处理信息,但却无法真正地“记住” 信息。可如今 AI 的发展瓶颈已不再是“看见”,而是如何保留、索引并回忆来构成我们现实世界的视觉数据流。 我们认为,Memories.ai 正在构建一条不同的路径。这家公司成立于 2024 年,由前 Meta Reality Labs 的华人研究科学家沈俊潇(Shawn Shen)博士和周恩旻(Ben Zhou)联合创立,他们致力于打造一个基础性的视觉记忆层,目标是成为所有 AI 的“海马体” 。 上个月,Memories.ai 推出了大型视觉记忆模型 LVMM,这不是单一的端到端模型,而是仿照人脑、通过工程化实现的视频记忆系统,能压缩、索引、查询无限量视频数据,让 AI 不止能看,更能真正记住和回忆。 本期节目,我们邀请到了 Memories.ai 创始人 Shawn。在 Shawn 看来,真正类人的记忆本质上是视觉的,而非文本的。他将结合自己的创业思考,和我们分享 LVMM 的构建理念、技术挑战,以及对 memory 的未来想象。

Jul 19, 2025

AlphaFold 3 获得诺贝尔奖是 AI 在生物领域的重要里程碑,是生命科学领域中“foundation model 时刻”的典型代表,但蛋白质结构预测只是科研闭环的起点,只有当模型的能力从“预测结构”迈向“直接生成分子”,新药开发效率才能实现真正的指数级提升。 Chai Discovery 这家公司正是在 AlphaFold 方向上复现开源最快的公司。去年 9 月获得了 Thrive 和 OpenAI 3000 万美金的种子轮投资,估值达到 1.5 亿美金。他们的模型 Chai-1 选择的技术路线是用 Diffusion 模型做结构预测,和 AlphaFold 路线接近。 今年 6 月 30 日,他们又发布了新模型 Chai-2,它在零样本的前提下能自动生成有效的抗体结构,命中率高达 16%,是传统噬菌体筛选技术命中率的百倍,还具备极强的可扩展性,也就说,可以在几个小时内,为任何一个靶点设计出可实验验证的候选分子。 可见 Chai 的目标并不是 AI 辅助制药,而是构建“AI-native 制药”平台,把科学问题转化成工程问题。 本期内容我们邀请到了 Chai Discovery 的创始科学家乔卓然,卓然曾在 Iambic Therapeutics 担任 Senior Research Scientist,2025 年起,他作为创始团队成员和 AI 科学家加入了 Chai Discovery,是 Chai-2 模型的核心贡献者。他将结合自己科研经历,和我们分享了 Chai-2 的模型架构、实验成果,以及 AI 在药物发现领域真正的突破口。 One More Thing:本期文字稿可见 👉 对谈 Chai-2 核心科学家乔卓然:抗体生成成功率提升百倍,分子生成平台是药物研发的 GPU|Best Minds

Jun 20, 2025

随着 multi-agent 技术的发展,AI 可能不再只是“工具箱”,而是能自主完成跨学科复杂研究,从而推动科学发现走向全新模式。AI 实现科学和科研发现正在走进现实,AI scientist 已经在改写科研和药物开发范式: 今年 5 月,前谷歌 CEO Eric Schmidt 投资的 AI lab FutureHouse 推出了四个 AI scientist agent,一个月后,他们又宣布自己的 AI 系统 Robin 成功开发出了新的 dAMD 药物。就在两天前,OpenAI 也专门发布博客强调 AI 在生物学领域的能力正在不断增强。 本期内容我们邀请到了斯坦福大学 CS 博士生、AI scientist Biomni 核心贡献者黄柯鑫 一起聊 AI Scientist。柯鑫的学术背景兼顾了生物和计算机研究,有多篇论文发表在 Nature 系列期刊及 ML 顶会上。 Biomni 是斯坦福研究团队最近发布上线的一个生物医学通用 agent,它整合了 150 种专业工具、59 个数据库和 105 种软件,可以执行生物医学子领域的各种研究任务,打破了传统科研流程中碎片化、低效的壁垒,显著提高了科研效率。感兴趣的朋友可以在 biomni.stanford.edu 免费注册和使用。 在本期节目中,柯鑫结合自己的科研经历,分享了 AI scientist 的理念,为什么普通 agent 无法胜任科研任务,以及 AI for Science 领域正在发生的重要趋势等话题。 和 AlphaFlod 等生物医学领域的大模型不同,AI Scientist 通常指利用 AI 技术辅助或自动化科学研究过程的系统(或工具),能在数据分析、假设生成、实验设计等方面加速科学发现,这个概念既可以指 AI 作为辅助者,帮助科学家做研究,也可以指 AI 主动、独立承担科研任务。 AI Scientist 一直是头部 AI labs 的重要研究课题: 去年末,Transformer 作者 Llion Jones 参与创立的 Sakana AI 推出首个全自动 AI 科研系统,这个系统能够独立完成从创意生成、编码、实验执行到撰写科学论文的整个研究流程; 今年 2 月,Google 推出了基于 Gemini 2.0 构建的 multi-agent 系统 AI co-scientist,可以协助科研人员做各种繁琐的科研任务,包括科研选题、文献检索和实验设计。 今年 5 月,前 Google CEO Eric Schmidt 投资的 AI lab FutureHouse 推出了四款 AI scientist agent,一个月后,他们又宣布自己的 AI 系统 Robin 在 2.5 个月时间内发现了一种治疗干性年龄相关性黄斑变性(dAMD)的新候选药物。 02:08 AI+生物领域在发生什么? 09:07 AI scientist 和一般的 agent、AlphaFold 等底层模型有什么不同? 11:40 FutureHouse 声称用 agent 能开发了出新的 dAMD 药物 15:04 通用 agent 做不好 AI scientist 是因为缺少合适环境和专家 know-how 20:07 Biomni 的核心是打造了一个 agent 能够执行大量研究任务的环境 26:34 Biomni 是完全依赖 LLM 的能力来使用工具、软件和数据库的 31:55 AI Scientist 是使用 AlphaFold 的 Agent 系统 33:50 AI scientist agent 未来进步的方向是环境和应用落地 37:21 数据是生物领域最大的瓶颈 40:23 Biomni 的使用场景和目标用户有哪些? 43:05 AI Biology 的 benchmark 有很多探索方向 48:37 AI for Science 也会出现自己的 Cursor、 Devin 49:59 到 2050 年,一个 agent 可能就能创造价值十亿美元 Biotech 公司 53:16 Big Pharma 们的 AI 实践:左手 AlphaFold,右手 ChatGPT 57:12 AI scientist 的进展与 AlphaFold 这样的科技突破同样令人兴奋 >> AI4Science 图谱,如何颠覆 10 年 x 20 亿美金成本的药物研发模式 >> 巨头博弈下,agent 的机会和价值究竟在哪里? >> OpenEvidence,医疗领域诞生了第一个广告模式 Chatbot >> Flagship 创始人:AI for Science 的下一步是 Multi-agent >> Chai Discovery:OpenAI 投资的 AI4Sci 公司,AlphaFold 最快追赶者 >> Anthropic 创始人最看好的领域,AI for Science 深度解读 AlphaFold:Google DeepMind 开发的AI 模型,主要用于蛋白质结构预测,最早在2018年推出,2024年5月发布了 AlphaFold3,将技术扩展到蛋白质折叠之外,能以前所未有的精度准确预测蛋白质、DNA、RNA、配体等生命分子的结构及相互作用。它直接改变了上一代版本的核心架构,用“扩散模块”取代了上一代中非常重要的“结构模块”,标志着AlphaFold在技术上的又一次飞跃。 Biomni:斯坦福大学最近发布的一个生物医学领域的通用 AI agent,整合了 150 种专业工具、59 个数据库和 105 种软件,可以执行生物医学子领域的各种研究任务,打破了传统科研流程中碎片化、低效的壁垒,显著提高了科研效率; 干实验和湿实验:干实验通常指不直接操作生物材料的计算或理论工作,比如用计算机进行基因序列分析、建模模拟等;湿实验是指在实验室中直接操作生物样品(如细胞、蛋白质、DNA)进行的实验,如 PCR、培养、染色等。 CRISPR 技术:一种基因编辑工具,能在特定 DNA 序列上进行高效、精准的剪切和修改,广泛用于基因功能研究和疾病治疗开发。 Virtual cell:是使用多模态、生物与分子数据训练的神经网络模型,目的是在计算机环境中模拟细胞在不同状态下的行为与功能,为预测细胞动态和治疗响应提供虚拟实验平台。 FutureHouse:由前谷歌 CEO 埃里克·施密特支持的非营利组织,成立于 2023 年,目前已推出了一系列专门用于科学研究的 AI agent GWAS:Genome-Wide Association Study,即全基因组关联研究,这是一种通过比较大量个体的基因组变异与表型差异,寻找与疾病或性状相关的遗传位点的方法 CRISPR 实验:指应用 CRISPR-Cas 系统对特定 DNA 进行剪切、修饰或调控的实验,常用于基因敲除、基因敲入或基因表达调控,广泛应用于基础研究、疾病模型构建及潜在治疗开发 Michael Snyder Lab:斯坦福大学 Michael Snyder 教授领导的研究实验室,该实验室在个人化医疗、基因组学以及利用可穿戴设备进行大规模健康数据监测等前沿领域的研究中处于世界领先地位。 Scanpy:一个基于 Python 的开源分析工具包,专门用于处理和分析单细胞 RNA 测序(scRNA-seq)数据。它是生物信息学领域进行单细胞分析的主流软件之一,能够帮助研究人员对细胞进行聚类、识别细胞类型、发现新的生物学标记等。 Oracle:指理想化的、能为某个特定问题提供绝对正确或黄金标准的模型或系统。 pLDDT Score:这是 AlphaFold 2 输出的一个关键指标,表示模型对所预测的蛋白质结构中每个氨基酸残基位置的置信度,分数越高,代表模型对该局部区域的结构预测越有信心,结构也更可能可靠。 AlphaEvolve:这是 DeepMind 2025 年推出的进化式 coding agent,通过不断生成、评估和优化代码,能够自主改进算法并发现新方案,目前已在矩阵乘法、数据中心调度和芯片设计等领域实现突破。 Popper:这是柯鑫作为核心作者开发的一个 multi-agent 系统,设计灵感源于科学家 Karl Popper 的可证伪性原则,目的是自动化“假设生成-实验验证”的科学发现循环:由一个 agent 负责从海量数据中提出科学假设,另一个 agent 则负责设计实验来验证或证伪这些假设,从而大规模地挖掘潜在的科学洞见。

See all episodes →