Episode notes
今天这集节目延续我们的论文系列。我邀请MIT计算机科学与人工智能实验室的在读博士松琳,来给大家解读 上个星期DeepSeek和Kimi发布的全新技术报告 。 DeepSeek和Kimi又一次技术对垒。在同一天发布论文,两篇集中在改进注意力机制以处理长文本任务上。而春节前, MiniMax也发布了一篇注意力机制相关的论文 。 松琳将带领大家阅读这3篇注意力机制有关的文章,解析不同模型公司的技术哲学和路线选择。 我们希望能 让更多人领略AI科技平权,体验技术之美。 2025,我们和AI共同进步! (如果如果,你觉得光听还不够刺激,觉得一定要坐在电脑前看着投屏、拿起纸笔学习更有沉浸感…如果你实在是真心想要找虐的话…请前往: 含投屏的视频版本 。预祝你学习顺利啦!) 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 02:30 讲解开始前,先提问几个小问题 15:36 DeepSeek最新论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》讲解 论文中文名:《原生稀疏注意力:硬件对齐且原生可训练的稀疏注意力》 路线:稀疏注意力机制 本篇工作最大亮点:Native Sparse Attention 全线压制 Full…
Podcast
张小珺Jùn|商业访谈录
张小珺 · Tech & Science · Chinese
和你一起,从这里,探索新世界! 《张小珺商业访谈录》是一档深度访谈节目,以2至7小时的长对话为形式,聚焦真实的人物表达与高密度的前沿信息。由语言即世界工作室出品。 主持人张小珺是财经媒体人,专注中国科技业深度报道,覆盖AI、科技巨头、风险投资与知名人物。曾13次获得国内外新闻奖项,其中2022年至2024年连续三届获得亚洲卓越新闻奖(SOPA)——被称为“亚洲普利策”。她也是语言即世界工作室的创始人。 “如果我的访谈能陪你走一段孤独的未知的路,也许有一天可以离目的地更近一点,我就很温暖。”——张小珺
More from 张小珺Jùn|商业访谈录 All episodes →
-
28 Apr 2025 · 2 hr 35 min
99. 对能量奇点创始人杨钊3小时访谈:人类驯服可控核聚变还有多少路程?
2021年,Sam Altman以个人名义向美国核聚变初创公司Helion Energy注资3.75亿美金,这是他迄今最大的一笔个人下注。Helion豪言称,将在2028年前建成全球首座50兆瓦聚变电厂。 马斯克持不同看法。他曾说:“我们的头顶一直就有一个取之不尽、用之不竭的核聚变反应堆——太阳”。他相信太阳能才是人类能源问题的根本路径。 不过,在许多人眼中, 可控核聚变仍然是“能源界的圣杯”。 随着今天我们向AGI迈进,能源将是文明演进的最大瓶颈——毕竟,AGI或许不惧怕人类,但一定害怕断电。 这集节目,我邀请了中国可控核聚变创业公司、能量奇点创始人杨钊来聊聊。相比AI,可控核聚变是一条更漫长、更人迹罕至的创业之路。 它几乎是面对人类有史以来最复杂的物理难题之一,站在科技与人类文明的边界上,做技术摸索。 节目中,杨钊帮我们做了一次关于可控核聚变的前沿技术科普;作为中国可控核聚变事业的参与者,他也相对清晰地计算出了, 人类驯服可控核聚变还需要多少资金要消耗?还有多少路程要走? 我们也聊了聊,在更远处的未来,当能源成为无限,我们的世界、我们的文明又将怎样? 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 03:00 开始的快问快答 高频专业名词解释 04:10…
-
6 Apr 2025 · 2 hr 30 min
98. 逐篇讲解机器人基座模型和VLA经典论文——“人就是最智能的VLA”
今天的嘉宾是清华大学交叉信息研究院助理教授、星动纪元创始人陈建宇。他的研究和创业方向都是人形机器人。 大语言模型浪潮爆发后,学界和工业界看见了机器人从专用走向通用的可能迹象, 机器人革命 随之而来。其中,本轮革命最重要的是, 对机器人底层架构,也就是机器人“大脑”的探索。 但通用机器人还在科学研究阶段,处于产业发展早期。这集节目,陈老师将带领大家, 概览式阅读机器人基座模型和当下最前沿的架构VLA架构(Vision-Language-Action Model,视觉语言动作模型)的经典论文。 希望我们的节目能直观地帮助更多人靠近科学前线,感受技术之美,并且能直观感知当前技术拐点。 还是那句话:期待2025,我们和AI共同进步! (因为因为,陈老师真的分享了很多很多的动图和视频,本集结合视频服用效果更佳噢!可以前往: 含投屏的视频版本 。嘿嘿!预祝你学得开心!学得顺利啦!) 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 02:30 陈建宇的研究和创业方向 04:11 讲解开始前,先提问几个小问题 17:36 当下最大变量:从专用模型到通用模型(robot foundation model)的可能性 21:12 大模型浪潮爆发后,机器人领域经历了两个阶段:从利用基础模型进行机器人研究(leveraging foundation…
-
30 Mar 2025 · 2 hr 1 min
97. 25年Q1大模型季报:和广密聊当下最大非共识、AGI的主线与主峰
很多人在催更《全球大模型季报》的2025年第一集,在Q1的最后一天,终于和大家见面了! 这一集广密依然带来了信息满满的有关于全球大模型最新的的前沿认知。经历了最近几个月的全球AI格局巨变, 他最大的变化是,重新坚信了Pre-training(预训练) ——认为只有Pre-training才能决定模型内在的上限,涌现新能力,而Post-training+RL(后训练+强化学习)是加强。 在这一集季报中,我们对于Q1的 全球明星DeepSeek、作为模型“盗火者”的Manus、OpenAI的烟雾弹、硅谷的认知分歧与价值观、未来的范式级新路线 ,都进行了一一讨论。更重要的是,他更新了 在一位AGI原教旨主义者的眼中,AGI的主线、珠峰与路途。 希望《全球大模型季报》能持续陪伴你,2025,我们和AI共同进步! 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 04:22 Pre-training叙事卷土重来 今天最大非共识是Pre-training空间还非常大,Pre-training决定了模型内在的上限 还是要再喊一下,大家还是要重视Pre-training了,这个最本质 OpenAI现在不那么重视Pre-training,为什么?OpenAI的Pre-train核心团队一直挺动荡 11:56…
-
16 Mar 2025 · 2 hr
96. 和郎咸朋聊,自动驾驶10年演进史、关键技术细节和特斯拉
今天发布的是和理想汽车自动驾驶研发副总裁郎咸朋的聊天。本次访谈发生在2024年12月,和我们之前发布的《对李想的3小时访谈》在同一时期进行。 郎咸朋13-18年在百度做自动驾驶,18年加入理想,过去10年都在中国的自动驾驶领域。 他以亲历者的视角聊了自动驾驶10年演进史,详解了其中的关键节点和技术细节。这次谈话更像是对自动驾驶的一次技术科普。 我觉得我们聊的还不错,所以决定分享给大家。 (因为访谈发生在去年,如果大家听到今年,指的是24年;如果听到去年,指的是23年。) 期待2025,我们和AI共同进步! 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 01:32 10年前的自动驾驶当成有轨电车研发,现在看起来很可笑 04:30 2018年,从高精地图+激光雷达到BEV+Transformer,Tesla是标杆 12:07 当年激光雷达50-60万/台,早期百度/Cruise一辆车7-8个激光雷达,传感器成本远高于这辆车(当时我们在百度,一辆车500万人民币) 13:09 为什么特斯拉要用视觉解决问题?为什么自己造芯片? 15:16 特斯拉一辆车的传感器+芯片成本?一辆车有几个芯片? 20:06 特斯拉总在用“升维”方式解决问题 25:06 激光雷达和camera解决方案区别 28:46…
-
2 Mar 2025 · 3 hr 23 min
95. 对Manus创始人肖弘的3小时访谈:世界不是线性外推,做博弈中的重要变量
今天的嘉宾是肖弘(小红/小宏),一名AI应用创业者。 我们从去年在不同时期进行谈话,可以算是展开了一场 “接力式访谈” 。 大模型的模型能力还在迅速变化,身处其中的创业者要不断根据外部环境身段柔软地时时调整姿势。《商业访谈录》希望记录一名AI应用创业者,在技术变革之中、 当一切都处于不稳定状态下的持续思考历程。 而这个历程富有魅力之处就在于,它是变化的,而且还会继续变化。 我们正在开启的2025可能会是AI应用爆发的元年、Agent爆发的元年,这集节目正是 来自一线“AI应用爆发”、“Agent爆发”的前沿声音。 肖弘提供了一种身处浪花中创业者的心态:“世界不是线性外推的,要让自己成为博弈中的重要变量。” 期待2025,我们和AI共同进步! 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 第一次访谈发生在2024年秋天,彼时小红刚完成一轮融资。 (提醒大家注意的是,第一次访谈中,当我们说到今年、去年这些词语的时候,可能脑海里需要转化一下——“去年”指的是2023年,“今年”指的是2024年) 03:03 开始的快问快答 05:15 连续创业者、第一段创业、沮丧时刻、不同年龄段毕业生的最优选 17:04 已经把大学赚的钱花完了,山穷水尽 33:16 “VC是很贵的集资手段”,它的贵不体现在你不好的时候,而是体现在好的时候…
-
20 Feb 2025 · 2 hr 7 min
93. 离开字节、MiniMax的张前川,发出AGI对人类威胁的预警
今天这集节目是春节前,我和前今日头条用户产品负责人、前MiniMax产品负责人张前川的一次聊天。 张前川从2005年开始入行成为产品经理,经历过百度、360、字节、知乎等公司,最后一次出现在新闻是他从大模型公司MiniMax离职。 这次聊天分成两个部分:第一部分是他作为一位20年的产品经理的思考,特别是 他观察到的中国内容产品演变史 。 第二部分是他最近半年的所思所想。和上一集节目张亚勤对AGI勾勒的乐观前景不同, 关于AGI,张前川发出了对人类威胁的预警,并分析人类灭绝的n种可能性。 他告诉我,他接下来会考虑成立一家pro-human的非营利组织。 (本集节目录制于春节前) 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 内容产品的20年演变史 02:00 张前川自我介绍:一位产品经理的20年 (曾供职过的企业:百度、360、字节、新浪微博、知乎、MiniMax) 03:39 搜索引擎、拉里·佩奇和俞军 17:35 2005-2025,过去20年,内容分发产品的演化历史和内生逻辑 24:28 推荐引擎、今日头条和张一鸣 28:28 小红书在推荐引擎范式的延长线上吗?为什么小红书不是字节做的? 39:29 微信送礼物的功能maybe对于小红书更有意义 42:50 泛化如水流有方向:女生向男生,年轻向年长用户的泛化更容易…
-
17 Feb 2025 · 53 min
92. 和张亚勤院士聊,意识、寿命、机器人、生物智能和物种的延伸
人人都谈论AGI,但在可见的未来,AGI到底是一幅什么样的画面? 针对这个话题,我邀请了清华大学智能产业研究院(AIR)院长、前百度公司总裁张亚勤院士,来聊聊。 在他的脑海中,人工智能会按照 信息智能〉物理智能〉生物智能的图谱 逐步实现AGI。这种构想和信仰之下,AGI呈现的是一个乐观的前景画面。 但这不是人们预感AI进化的全部图景,在之后的节目中,我也会推出对AGI的另一种思考与隐忧。 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 01:45 在AI冬眠期,微软亚洲研究院成立了 03:57 微软怎么管理亚洲研究院?目标如何设置? 05:53 清华智能产业研究院(AIR)的目标和路径,不做基层通用大模型 10:45 我脑海中的AGI地图:信息智能〉物理智能〉生物智能 12:40 信息智能是大脑的智商,5年内达到AGI水平 14:25 物理智能首先落地是自动驾驶,人形机器人需要10年 15:51 机器人分三类:家庭机器人、工厂机器人、社会机器人 21:05 人形机器人:未来可能每个人有一个你的copy、你的“分身” 22:25 为什么大模型大幅加速了自动驾驶和具身智能的开发速度? 39:38 生物智能:20年实现,人的寿命更长,诞生新物种 45:56 构想10年后的世界 51:27 最后推荐两本书 【更多信息】…
-
11 Feb 2025 · 3 hr 21 min
91. 逐篇讲解DeepSeek关键9篇论文及创新点——“勇敢者的游戏”
2025年这个春节,DeepSeek一举改写了全球AGI大叙事。在万般热闹之际,我们特别想沉下来做一些基础科普工作。 在《商业访谈录》89集节目中,我邀请了加州大学伯克利分校人工智能实验室在读博士生潘家怡,为大家对照解读了春节前的DeepSeek-R1-Zero、R1、Kimi发布的K1.5,以及OpenAI更早发布的o1技术报告。这些模型聚焦的都是大模型最新技术范式,RL强化学习,简单来说就是o1路线。 今天这集,我邀请的是香港科技大学计算机系助理教授何俊贤。他的研究方向是大模型推理,从很早就开始关注DeepSeek的系列研究。我们会focus在最近引发全球AI届关注的DeepSeek上。 何老师将带领大家从DeepSeek的第1篇论文开始,阅读经过挑选的这家公司历史上发布的9篇论文。 我们希望帮助大家从一 个更延续、更长期、也更技术底层的视角 来理解DeepSeek,以及它所做的 复现与创新 工作;与此同时也希望能让更多人感受到 技术之美 。 (如果如果,你觉得光听还不够刺激,觉得一定要坐在电脑前看着投屏、拿起纸笔学习更有沉浸感…如果你实在是真心想要找虐的话…请前往: 含投屏的视频版本 。嘿嘿!预祝你学习顺利啦!2025我们和AI共同进步!) 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 03:01…
-
7 Feb 2025 · 1 hr 3 min
90. 朱啸虎又来了:中国现实主义AIGC故事的1周年连载
1年前,在我的报道《朱啸虎讲了一个中国现实主义AIGC故事》中,他的观点淋漓尽致地展现了一个现实版中国AI故事。 他用“我们一看就知道,这个肯定没戏”,“我们一开始就说了,我就不看好大模型”,“ 我都不愿意去聊,你知道吗?这没有意义”,表态绝不会投资6家中国大模型创业公司中的任何一家。 然而,时隔1年, Allen Zhu对待通用人工智能的态度出现了惊奇的逆转。 这是朱啸虎现实主义故事的1周年连载 。希望《商业访谈录》能持续为大家呈现中国AI市场的风云变幻与市场中人的心态起伏。2025,期待我们和AI共同进步! 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 01:30 DeepSeek快让我相信AGI了 03:08 这是对领先者的curse、诅咒 05:21 闭源模型还有没有价值?是很严峻的灵魂拷问 06:00 20天做到2000万DAU: DeepSeek是全球App增速历史第一,不需要任何限定语 07:00 梁文锋觉得,意识不一定是一个非常高技能、高门槛的事情 11:19 不用担心在别人的地基上盖房子,对AI应用公司是极大的解放 14:40 初始语料需要博士级别、各个领域专家级别的人来打标签 15:53 DeepSeek这次唯一没有公开的可能就是预训练语料 17:40…
-
4 Feb 2025 · 2 hr 50 min
89. 逐句讲解DeepSeek-R1、Kimi K1.5、OpenAI o1技术报告——“最优美的算法最干净”
2025年这个春节,DeepSeek一举改写了全球AGI大叙事。在万般热闹之际,我们特别想沉下来做一些基础科普工作, 一起来研读这几篇关键的技术报道。 今天这集节目,我邀请加州大学伯克利分校人工智能实验室在读博士生潘家怡,来做技术解读。他的研究方向是语言模型的后训练。 这期播客中, 家怡将带着大家一起来读,春节前DeepSeek发布的关键技术报告,他在报告中发布了两个模型DeepSeek-R1-Zero和DeepSeek-R1; 并对照讲解Kimi发布的K1.5技术报告,以及OpenAI更早之前发布的o1的技术博客,当然也会聊到它春节紧急发布的o3-mini。这几个模型聚焦的都是大模型最新技术范式,RL强化学习。 希望我们的节目能帮更多人一起读懂这几篇论文, 感受算法之美 ,并且准确理解目前的技术拐点。 (以下每篇技术报告都附了链接,欢迎大家打开paper收听✌️) 期待2025,我们和AI共同进步! 【嘉宾小记】 加州大学伯克利分校人工智能实验室在读博士生,上海交通大学本科毕业。他的研究方向主要集中在语言模型的后训练领域,通过强化学习等方法提升AI在智能体行为决策与推理方面的能力。这是他做的有关R1-Zero小规模复现工作: github.com 我们的播客节目在 腾讯新闻首发 ,大家可以前往关注哦,这样可以第一时间获取节目信息和更多新闻资讯:) 03:46…
