科研成果｜最近AI圈的几件事，真让我有点儿坐不住了
昨晚刷到DeepSeek发布新模型的消息，我差点把咖啡喷在键盘上。真的假的？一个671B的MoE模型，训练成本才500多万美元？这不科学啊——GPT-4据说花了上亿，Meta的Llama 3也是天文数字。这帮人是不是偷偷修炼了什么省钱大法？
DeepSeek-V3模型架构与训练成本比较示意图
后来翻了翻技术报告，我服气了。多头潜在注意力（MLA），还有那个细粒度的专家混合，稀疏激活……说实话，有些细节我没全看懂，但大致意思get到了：他们用更聪明的方式把模型拆开，每次只唤醒一小部分参数，结果效率飞起。用他们自己的话说，“2048块H800 GPU训练了不到两个月”——这简直是在打脸那些烧钱如流水的巨头。人家开源了，权重直接扔GitHub。我第一时间下载试了试，代码生成能力真不赖，中文理解也细腻得可怕。突然觉得，科研这事儿吧，有时候真不是堆钱就能赢。你得有巧劲。对吧？
最让我震惊的是它的训练成本控制。你知道，大模型训练贵的不是电费，而是那些GPU之间的通信开销。DeepSeek团队搞了一套自定义的通信方案，把数据交换的延迟降到了极致。这可不是简单的工程优化，背后是对分布式系统底层逻辑的深刻重构。我一直觉得，底层的创新才是真正的护城河。他们做到了。而且他们大方的把技术报告写得明明白白——每一步怎么切的，怎么调的，全公开。这种开放精神，在现在这个越来越封闭的AI圈，太难得了。
不过，冷静下来想想，他们也有短板。多模态能力目前还不行，只能处理文本。而且上下文长度虽然号称1M，但实际用下来，超过128K后，中间的细节就有些模糊了。但，嗯，瑕不掩瑜。毕竟一个模型不可能样样精通。对吧？有时候，专注反而更可怕。
OpenAI Sora生成逼真视频的示例画面
再说Sora，都火了好一阵子了。但最近他们又放出了一个新视频——一个穿着蓝色毛衣的女人在东京街头走路，背景是霓虹灯闪烁的雨夜。我反复看了十遍，愣是没找到破绽。毛衣的毛线纹理，雨滴在肩膀上的溅射，甚至她眨眼时睫毛的轻微颤动……太恐怖了。这不就是实拍吗？可它偏偏不是。
有人说Sora是物理世界的模拟器，它学会了物体恒存、光影投射、甚至流体动力学。我不确定OpenAI是不是真这么想的，但有一点很清楚：视频生成的“瑕疵”正在以肉眼可见的速度消失。半年前那些扭曲的手、突然消失的物体，现在已经几乎绝迹。这速度，比我预想的快了好几个数量级。我突然觉得，我们离《黑镜》里的场景不远了——你看到的新闻，可能完全由AI生成；你跟朋友视频聊天，对方的脸可能也是合成的。心里有点发毛。
当然，技术本身无罪。Sora如果用在影视创作上，那简直是革命。独立导演不用再被昂贵的特效团队拖垮，一个好剧本加一台电脑就能拍出大片。这对创作者来说，是巨大的赋权。可是，你想想那些专门做特效的从业者，他们怎么办？科技带来的阵痛，总是先让我们兴奋，然后让我们焦虑。唉。
机器人也开始卷科研了？
最后说说机器人。波士顿动力那个Atlas，现在都能后空翻了。那种液压驱动的“哒哒哒”的声音，简直成了它的标志。但更让我在意的是Figure 01，那个跟人对话自然得可怕的家伙。你让它“把桌上的苹果给我”，它不只拿给你，还会问“要洗一下吗？”。这背后是多模态模型的加持——它同时理解语言、视觉和物理动作。科研的交叉融合，在这里体现得淋漓尽致。
我觉得机器人领域正在经历一次“GPT时刻”。以前的机器人，每个动作都要靠精准编程，换一个环境就傻眼。现在，大模型让它们有了通用理解能力，能适应非结构化场景。你甚至不用编程，用自然语言教它就行了。我前几天看一个演示视频，一个人直接跟机器人说“像我这样叠衣服”，机器人观察了几秒，然后完美复现。我当时就在想，家政阿姨的饭碗是不是也要不保了？唉，这该死的科技。
不过，话说回来，物理世界比数字世界复杂太多。机器人要安全、稳定、低成本地走进千家万户，还有很长一段路。那些在实验室里惊艳的demo，到了真实家庭可能就变成“拆家高手”。但趋势已经很明显了：科研的疆界正在消失，AI、机器人、生物技术纠缠在一起，加速向前。我们站在一个奇妙的拐点上。
行了，今天就聊到这儿。我得去重新跑一下DeepSeek的本地版本，看能不能把它调教成我的私人助手。回见。
DeepSeek-V3模型架构与训练成本比较示意图
后来翻了翻技术报告，我服气了。多头潜在注意力（MLA），还有那个细粒度的专家混合，稀疏激活……说实话，有些细节我没全看懂，但大致意思get到了：他们用更聪明的方式把模型拆开，每次只唤醒一小部分参数，结果效率飞起。用他们自己的话说，“2048块H800 GPU训练了不到两个月”——这简直是在打脸那些烧钱如流水的巨头。人家开源了，权重直接扔GitHub。我第一时间下载试了试，代码生成能力真不赖，中文理解也细腻得可怕。突然觉得，科研这事儿吧，有时候真不是堆钱就能赢。你得有巧劲。对吧？
DeepSeek-V3，这玩意儿真的猛
说实话，我这些年见过不少号称“改变世界”的模型，很多都是PPT产品。但DeepSeek-V3不一样。它那种“你尽管提问，我答不上来算我输”的气质，挺震撼的。我拿一道李代数与微分几何结合的变态数学题去撩它，它居然一步步推导出来，还指出了题目里的一个隐藏条件——那一刻我后背有点发凉。因为它不只是输出答案，它似乎在理解题目背后的意图。这已经有点推理的味道了。最让我震惊的是它的训练成本控制。你知道，大模型训练贵的不是电费，而是那些GPU之间的通信开销。DeepSeek团队搞了一套自定义的通信方案，把数据交换的延迟降到了极致。这可不是简单的工程优化，背后是对分布式系统底层逻辑的深刻重构。我一直觉得，底层的创新才是真正的护城河。他们做到了。而且他们大方的把技术报告写得明明白白——每一步怎么切的，怎么调的，全公开。这种开放精神，在现在这个越来越封闭的AI圈，太难得了。
不过，冷静下来想想，他们也有短板。多模态能力目前还不行，只能处理文本。而且上下文长度虽然号称1M，但实际用下来，超过128K后，中间的细节就有些模糊了。但，嗯，瑕不掩瑜。毕竟一个模型不可能样样精通。对吧？有时候，专注反而更可怕。
Sora生成的视频，假的已经像真的了
OpenAI Sora生成逼真视频的示例画面
再说Sora，都火了好一阵子了。但最近他们又放出了一个新视频——一个穿着蓝色毛衣的女人在东京街头走路，背景是霓虹灯闪烁的雨夜。我反复看了十遍，愣是没找到破绽。毛衣的毛线纹理，雨滴在肩膀上的溅射，甚至她眨眼时睫毛的轻微颤动……太恐怖了。这不就是实拍吗？可它偏偏不是。
有人说Sora是物理世界的模拟器，它学会了物体恒存、光影投射、甚至流体动力学。我不确定OpenAI是不是真这么想的，但有一点很清楚：视频生成的“瑕疵”正在以肉眼可见的速度消失。半年前那些扭曲的手、突然消失的物体，现在已经几乎绝迹。这速度，比我预想的快了好几个数量级。我突然觉得，我们离《黑镜》里的场景不远了——你看到的新闻，可能完全由AI生成；你跟朋友视频聊天，对方的脸可能也是合成的。心里有点发毛。
当然，技术本身无罪。Sora如果用在影视创作上，那简直是革命。独立导演不用再被昂贵的特效团队拖垮，一个好剧本加一台电脑就能拍出大片。这对创作者来说，是巨大的赋权。可是，你想想那些专门做特效的从业者，他们怎么办？科技带来的阵痛，总是先让我们兴奋，然后让我们焦虑。唉。
机器人也开始卷科研了？
机器人也开始卷科研了？
最后说说机器人。波士顿动力那个Atlas，现在都能后空翻了。那种液压驱动的“哒哒哒”的声音，简直成了它的标志。但更让我在意的是Figure 01，那个跟人对话自然得可怕的家伙。你让它“把桌上的苹果给我”，它不只拿给你，还会问“要洗一下吗？”。这背后是多模态模型的加持——它同时理解语言、视觉和物理动作。科研的交叉融合，在这里体现得淋漓尽致。我觉得机器人领域正在经历一次“GPT时刻”。以前的机器人，每个动作都要靠精准编程，换一个环境就傻眼。现在，大模型让它们有了通用理解能力，能适应非结构化场景。你甚至不用编程，用自然语言教它就行了。我前几天看一个演示视频，一个人直接跟机器人说“像我这样叠衣服”，机器人观察了几秒，然后完美复现。我当时就在想，家政阿姨的饭碗是不是也要不保了？唉，这该死的科技。
不过，话说回来，物理世界比数字世界复杂太多。机器人要安全、稳定、低成本地走进千家万户，还有很长一段路。那些在实验室里惊艳的demo，到了真实家庭可能就变成“拆家高手”。但趋势已经很明显了：科研的疆界正在消失，AI、机器人、生物技术纠缠在一起，加速向前。我们站在一个奇妙的拐点上。
行了，今天就聊到这儿。我得去重新跑一下DeepSeek的本地版本，看能不能把它调教成我的私人助手。回见。