类脑芯片研发三十年:20瓦的人脑,和还在爬坡的硅基模仿者
人脑的功率大概20瓦。一个昏黄灯泡的量级。就靠这点电,你能读懂这句话,能回忆昨天中午吃了什么,还能一边走路一边刷手机而不撞上电线杆。
换成硅基的东西试试?训一个像样的模型,几千张卡同时转,电表转得像陀螺。差距不是几倍,是五个数量级。
所以几十年来一直有人在做同一件事:让芯片学会像脑子那样算。类脑芯片研发,听着像科幻小说的桥段,实际上钱已经烧了三十多年,坑填了一个又一个。成果呢?有。但要说替代GPU——还早。
冯诺依曼架构存算分离瓶颈结构示意图
目前的计算机是什么结构。处理器、内存、总线,三件套。算的时候,数据从内存搬到处理器,算完再搬回去。这一来一回,能量一大半花在路上了,根本没花在计算上。
人脑不这么干。突触既存权重,又直接参与信号传递,记忆和计算长在同一块地方,省掉了搬运工。
这就是存算一体的逻辑起点,也是类脑芯片研发最核心的思路之一:让存储单元自己会算。
再叠一层机制——脉冲。
传统神经网络里,每个神经元每个时钟周期都得吐一个数出来,0.37、0.82、负的、正的,全在动。人脑的神经元呢,绝大多数时间在打瞌睡。膜电位慢慢攒,攒过阈值,“啪”,放一个脉冲出去。放完继续睡。
这叫稀疏。这叫事件驱动。功耗降两到三个数量级,靠的就是这个。
我头一回彻底搞明白这个机制的时候,是真的愣了几秒。原来省电不靠制程,靠的是范式本身换了个玩法。
忆阻器交叉阵列存算一体芯片电路结构图
现在做类脑芯片,大致往三个方向走。
第一条,纯数字的。用CMOS工艺把脉冲神经元和突触做成数字电路。好处是成熟、可量产、能上FPGA验证。坏处也明显:你为了模拟一个“膜电位泄露”,得堆一堆加法器和寄存器,面积和功耗并不便宜。Intel的Loihi 2、曼彻斯特的SpiNNaker,基本走这条路子。稳,但笨重。
第二条,数模混合。用模拟电路去真实模拟神经元的动力学,电容充放电对应膜电位积分,亚阈值晶体管来做泄露。能耗低得吓人。可问题是——模拟电路它不听话啊。温漂、器件失配、噪声,做几个神经元容易,做一百万颗还要保持一致?头大。清华的天机芯、灵汐的芯片,在这块做了不少尝试。
第三条,用新器件。忆阻器、RRAM、相变存储器。这东西的电阻可以随历史电压改变,天然就是个突触权重。而且它做在交叉阵列里,物理上直接就是矩阵乘法——欧姆定律算乘法,基尔霍夫定律算加法。算和存一步到位。
听着完美对吧。可器件一致性、良率、耐久性、写入噪声……每一条都够一个博士读五年。
行业里真在往前推的,是这些人
Intel 2021年发的Loihi 2,用了自家的Intel 4工艺,神经元规模推到一百万级别,还开放了Lava软件框架,算是把生态这块补上了一脚。IBM前两年在Science上发的NorthPole,严格说它不走脉冲那套,但思路一样——把计算和存储揉在一块,能效比传统架构高出一大截。
国内这边,灵汐科技走的是大规模方向,时识科技走的是超低功耗的边缘视觉。时识那款Speck芯片,配着动态视觉传感器做,确实跑出了实打实能卖的产品,不是PPT。这一点得承认。
但真正的瓶颈,早就不在硬件了。
是软件。是你怎么把一个人工神经网络的模型,映射到脉冲网络上去。ANN转SNN,精度掉多少?训练到底用不用反向传播?脉冲本身就不可导,梯度怎么传过去?现在有几条路,代理梯度、STDP无监督、ANN-SNN转换,每条都有各自的坑,没有哪条是通吃的。
还有个更现实的问题:会写代码的人不够。CUDA那一套生态养了多少年,几十万开发者。类脑芯片的开发者社区呢?全球加起来,可能还凑不齐一个体育场的人。
说句实在话,类脑芯片研发现在处在一个很拧巴的阶段——硬件跑得比软件快,论文跑得比产品快。学术界年年刷SOTA,产业界还在找第一个不是玩具的杀手级应用。
那应用到底在哪?我自己的判断是,短期内别指望它去训大模型,那不是它的活儿。它的战场在边缘。在那些电池供电、需要一直开着、但大部分时间只是看“有没有变化”的场景里——动态视觉、可穿戴的生理信号监测、工业设备的异常声音检测。这些地方,事件驱动的稀疏性才是真优势,你让GPU去干这些活儿,它只会一直空转着烧电。
最后说两句不客气的
这个领域最怕的就是讲故事。每隔两年就有人喊一次“类脑芯片要颠覆计算”,然后融资,然后沉寂。真正的进展是有的,但它是那种一年挪一小步的进展,不是两年换一代的进展。谁要是跟你说三年内取代GPU,你把他拉黑就行了。
不过话说回来——人脑用二十瓦做到了这些事,这件事本身就摆在那儿,绕不过去。只要GPU的功耗还在涨,只要边缘设备还在被电池卡脖子,这条线就会一直有人做,一直有人往里填钱。
只是别指望明年就能买到一块“会思考的芯片”。它更可能藏在你根本注意不到的某个传感器里,安安静静地,一天只放几个脉冲。
冯·诺依曼那堵墙,撞了七十年
冯诺依曼架构存算分离瓶颈结构示意图
目前的计算机是什么结构。处理器、内存、总线,三件套。算的时候,数据从内存搬到处理器,算完再搬回去。这一来一回,能量一大半花在路上了,根本没花在计算上。
人脑不这么干。突触既存权重,又直接参与信号传递,记忆和计算长在同一块地方,省掉了搬运工。
这就是存算一体的逻辑起点,也是类脑芯片研发最核心的思路之一:让存储单元自己会算。
再叠一层机制——脉冲。
传统神经网络里,每个神经元每个时钟周期都得吐一个数出来,0.37、0.82、负的、正的,全在动。人脑的神经元呢,绝大多数时间在打瞌睡。膜电位慢慢攒,攒过阈值,“啪”,放一个脉冲出去。放完继续睡。
这叫稀疏。这叫事件驱动。功耗降两到三个数量级,靠的就是这个。
我头一回彻底搞明白这个机制的时候,是真的愣了几秒。原来省电不靠制程,靠的是范式本身换了个玩法。
三条技术路线,各有各的难受
忆阻器交叉阵列存算一体芯片电路结构图
现在做类脑芯片,大致往三个方向走。
第一条,纯数字的。用CMOS工艺把脉冲神经元和突触做成数字电路。好处是成熟、可量产、能上FPGA验证。坏处也明显:你为了模拟一个“膜电位泄露”,得堆一堆加法器和寄存器,面积和功耗并不便宜。Intel的Loihi 2、曼彻斯特的SpiNNaker,基本走这条路子。稳,但笨重。
第二条,数模混合。用模拟电路去真实模拟神经元的动力学,电容充放电对应膜电位积分,亚阈值晶体管来做泄露。能耗低得吓人。可问题是——模拟电路它不听话啊。温漂、器件失配、噪声,做几个神经元容易,做一百万颗还要保持一致?头大。清华的天机芯、灵汐的芯片,在这块做了不少尝试。
第三条,用新器件。忆阻器、RRAM、相变存储器。这东西的电阻可以随历史电压改变,天然就是个突触权重。而且它做在交叉阵列里,物理上直接就是矩阵乘法——欧姆定律算乘法,基尔霍夫定律算加法。算和存一步到位。
听着完美对吧。可器件一致性、良率、耐久性、写入噪声……每一条都够一个博士读五年。
行业里真在往前推的,是这些人
行业里真在往前推的,是这些人
Intel 2021年发的Loihi 2,用了自家的Intel 4工艺,神经元规模推到一百万级别,还开放了Lava软件框架,算是把生态这块补上了一脚。IBM前两年在Science上发的NorthPole,严格说它不走脉冲那套,但思路一样——把计算和存储揉在一块,能效比传统架构高出一大截。
国内这边,灵汐科技走的是大规模方向,时识科技走的是超低功耗的边缘视觉。时识那款Speck芯片,配着动态视觉传感器做,确实跑出了实打实能卖的产品,不是PPT。这一点得承认。
但真正的瓶颈,早就不在硬件了。
是软件。是你怎么把一个人工神经网络的模型,映射到脉冲网络上去。ANN转SNN,精度掉多少?训练到底用不用反向传播?脉冲本身就不可导,梯度怎么传过去?现在有几条路,代理梯度、STDP无监督、ANN-SNN转换,每条都有各自的坑,没有哪条是通吃的。
还有个更现实的问题:会写代码的人不够。CUDA那一套生态养了多少年,几十万开发者。类脑芯片的开发者社区呢?全球加起来,可能还凑不齐一个体育场的人。
说句实在话,类脑芯片研发现在处在一个很拧巴的阶段——硬件跑得比软件快,论文跑得比产品快。学术界年年刷SOTA,产业界还在找第一个不是玩具的杀手级应用。
那应用到底在哪?我自己的判断是,短期内别指望它去训大模型,那不是它的活儿。它的战场在边缘。在那些电池供电、需要一直开着、但大部分时间只是看“有没有变化”的场景里——动态视觉、可穿戴的生理信号监测、工业设备的异常声音检测。这些地方,事件驱动的稀疏性才是真优势,你让GPU去干这些活儿,它只会一直空转着烧电。
最后说两句不客气的
最后说两句不客气的
这个领域最怕的就是讲故事。每隔两年就有人喊一次“类脑芯片要颠覆计算”,然后融资,然后沉寂。真正的进展是有的,但它是那种一年挪一小步的进展,不是两年换一代的进展。谁要是跟你说三年内取代GPU,你把他拉黑就行了。
不过话说回来——人脑用二十瓦做到了这些事,这件事本身就摆在那儿,绕不过去。只要GPU的功耗还在涨,只要边缘设备还在被电池卡脖子,这条线就会一直有人做,一直有人往里填钱。
只是别指望明年就能买到一块“会思考的芯片”。它更可能藏在你根本注意不到的某个传感器里,安安静静地,一天只放几个脉冲。