计算机视觉技术：从实验室到菜市场，它真的不是只会刷脸
说实话，我前几天去楼下买菜，扫码付款的时候瞥了一眼门口的AI秤，吓了一跳。那秤居然能认出我挑的是贝贝南瓜还是普通板栗南瓜？连不同品种的橙子都能分开算钱？
这放在十年前，想都不敢想。
菜市场AI智能识别电子秤实物图
小样本计算机视觉模型训练效果对比图
第二个方向就是3D计算机视觉。
现在的自动驾驶、VR/AR、机器人导航，全靠这个撑着。你手里iPhone的面容ID，能骗过照片骗不过你，本质就是靠结构光采集3D深度信息，再用计算机视觉做比对。
之前的2D视觉只能识别平面信息，碰到遮挡、角度变化就容易拉胯，3D视觉直接把深度信息加进去，一下子就靠谱多了。现在很多工厂的机械臂，就是靠3D视觉随便抓乱堆放在传送带上的零件，换两年前根本做不到。
第三个方向就是端侧计算机视觉。
啥意思？就是原来训练好的模型都放在云端，你拍个图还要上传云端算完再返回结果，不仅慢，还容易泄露隐私。现在把模型压缩好了，直接放在终端设备里，摄像头、手机本地就算完了，不用传网上，速度快了好几倍，隐私也安全。
我家里的智能门锁，人脸识别就是端侧处理，就算断网也能开门，这放在五年前，端侧根本跑不起这么大的模型。
吹得再神，落地还是一堆坑
我接触过不少做计算机视觉落地的团队，九成以上都吐槽过同一件事：实验室准确率99%，拉到真实场景一跑，准确率直接对半砍。
为啥？
实验室的数据集都是整理得干干净净的，每张图里就只有你要检测的目标，光线均匀，角度标准。真实世界哪有这么好的事？
我之前听过一个做工厂零件划痕检测的项目，实验室里测准确率快100%，拉到车间一用，错检率超过30%。为啥？因为车间里的灯泡一闪一闪的，光线忽明忽暗，零件上沾点切削液的反光，模型直接就把反光当成划痕了。零件歪个十度八度，也认不出来。
还有就是数据集偏见的问题，到现在都没解决好。很多人脸识别模型，对深肤色人群的识别准确率，比浅肤色低十几个百分点，本质就是训练集里绝大多数都是浅肤色的样本，模型没学好。
这不是技术本身的问题，是做数据集的时候就没上心，留下的坑。
不过话说回来，哪项新技术落地不是踩着坑走过来的？蒸汽机刚发明的时候还不如马跑得快呢，不也慢慢改进成现在这样了？
现在生成AI火得一塌糊涂，其实AI文生图本质也是计算机视觉技术的延伸，从"识别理解"到"生成创造"，整个逻辑打通了，原来机器只会看了图告诉你这是什么，现在机器能听懂你的描述，直接生成你想要的图。
你看现在AI画图画手，还是经常画出六个手指头，对吧？这就是对细粒度的人体结构理解还不到位，还有大把的空间可以挖。
前几天我带侄子去市科技馆，有个互动展，计算机视觉实时捕捉动作，小孩在台子前跳，屏幕里的虚拟卡通人就跟着跳，小孩玩了半个多小时不肯走。我站在旁边看，突然就感慨，这玩意儿放在十年前，那都是好莱坞科幻片里的特效，现在随便一个科技馆就能做出来给小孩玩。
很多技术就是这样，不会轰轰烈烈喊着我来了，都是慢慢渗进你生活的缝隙里。你可能没注意，没察觉，但买个菜能自动称斤，刷个短视频能给你自动打码，连拍照都能自动给你换背景，这些全都是计算机视觉技术在干活。
它真不是什么远在实验室的黑科技，就是你每天都在用的东西。
菜市场AI智能识别电子秤实物图
它早不是十年前你认识的样子
最早进入大众视野的计算机视觉应用，大概就是人脸识别了。很多人到现在，提起这四个字，第一反应还是手机解锁、公司打卡。 太局限了。 现在的计算机视觉技术，早就扎进各行各业的犄角旮旯了。农业里认病虫害，工厂里检残次品，医院里读CT片，甚至考古的时候修复破碎的陶片，都能用得上。 早在上个世纪，学界就开始研究计算机视觉了。那时候哪有什么大模型，都是工程师手工写特征提取规则，教机器认东西，认个0到9的手写数字都能错一大片。 直到CNN火了，深度学习来了，整个赛道直接换了天地。 之前学界还在为手工提取特征的优劣吵得不可开交，深度学习直接端着百分之九十多的准确率横空出世，把绝大多数传统方法按在地上摩擦。 从那之后，计算机视觉的发展速度，快到吓人。每年都有新的模型结构出来，准确率蹭蹭往上涨，能做的事也越来越复杂。当下最值得关注的几个技术突破
现在早过了比谁ImageNet分类准确率更高的年代了。学界和业界都在盯着几个更落地的方向啃硬骨头。 第一个就是小样本零样本学习。 之前训练一个好用的视觉模型，动不动就需要几十万上百万张标注好的数据。标注一张图多少钱？一块钱都是业内友情价，一个中等项目下来，光标注费就能花出去大几十万，小创业公司根本玩不起。 小样本学习就是解决这个问题的。现在好的模型，只需要十张八张标注好的图，就能训出能商用的识别模型，成本直接砍到原来的十分之一都不到。小样本计算机视觉模型训练效果对比图
第二个方向就是3D计算机视觉。
现在的自动驾驶、VR/AR、机器人导航，全靠这个撑着。你手里iPhone的面容ID，能骗过照片骗不过你，本质就是靠结构光采集3D深度信息，再用计算机视觉做比对。
之前的2D视觉只能识别平面信息，碰到遮挡、角度变化就容易拉胯，3D视觉直接把深度信息加进去，一下子就靠谱多了。现在很多工厂的机械臂，就是靠3D视觉随便抓乱堆放在传送带上的零件，换两年前根本做不到。
第三个方向就是端侧计算机视觉。
啥意思？就是原来训练好的模型都放在云端，你拍个图还要上传云端算完再返回结果，不仅慢，还容易泄露隐私。现在把模型压缩好了，直接放在终端设备里，摄像头、手机本地就算完了，不用传网上，速度快了好几倍，隐私也安全。
我家里的智能门锁，人脸识别就是端侧处理，就算断网也能开门，这放在五年前，端侧根本跑不起这么大的模型。
吹得再神，落地还是一堆坑
吹得再神，落地还是一堆坑
我接触过不少做计算机视觉落地的团队，九成以上都吐槽过同一件事：实验室准确率99%，拉到真实场景一跑，准确率直接对半砍。
为啥？
实验室的数据集都是整理得干干净净的，每张图里就只有你要检测的目标，光线均匀，角度标准。真实世界哪有这么好的事？
我之前听过一个做工厂零件划痕检测的项目，实验室里测准确率快100%，拉到车间一用，错检率超过30%。为啥？因为车间里的灯泡一闪一闪的，光线忽明忽暗，零件上沾点切削液的反光，模型直接就把反光当成划痕了。零件歪个十度八度，也认不出来。
还有就是数据集偏见的问题，到现在都没解决好。很多人脸识别模型，对深肤色人群的识别准确率，比浅肤色低十几个百分点，本质就是训练集里绝大多数都是浅肤色的样本，模型没学好。
这不是技术本身的问题，是做数据集的时候就没上心，留下的坑。
不过话说回来，哪项新技术落地不是踩着坑走过来的？蒸汽机刚发明的时候还不如马跑得快呢，不也慢慢改进成现在这样了？
现在生成AI火得一塌糊涂，其实AI文生图本质也是计算机视觉技术的延伸，从"识别理解"到"生成创造"，整个逻辑打通了，原来机器只会看了图告诉你这是什么，现在机器能听懂你的描述，直接生成你想要的图。
你看现在AI画图画手，还是经常画出六个手指头，对吧？这就是对细粒度的人体结构理解还不到位，还有大把的空间可以挖。
前几天我带侄子去市科技馆，有个互动展，计算机视觉实时捕捉动作，小孩在台子前跳，屏幕里的虚拟卡通人就跟着跳，小孩玩了半个多小时不肯走。我站在旁边看，突然就感慨，这玩意儿放在十年前，那都是好莱坞科幻片里的特效，现在随便一个科技馆就能做出来给小孩玩。
很多技术就是这样，不会轰轰烈烈喊着我来了，都是慢慢渗进你生活的缝隙里。你可能没注意，没察觉，但买个菜能自动称斤，刷个短视频能给你自动打码，连拍照都能自动给你换背景，这些全都是计算机视觉技术在干活。
它真不是什么远在实验室的黑科技，就是你每天都在用的东西。