小样本学习:八张图、大模型,和那些没人告诉你的坑
先别急着堆数据,八张图也能开干
先扔个反常识的。你手里只有八张缺陷照片。八张。产线那边还催着明天上线。以前怎么办?标几千张,训个ResNet,调参调到凌晨三点,最后在测试集上过拟合得亲妈都不认识。现在?不一定。
小样本学习,核心就一句话:让模型学会“比较”和“迁移”,而不是死记硬背。人小孩看两三只猫,就能认出别的猫。模型为啥不行?因为传统监督学习把每个类别当成孤岛,样本一少,孤岛就塌了。小样本学习想干的,是找到类别之间的共性,或者学会“怎么学”。
不过话说回来,这词儿被炒得有点热。N-way K-shot,5-way 1-shot,听起来像黑话。翻译一下:给你5个类别,每类1张图,让模型挑出 query 图属于哪类。学术界爱这么比。工业界看了直摇头——真实场景哪来这么干净的任务分布?光照、遮挡、长尾,全搅在一起。对吧。
小样本学习N-way K-shot任务采样示意图
从元学习到上下文学习,科研圈换了两套引擎
早期那批工作,绕不开元学习。MAML 想学一个“好初始化”,让模型在新任务上几步梯度就能收敛。听起来优雅。实际训起来,二阶导、任务采样、内外循环,调过的人都知道——脾气比效果大。Reptile 简化了,ProtoNet 更直接:把每类样本取个均值,当原型,query 离谁近就算谁。简单,但强得离谱。
度量学习这条线也热闹。孪生网络、匹配网络、关系网络,都是让模型学会距离。你给它两张图,它告诉你像不像。然后拿这个“像不像”去分类。妙处在于,不需要每类很多样本,只需要足够多的“类间对比”任务。但坑也在这:如果预训练数据跟目标域差太远,距离学歪了,原型就飘了。
然后大模型来了。规则变了。GPT-3 那篇论文里,上下文学习——In-Context Learning——突然成了显学。你给几个示例,模型直接推理,权重一动不动。这算小样本学习吗?算。而且狠。CLIP 更夸张,四亿图文对训完,零样本分类直接打。下游任务?给几个提示词就行。科研圈风向标转得飞快:从“怎么设计元学习器”变成“怎么用好基础模型”。
但这不意味着元学习死了。医疗影像、遥感、工业缺陷,这些领域基础模型没那么强,或者根本拿不到。小样本元学习还在干活。只是现在流行“预训练 + 元学习”混着来。先在大规模数据上蹭点通用表征,再用 episodic 训练微调。效果?比纯元学习稳,比纯微调省标注。我一度以为 MAML 要进博物馆,结果换个姿势又回来了。
小样本学习MAML元学习内外循环训练流程图
工厂和医院里,卡脖子的不是算法,是标注
工厂和医院里,卡脖子的不是算法,是标注
说点真金白银的。我见过一个做轴承缺陷检测的团队。缺陷样本一共37张。37张。其中还有12张是同一批次的,光照都差不多。拿去训 CNN?验证集准确率能到98%,上线三天就崩。为什么?过拟合到背景了。模型学的是“这批图的灰色背景”,不是“划痕”。
小样本学习怎么救?他们后来用了两招。第一,用正常样本做自监督预训练,学一个“什么是正常”的表征。第二,把缺陷检测变成异常检测 + 小样本分类。37张里挑出15张做 support set,其余做 query。ProtoNet 打底,再拿产线新拍的图做在线更新。准确率没到99%,但召回率从62%拉到89%。产线能用了。这比论文里涨两个点实在。
医院也类似。罕见病影像,一个病种几十例,算多的。标注还得主任医师来,一小时看不了几张。小样本学习在这里的价值,不是替代医生,是把“冷启动”阶段熬过去。先少量标注,模型给候选,医生修正,再迭代。主动学习和小样本结合,比纯无监督靠谱得多。
不过,别被 demo 骗了。小样本学习不是“不需要数据”,是“不需要大量标注数据”。无标注数据、预训练数据、任务分布,这些一个都不能少。你拿 ImageNet 预训练的模型去搞病理切片,该崩还是崩。域偏移不解决,几-shot 都是玄学。
想上手?先试这几条野路子,别死磕MAML
想上手?先试这几条野路子,别死磕MAML
如果你现在就要做个原型,我给你排个优先级。第一,能蹭基础模型就蹭。视觉用 CLIP、DINOv2,文本用 LLaMA、Qwen。冻结主干,只训一个线性分类器或者原型头。5-shot 往往就能看。第二,Prompt 和 adapter 比全量微调稳。LoRA、Prefix Tuning,参数量小,小样本下不容易过拟合。第三,真要自己训,ProtoNet 和 SimpleShot 先跑基线。别一上来 MAML,调参能把你调抑郁。
数据侧也有讲究。Episodic 采样不是随便抽。类别要平衡,难度要分层。简单任务和困难任务混着来,模型才学得稳。还有,增强别乱用。小样本下,旋转、裁剪可能把语义搞没。缺陷检测里,你把划痕转90度,它还是划痕吗?可能是,也可能不是。得试。
评估更得小心。小样本论文爱报 mean accuracy,但方差大得吓人。5-way 1-shot,换一组 support set,结果能差十几个点。所以,看置信区间,别只看均值。工业落地还要看最差情况。你总不能跟老板说:这次运气好,模型准了。
最后说个趋势。现在顶会里,纯小样本分类的论文没以前多了。但小样本思想渗得到处都是:医疗、机器人、推荐冷启动、大模型对齐。甚至 RLHF 里,少量人类偏好数据怎么训奖励模型,也是小样本问题。所以,这方向没凉,只是换了个马甲。你要做的,是别把它当银弹。数据少,意味着先验得强。先验从哪来?预训练、领域知识、数据增强、任务设计。一个都不能偷懒。
对了,还有一招挺脏但有用:把分类问题改成检索问题。建一个 support 库,query 来了就找最近邻。不训练,直接上。有时候效果出奇地好。尤其类别经常变、样本极少的场景。缺点也明显——推理慢,存储大。但先跑通,再优化。别一开始就追求端到端优雅。
行了,就聊这么多。小样本学习这潭水,说深不深,说浅也不浅。八张图能开干,但八张图背后,是预训练、任务设计、评估策略的一整套功夫。少听点“颠覆”,多看几个消融实验。真的。