Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING

Abstract & Introduction & Related Work

• 研究任务
• 已有方法和相关工作
• 面临挑战
• 创新思路
  这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
• 实验结论

base分类器在大量数据集上训练，然后接受新增的少量数据集，最后模型在包含所有出现过的类别的测试集上衡量效果

这篇paper聚焦于极端样本，用基于正则化的方法来应对FSCIL，有和没有来自自然语言的侧面信息

1. 我们将新的分类器权重朝向基础分类器权重所跨越的子空间的最短方向正则化
2. 我们对新的分类器进行正则化处理，将它们拉向基础分类器的加权平均值，其中的权重是利用新的分类器和基础分类器名称或单句描述之间的标签/描述相似度来计算的
3. 我们学习单词标签和基础类的分类器权重之间的线性映射L。之后，我们将新标签white wolf投射出去，并将新的分类器权重 ${\eta }_{white\_wolf}$向投射的方向正则化
   

APPROACH

方法包括两个步骤，在基类上共同训练特征提取器和分类层，在之后的环节中冻结特征提取器的参数，只用正则器来更新分类器

1. 稳定了基类的表示
2. 使新类的表示接近现有的类

FEATURE EXTRACTOR TRAINING

优化以下项，使其最大化

FINE-TUNING

给一个新增的数据集，定义新的权重向量 $\eta$ 然后优化下面这个公式

我们在以前的环节中只取样1个例子，在以后的环节中重复使用同一个例子

METHOD 1: SUBSPACE REGULARIZATION

过去在其他多任务学习问题上的工作已经证明了约束相关任务的参数的有效性，使其相似（Jacob等人，2008），位于同一流形上（Agarwal等人，2010），甚至位于同一线性子空间（Argyriou等人，2007a）

此外，Schonfeld ¨等人（2019年）表明，所有类别的共享潜在特征空间对于类别递增分类是有用的。从少量的例子中独立学习到的新类的特征很可能捕捉到虚假的相关性（与预测问题的真实因果结构无关），这是数据集偏差的结果（Arjovsky等人，2019）

相比之下，我们期望大多数信息性语义特征在多个类别中共享：事实上，认知研究表明，在人类的早期视觉皮层中，不同物体的代表占据了一个共同的特征空间（Kriegeskorte等人，2008）因此，向基类权重向量所跨越的空间正则化，鼓励新的类表征依赖于语义而不是虚假的特征，并且所有任务的特征都位于同一个通用子空间中

我们通过一个简单的子空间正则化方法将这种直觉应用于FSCIL，给一个新增类别和基类参数，首先计算子空间目标 $m_c$，对于每一个类，${\eta }_c$和$m_c$的距离由以下公式计算

METHOD 2: SEMANTIC SUBSPACE REGULARIZATION

公式

中的约束明确使用了关于基础类的几何信息，将新的权重拉向基础子空间。然而，它没有提供关于新类的权重在该子空间中的位置的信息。在大多数分类问题中，类的名称由自然语言的词或短语组成；这些名称通常包含与感兴趣的分类问题相关的大量信息。(即使没有见过白狼，一个典型的讲英语的人也能猜到白狼更可能像北极狐，而不是像潜水艇）。这类关系通常由类标签的嵌入（或更详细的类描述）来捕获

类别的语义信息考研用来构建一个改进子空间的正则器，通过鼓励新的类表征接近于由语义相似性加权的基础类的凸形组合来实现

将子空间的投射替换成语义目标 $l_c$， $e_c$ 代表 $c$ 类的语义 embedding

EXPERIMENTS

CONCLUSIONS

我们描述了一系列基于正则化的方法，用于少量的类增量学习，在增量学习和一般的多任务和零次学习文献之间建立了联系。所提出的正则化方法非常简单–它们只涉及一个额外的超参数，不需要额外的训练步骤或模型参数，并且易于理解和实施。尽管如此简单，我们的方法使普通的分类架构在多个数据集和问题表述中，在具有双重挑战性的少量增量图像分类上取得最先进的结果

Remark

本文注重于few-shot，在持续的方面，是用每个类别保存一个样本，然后进行回忆，用了两种方法，分别利用子空间正则化和语义子空间正则化来使模型高效的学习少量样本，总之方法很novel，但是在大数据集上是否work还有待考究，可以借鉴它的思想