本文简要回顾了传统迁移算法的流程、特点和局限性，然后详细介绍了在源域数据存在访问限制的情况下实现迁移的几种算法。 包括ADDA-CVPR2017、FADA-ICLR2020和SHOT-ICML2020。 本文详细介绍了一种特殊场景下的迁移算法:隐私保护下的迁移算法。 本文首先回顾了传统迁移算法的流程、特点和局限性，然后详细介绍了当源域数据存在访问限制时实现迁移的几种算法。 包括ADDA-CVPR2017、FADA-ICLR2020和SHOT-ICML2020。 传统迁移算法UDDA首先说明这里所说的传统迁移算法，主要是指深度域自适应，更具体的说是无监督深度域自适应(UDDA)。 因为UDDA是最常见和最受关注的设置，所以这方面的工作远远多于其他迁移算法。 先来详细说说UDDA是做什么的:给定一个目标域，这个域只有未标记的数据，所以无法在监督下训练模型。目标域通常是新的局部点、场景或数据集；为了在目标域中建立没有标记数据的模型，我们可以使用源域的知识，源域通常是现有的局部点、场景或数据集。知识可以是源领域的训练模型、源领域的原始数据、源领域的特征等。 借助于具有标记信息的源域，即使目标域中没有标记数据，也可以建立模型。 使模型对目标域数据有效的关键难点在于源域和目标域之间数据分布的差异，这种差异称为域转移。如何对齐源域和目标域之间的数据是UDDA处理的主要问题。 UDDA通常包括以下三个框架:首先，源域和目标域的数据(圆柱体)会被特征提取器(矩形)提取出来，然后各种方法会对源域和目标域的特征进行操作，使源域和目标域的数据的特征对齐。 这里值得一提的是，UDDA通常假设源域和目标域的类别是相同的。例如，源域和目标域都对0-9手写数字进行分类，但源域和目标域的手写风格不同。 操作源域和目标域特征的方法包括三类:统计对齐:利用各种统计量对齐源域和目标域特征的分布，如对齐核空间均值(MMD损失)、对齐协方差矩阵(珊瑚损失)等。基于对抗比对:建立领域分类器作为鉴别器，目的是尽可能地区分源领域和目标领域的特征。梯度反转(GRL)可用于使特征提取器提取域不变的特征。基于重建的对齐:源域和目标域的特征通过同一个生成网络生成相应的数据。通过假设只有具有紧密分布的样本可以使用相同的网络来生成数据，以对准源域和目标域的特征。 以上UDDA的具体算法，请参考之前的文章。 本文只给出了UDDA的几个特点:可以获取源域数据:UDDA假设源域数据存在并且可以获取；源域和目标域的数据可以混合:UDDA通常假设源域和目标域的数据可以一起求解，所以可以放在同一个设施上进行操作；训练过程是平移的:目标领域数据必须和源领域数据一起训练，这样特征提取器才能提取与领域无关的特征，然后源领域的模型才能迁移到目标领域。因此，当一批新的目标域数据到达时，源域模型不能直接用于预测。 一般来说，传统的UDDA方法假设源领域数据可以获得，源领域数据和目标领域数据可以混合，训练过程是直推式的。 但是在少数场景下，无法获取源域数据，或者无法上传其他源域数据。在这种情况下，如何迁移？首先，这里需要注意的是，有两种情况:无法传输源域数据和无法获取源域数据。前者假设源域数据存在，但不能和目标域数据放在一起，后者假设源域数据根本不存在。 ADDAADDA是CVPR2017的作品，来自论文《高级判别域自适应》 回到正题，ADDA的训练流程图如下:重复以上两步，直到收敛。 正如CVL集团在上述细节上一样，邢朝鹏将ADDA扩展到多域版本，并提出了FADA。 FADA来自ICLR2020出版的《联邦对抗域适应》。论文首页截图如下:本文提出了一种新的场景FADA，即联邦学习下的多域迁移。 假设有多个源域，每个源域的数据分布在单独的设施中，原始数据无法导出。在这种情况下，我们如何将它的模型重用到目标域呢？简而言之，如何在数据发不出去的约束下对齐特征？FADA的总体框架图如下。该框架结合了许多方法，包括特征解耦等。这里就不多赘述了。 一般来说，FADA将多个源域和目标域的特征发送到一个指定的设施，在该设施上训练一个域鉴别器，然后将域鉴别器发送到每个源域作为对策，以督促相应的特征提取器提取与域无关的特征。 可以说FADA是ADDA的多域扩展版。 SHOTSHOT是一个有趣的作品，它的名字是我们真的需要访问源数据吗？用于无服务域适应的源卫生转移”，来自ICML2020。作者信息截图如下:如果ADDA和FADA都假设源域数据无法送出设施，shot假设源域数据无法获取，即源域数据丢失或不存在。 那么在目标域只有源域模型和大量未标记数据的情况下，如何迁移呢？SHOT处理了这个问题。 首先，SHOT指的是源假设迁移，源形合指的是源域模型的分类器。 SHOT和ADDA有一个共同点，都是固定源域模型的分类器，微调源域的特征提取器。 ADDA通过抗丢失对目标域的特征提取器进行微调(假设源域数据的特征可以访问)，而SHOT通过伪标签进行自监督。 这种损失不能完全正确地训练目标领域的特征提取器，所以需要使用下面的伪标签技术进行训练。 伪标记技术很直观，就是用当前模型标记未标记的样本，然后标记一些预测结果可信度最高的样本，再用这些伪标记的数据继续训练这个模型。 以上是标签细化的过程，主要是指利用目标域样本(聚类结果)的关系来进一步调整伪标签，而不仅仅是利用模型的预测结果。 在错误标记后，可以根据交叉熵损失对模型进行训练，综合的IM损失可以将模型的性能提高到一个较高的水平。 综上所述，传统的UDDA和本文的主要细节ADDA，FADA和SHOT，可以用下图来区分:Eric Tzeng，高级判别域适配的作品，来自加州大学伯克利分校，代表作有DDC和ADDA；第二，Judy Hoffman来自斯坦福大学，代表作CyCADA，多域迁移理论文章很多，如NeurIPS 2018的《多源适应的算法与理论》；Kate Saenko是波士顿大学计算机视觉和学习小组(CVL)的负责人，她是一名女学者。、孙、彭兴超、齐藤邦树等人都曾在这个小组学习过或曾经在这个小组学习过。 代表作品有(个人评价，以下文章为个人在学习DA的过程中或多或少阅读或研究过的):邢、紫、朱、凯特·萨恩科:联邦对抗性域适应。彭，，凯特·萨恩科:用于无监督领域适应的领域嵌入。(6) 2020: 756-774Shuhan Tan，Xingchao Peng，Kate Saenko:具有协变量和标签移位协同比对的广义域适应。CoRR ABS/1910.10320(2019)xing Chao Peng，Zijun Huang，Ximeng Sun，Kate Saenko:具有非纠缠表示的领域不可知学习。ICML 2019: 5102-5112Xingchao Peng，Qinxun Bai，Xide Xia，Zijun Huang，Kate Saenko，:用于多源域适应的矩匹配。ICCV 2019: 1406-1415Kuniaki Saito，Donghyun Kim，Stan Sclaroff，Trevor Darrell，Kate Saenko:通过极大极小熵的半监督域适应。ICCV 2019: 8049-8057Kuniaki Saito，Yoshitaka Ushiku，Tatsuya Harada，Kate Saenko:对抗性辍学正规化。ICLR(海报)2018Xingchao Peng，Ben Usman，Neela Kaushik，，Judy Hoffman，Kate Saenko: VisDA:视觉领域适应的合成到真实基准。CVPR研讨会2018: 2021-2026Eric Tzeng，Judy Hoffman，Kate Saenko，Trevor Darrell:对抗性歧视域适应。CVPR 2017:2962-2971孙宝琛，凯特·萨恩科:深珊瑚:深领域适应的相关比对。ECCV工作坊(3)2016:443-450孙宝琛，冯嘉实，凯特·萨恩科:轻松领域适应的回归。AAAI 2016: 2058-2065Eric Tzeng，Judy Hoffman，Trevor Darrell，Kate saenko:跨域和任务的同步深度传输。ICCV 2015: 4068-4076参考Eric tzeng，Judy Hoffman，Kate saenko，Trevor Darrell:对抗性歧视域适应。彭兴超，黄子君，朱，凯特萨恩科:联合对抗域适应。ICLR 2020简亮，胡大鹏，冯佳石:我们真的需要访问源数据吗？用于无服务域适配的源卫生转移。corr ABS/2002.08546 (2020)本文参考华为云社区“隐私保护下的迁移算法【技术干货】”。参考作者:挺突然的。