近年来，深度学习

已在各种分类任务中证明了有效性，

例如使用深度神经网络(DNN)

在有标签的数据上训练风控模型，

取得了良好效果。

但在许多现实情况下，

例如真实场景的视频监控和医疗图像诊断，

很难收集到清晰准确的标注。

云从科技与中科院信工所发表《Coupled-view Deep Classififier Learning from Multiple Noisy Annotators》。

探索能够有效地利用多个弱标签的信息，进行深度学习分类的方法，提出了一种从多人标注的带噪标签中，进行双视图深度分类器学习的新方法。

该论文并被业内誉为“人工智能研究风向标”的国际人工智能领域顶级学术会议AAAI 2020收录。

AAAI 2020由美国人工智能协会主办，被中国计算机学会（CCF）列为A类会议。

此次会议总投稿量达7737篇，录用1591篇，录用率约为20.6%。

▲云从科技与中科院信工所发表论文

文中，我们专注于研究从多人标注的噪声标签中进行深度神经网络分类学习这一问题。

将期望最大化算法的迭代估计过程，看作标签视图和数据视图的相互学习问题（如下图）。

▲新方法研究逻辑模型

我们通过让两个视图分别学习对方视图生成的伪标签，把这一问题转化为监督学习问题，并通过迭代的更新伪标签和模型参数，让两个视图进行相互学习。

我们提出的方法（称为 CVL）减少了对错误标签的过拟合，并且具有更稳定的收敛表现。

新方法基于深度学习的双视图分类算法，充分利用多个弱标签的信息进行建模。

在安防布控、业务风控、金融安全等领域均可应用，可有效提升安防水平及风控业务等。

与安防领域创新应用相结合，显著提升安防监管系统的加固，更高效地提升安防作战能力，提高安保工作效率。

同时，在金融风控、创新安全等领域也有技术上的稳定效用。

新算法尝试在特征空间和标签空间两个视图里分别构建分类器。

在训练过程中，两个分类器的结果互为指导、互相监督，通过交替迭代更新，最终训练出性能稳定的分类器。

▲在合成数据集mnist和cifar10上实验，我们的方法在有效性和鲁棒性等方面胜过现有的其他技术示例结果

在两个合成数据集（MNIST和CIFAR10）和一个真实数据集（LabelMe-AMT）中进行实验，最后对比结果显示，CVL方法在有效性、鲁棒性、稳定性等方面均优于其他算法。

▲我们的方法在收敛的稳定性上优于其他算法

▲在真实数据集LabelMe-AMT上，我们的结果大幅领先现有的其他算法

我们将所研究的弱监督问题转化为两个视图的相互学习问题。

在经过初始化和预训练后，这一问题可以在交替更新的预测标签和聚集标签的监督下，通过替代优化解决。

这种双视图视角提供了一种简单而通用的方式，使标签聚合器和数据分类器彼此交换知识。

为此，我们在两种学习视图中采用了几种策略，以促进相互学习收敛到良好和稳定的结果：

▲分视图对几种策略进行描述

1、标签视图

· 基本模型。假设每个标注者的标签噪声都是随机且独立的情况下，我们采用了一种以噪声混淆矩阵为学习参数的朴素贝叶斯分类器。

· 训练模型。为了减少视图不充分性问题带来的影响，我们使用小损失度量标准作为测量标签的置信度，对进行样本选择。

· 更新聚合标签。每一轮，标签视图更新自己的伪标签一次。

2、数据视图

· 基本模型。由于深度网络具有很高的学习能力，我们选择神经网络作为数据分类器。

· 训练分类器。除了同样使用小损失度量之外，我们还提出了两种策略：

首先，我们进一步采用了协同教学策略，以减少在使用小损失度量之后，由于会初始化的不同导致不同错误选择偏置的影响；

其次，我们在每个batch中进行动态的类别加权损失，以防止网络过度偏好某些特定类别。

· 更新预测标签。每一轮，在两个网络输出分类结果的情况下，数据视图通过下式更新标签。