腾讯优图：带噪学习和协作学习，不完美场景下的神经网络优化策略

神经网络的成功建立在大量的干净数据和很深的网络模型基础上。但是在现实场景中数据和模型往往不会特别理想，比如数据层面有误标记的情况，像小狗被标注成狼，而且实际的业务场景讲究时效性，神经网络的层数不能特别深。

腾讯优图不断迭代数据和模型缺陷情况下神经网络的有效训练方法，通过noisy label learning和collaborative learning技术，实现用比较浅的网络解决noisy dataset问题。相关技术已经在腾讯的众多业务场景上（行人重识别，内容审核等）落地。本文整理自腾讯优图和机器之心联合主办的「CVPR2020线上分享」，分享嘉宾为腾讯优图实验室高级研究员Louis。

刻画noisy label与任务目标

一般来讲，noisy label是可以通过一个噪音转移矩阵T来刻画，也就是noise transition matrix T。人为设计一个噪音转移矩阵T，之后如果我们知道这个数据集中 clean label的分布，将这个分布乘以T就可以得到noisy label的分布。有了noisy label分布和对应的数据集之后，就可以进行很多带噪方法的验证。

接下来用数学描述来刻画一下我们带噪学习的目标。对于一个分类任务，我们的目标可以写成下面的形式，x和y代表样本和对应的label, 在今天的语境下F是神经网络。我们的任务目标是在数据集下优化一个loss function，使得在noisy label下训练得到的解，在性能上接近在clean label下训练得到的解，那么数学表达就是，f ̃是f的一个子集。