LeCun预言的自监督模型来了：首个多假定高性能自监督算法

顺利进行未及处理以授予子词（sub-word）各别（Sennrich 等人，2016；Devlin 等人，2019），然后通过自学的嵌入向量将其嵌入到特有种空间里。

data2vec 还可以为各不完全相同蕴涵数据分析各不完全相同的各别：图象的像素或视觉效果 token、句法的单词以及音韵的自学清单。像素的集合与音频文件波形或句法第三段非常各不完全相同，因此，解法其设计与特定的蕴涵紧密联系在三人。这意味着解法在每种Mode下的功能直至各不完全相同。

掩码：在可用样本作为 token 序列嵌入后，Meta AI 用自学的掩码嵌入 token 附加掩码各别的一之外，并将序列馈送到 Transformer 网路。对于集成电路视觉效果，Meta AI 遵循 Bao 等人的分块掩码（block-wise）策略；对于音韵，Meta AI 掩码潜在音韵说明的跨度 ；对于句法，Meta AI 运用于掩码 token 。

锻炼要能：Meta AI 数据分析的说明是实例说明，不仅对特定的间隔时间归一化顺利进行字节，还对来自样本的其他文档顺利进行字节，这是由于在 Transformer 网路里运用于了自注意力，这是与 BERT、wav2vec 2.0 或 BEiT、MAE、SimMIM 和 MaskFeat 重要不同点，这些数据分析要能缺乏实例文档。

面向多种蕴涵：data2vec 通过锻炼建模来简化其原理，以数据分析可用样本的比如说。没法数据分析视觉效果 token、词、歌声等的原理，而是专注于数据分析可用样本的比如说，单个解法就可以处理实际上各不完全相同多种类型的可用。这消除了自学使命里对特定蕴涵要能的依赖于。

反之亦然数据分析比如说并不直观，它需要为使命定义一个稳健的特征归一化，以对各不完全相同的蕴涵都是简单的。该研究课题运用于教职员网路首先从图象、句法或音韵里计算要能比如说。然后掩码之外可用并运用于学校网路重复该过程，然后数据分析教职员网路的潜在比如说。即使只能查询之外文档，学校建模也必须数据分析更早可用样本的比如说。教职员网路与学校建模完全相同，但均值略有各不完全相同。

实验及结果

该研究课题在 ImageNet 集成电路视觉效果基准上验证了该原理，结果如下。

用于集成电路视觉效果的 data2vec：在 ImageNet 基准上，ViT-B 建模与其他原理的性能比起结果。

用于音韵的 data2vec：在 LibriSpeech 基准验证里运用于 10h 标记样本的 Base 建模与其他原理的性能比起结果，拟合越大低，性能越大好。

用于句法的 data2vec：在运用于更早 BERT 设立重新的锻炼时，与 RoBERTa 相较，Base 建模在 GLUE 自然句法理解基准上的性能。高分越大高，性能越大好。

通过仔细观察顺利进行自学

自指导自学在集成电路视觉效果、视频等多种蕴涵方面取得了很大成效。这种原理的核心思想是为了来得最常地自学，以使集成电路系统可以自学顺利顺利进行各种使命，包括实际上确有过的使命。研究课题者努力的设备不仅很难辨识锻炼样本里显示的动物，而且还能通过取值揭示辨识新的生物体。

data2vec 证明其自指导解法可以在多种蕴涵下良好执行，甚至比现有最佳解法来得好。这为来得一般的自指导自学过渡到了道路，并让集成电路系统来得比起运用于视频、句法、音频文件来自学精细世上的要能。

由于收集高质量样本成本高很低，因此该研究课题还努力 data2vec 能让集成电路仅用非常少的标记样本来顺利顺利进行使命。data2vec 是迈向来得国际标准集成电路系统的重要一步，未来有望消除对特定蕴涵特征提取器的需求。

参考文档：

。

月经量大
太极急支糖浆治咳嗽效果怎么样
感冒咳嗽怎么缓解
气短胸闷
五一病例增加，感染新冠后为什么要第一时间吃抗病毒药物？医生的解答来了。