https://api.vvhan.com/api/avatar/boy

技术博客分享

自然语言处理预训练模型的研究综述

第一个任务是Mask LM(MLM),为了解决GPT完全舍弃下文的问题,不再进行整个句子的预测而是对某个词去做预测,首先屏蔽一定百分比的词,然后通过模型实现对屏蔽词的预测,来进行训练。二是预测的是屏蔽掉的是词而非句子,会使整个句子预训练的收敛速度更慢。N-gram是自然语言处理领域中具有显著历史意义的特征处理模型,基本思想是将文本内容按照字节大小为N的滑动窗口进行操作,形成长度是N的字节片段序列,然后对所有的序列的出现频度进行统计,并且按照实现设定好的阈值进行过滤,形成了这个文本的特征向量空间。