完胜 BERT：谷歌优秀NLP预训练模型ELECTRA开源

发布于 2020-03-17 11:41:11 | 阅读 18971

近日，谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测（RTD）的新预训练任务，使其能够在从所有输入位置学习的同时，训练双向模型。

BERT 谷歌 NLP ELECTRA