发布网友 发布时间:2022-04-20 21:49
共1个回答
热心网友 时间:2023-08-24 23:01
不是简单的字面预训练和正常的训练的意思,而是训练数据与训练数据模型的概念。
预训练是指使用尽可能多的训练数据,从中提取出尽可能多的共性特征,从而让模型对特定任务的学习负担变轻。
训练是指使用少量带有标签的数据训练模型,使用过程中得到的模型对未标记数据进行预测,预测结果作为伪标签,然后将标记数据和未标记数据结合标签和伪标签一起训练模型,再在测试集上评估模型最后重复1以上步骤,对模型迭代。