Transfer Learning :迁移学习(示例代码)

shiliuxinya 2021-03-11

栏目: 类库 ·

来源: shiliuxinya

作者:shiliuxinya

简介  这篇文章主要介绍了Transfer Learning :迁移学习(示例代码)以及相关的经验技巧,文章约856字,浏览量370,点赞数2,值得参考!

1. 迁移学习:利用已经训练过的用于解决问题A的模型,加上一部分问题B的数据集,对神经网络的大部分层进行冻结,即不改变参数,对模型进行训练,得到一个用于解决问题B的模型

△迁移学习的实质:找到源领域和目标领域之间的相似性,并加以合理利用;迁移学习的前提是两个任务之间存在共性

△迁移学习的策略:

①冻结+训练(freeze and train):对除最后一层或者最后几层的全连接层以外的其他层进行冻结,即不改变参数;对最后一层或最后几层的全连接层的权值重新初始化,用small dataset进行进行训练;适用于只有少量数据集的情况

②微调(finetuning):不冻结前面的层数,初始化最后几层的全连接层,利用bigger dataset对最后几层的全连接层进行训练,并使用较低的学习率,对前面的层的参数进行微调进行;适合有较多数据集的情况

技术图片

 

技术图片

 

技术图片


以上就是本文的全部内容,希望对大家的学习有所帮助,本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原文地址:https://www.cnblogs.com/shiliuxinya/p/12291716.html

相关文章

【美团云】TensorFlow 迁移学习识花实战案例(Transfer Learning)

迁移学习( Transfer Learning )(示例代码)

迁移学习及领域自适应 Transfer Learning & Domain Adaptation(示例代码)

迁移学习及领域自适应 Transfer Learning & Domain Adaptation(示例代码)

【深度学习与图神经网络核心技术实践应用高级研修班-Day3】迁移学习(Transfer Learning)

PyTorch 计算机视觉的迁移学习教程代码详解 (TRANSFER LEARNING FOR COMPUTER VISION TUTORIAL )

pytorch例子学习——TRANSFER LEARNING TUTORIAL(示例代码)

Pytorch tutorial 之Transfer Learning(示例代码)