《迁移学习基础及应用》吴心筱，王晗，武玉伟【pdf】

内容简介:

本书系统地阐述了迁移学习的解决方法和典型应用。首先, 论述了迁移学习的基本概念、方法分类及发展历程, 介绍了迁移学习的相关基础知识。其次, 探讨了迁移学习的基本方法, 包括基于样本、基于特征、基于模型和基于关系的迁移学习方法, 阐述了深度迁移学习的经典方法, 包括神经网络自适应迁移方法和神经网络对抗迁移方法, 介绍了更加实用的部分域适应方法和开集域适应方法。后, 介绍了迁移学习在动作识别、目标检测及语义分割三个方向的应用。

本书可供从事机器学习、模式分类、人工智能以及相关领域研究和应用的技术研发人员参考,也可作为相关专业的高年级本科生和研究生的教材。

作者简介:

吴心筱，女，1982年生，江苏江阴人。于2010年获得北京理工大学博士学位。现任北京理工大学副教授，博士生导师。主要研究方向为图像视频内容理解、计算机视觉。在IJCV、IEEE TIP、IEEE TNNLS、IEEE TMM等重要国际刊物和ICCV、CVPR、ACM MM、AAAI、IJCAI等国际会议上发表学术论文30余篇。负责国家自然科学基金青年和面上项目、教育部博士点基金等项目。获“2012年中国人工智能学会优秀博士学位论文”荣誉。

目录:

第1 章　 绪论………………………………………………………………………………… 001

1. 1　 机器学习概述 ………………………………………………………………………… 001

1. 1. 1　 机器学习的主要步骤 …………………………………………………………… 001

1. 1. 2　 机器学习的分类 ………………………………………………………………… 003

1. 2　 迁移学习的基本概念 ………………………………………………………………… 005

1. 2. 1　 迁移学习的定义 ………………………………………………………………… 005

1. 2. 2　 域和任务 ………………………………………………………………………… 007

1. 2. 3　 迁移学习的数学表示 …………………………………………………………… 008

1. 2. 4　 迁移学习的基础研究问题 ……………………………………………………… 009

1. 3　 迁移学习方法的分类 ………………………………………………………………… 010

1. 3. 1　 根据目标域中所包含的有标签数据情况分类 ………………………………… 010

1. 3. 2　 根据源域与目标域的数据和任务的不同分类 ………………………………… 011

1. 3. 3　 根据源域与目标域的特征空间或标签是否同构分类 ………………………… 014

1. 3. 4　 迁移学习方法的总结分类 ……………………………………………………… 014

1. 4　 迁移学习的发展历史 ………………………………………………………………… 016

1. 5　 其他学习方法 ………………………………………………………………………… 017

1. 5. 1　 主动学习 ………………………………………………………………………… 017

1. 5. 2　 在线学习 ………………………………………………………………………… 018

1. 5. 3　 度量学习 ………………………………………………………………………… 019

1. 5. 4　 深度迁移学习 …………………………………………………………………… 020

1. 5. 5　 强化学习 ………………………………………………………………………… 024

参考文献……………………………………………………………………………………… 025

第2 章　 基础知识 ………………………………………………………………………… 032

2. 1　 矩阵分析 ……………………………………………………………………………… 032

2. 1. 1　 基本概念 ………………………………………………………………………… 032

2. 1. 2　 矩阵分解 ………………………………………………………………………… 036

2. 2　 概率论 ………………………………………………………………………………… 039

2. 2. 1　 随机变量 ………………………………………………………………………… 039

2. 2. 2　 概率分布 ………………………………………………………………………… 039

2. 2. 3　 随机变量的数字特征 …………………………………………………………… 041

2. 3　 化方法 …………………………………………………………………………… 042

2. 3. 1　 梯度下降法 ……………………………………………………………………… 043

2. 3. 2　 牛顿法 …………………………………………………………………………… 044

2. 3. 3　 拟牛顿法 ………………………………………………………………………… 045

2. 4　 神经网络 ……………………………………………………………………………… 046

2. 4. 1　 神经元模型 ……………………………………………………………………… 046

2. 4. 2　 单层感知器 ……………………………………………………………………… 048

2. 4. 3　 多层感知器 ……………………………………………………………………… 049

2. 5　 支持向量机 …………………………………………………………………………… 053

2. 5. 1　 线性 SVM ………………………………………………………………………… 053

2. 5. 2　 非线性 SVM ……………………………………………………………………… 056

参考文献……………………………………………………………………………………… 057

第3 章　 迁移学习基本方法 ……………………………………………………………… 059

3. 1　 基于样本迁移学习 …………………………………………………………………… 059

3. 1. 1　 基于样本迁移基本思想 ………………………………………………………… 059

3. 1. 2　 基于样本迁移经典方法 ………………………………………………………… 060

3. 2　 基于特征迁移学习 …………………………………………………………………… 067

3. 2. 1　 基于特征迁移基本思想 ………………………………………………………… 067

3. 2. 2　 基于特征迁移经典方法 ………………………………………………………… 067

3. 3　 基于模型迁移学习 …………………………………………………………………… 072

3. 3. 1　 基于模型迁移基本思想 ………………………………………………………… 072

3. 3. 2　 基于模型迁移经典方法 ………………………………………………………… 072

3. 4　 基于关系迁移学习 …………………………………………………………………… 078

3. 4. 1　 基于关系迁移基本思想 ………………………………………………………… 078

3. 4. 2　 基于关系迁移经典方法 ………………………………………………………… 078

3. 5　 异构迁移学习 ………………………………………………………………………… 080

3. 5. 1　 同构迁移 ………………………………………………………………………… 080

3. 5. 2　 异构迁移 ………………………………………………………………………… 080

参考文献……………………………………………………………………………………… 082

第4 章　 深度迁移学习 …………………………………………………………………… 085

4. 1　 深度神经网络基础 …………………………………………………………………… 085

4. 1. 1　 卷积神经网络 …………………………………………………………………… 085

4. 1. 2　 生成对抗网络 …………………………………………………………………… 092

4. 1. 3　 网络优化 ………………………………………………………………………… 095

4. 2　 深度神经网络微调迁移 ……………………………………………………………… 099

4. 2. 1　 网络微调基本思想 ……………………………………………………………… 099

4. 2. 2　 网络微调经典方法 ……………………………………………………………… 099

4. 2. 3　 网络微调性能分析 ……………………………………………………………… 106

4. 3　 深度神经网络自适应迁移 …………………………………………………………… 108

4. 3. 1　 网络自适应迁移基本思想 ……………………………………………………… 108

4. 3. 2　 网络自适应迁移经典方法 ……………………………………………………… 108

4. 3. 3　 网络自适应迁移性能分析 ……………………………………………………… 112

4. 4　 深度神经网络对抗迁移 ……………………………………………………………… 114

4. 4. 1　 网络对抗迁移基本思想 ………………………………………………………… 114

4. 4. 2　 对抗迁移经典方法 ……………………………………………………………… 115

4. 4. 3　 网络对抗迁移性能分析 ………………………………………………………… 124

参考文献……………………………………………………………………………………… 126

第5 章　 其他迁移学习 …………………………………………………………………… 131

5. 1　 部分域适应 …………………………………………………………………………… 131

5. 1. 1　 部分域适应基本思想 …………………………………………………………… 131

5. 1. 2　 部分域适应经典方法 …………………………………………………………… 132

5. 1. 3　 性能分析 ………………………………………………………………………… 140

5. 2　 开集域适应 …………………………………………………………………………… 143

5. 2. 1　 开集域适应基本思想 …………………………………………………………… 144

5. 2. 2　 开集域适应经典方法 …………………………………………………………… 145

5. 2. 3　 性能分析 ………………………………………………………………………… 150

参考文献……………………………………………………………………………………… 152

第6 章　 迁移学习在动作识别中的应用 ……………………………………………… 155

6. 1　 动作识别介绍 ………………………………………………………………………… 155

6. 2　 动作识别基本方法 …………………………………………………………………… 155

6. 2. 1　 动作特征提取 …………………………………………………………………… 155

6. 2. 2　 动作分类 ………………………………………………………………………… 158

6. 2. 3　 动作识别深度模型 ……………………………………………………………… 159

6. 3　 迁移学习动作识别 …………………………………………………………………… 162

6. 3. 1　 自适应多核学习动作识别 ……………………………………………………… 163

6. 3. 2　 多语义分组域适应动作识别 …………………………………………………… 166

6. 3. 3　 生成对抗学习动作识别 ………………………………………………………… 175

参考文献……………………………………………………………………………………… 183

第7 章　 迁移学习在目标检测中的应用 ……………………………………………… 190

7. 1　 目标检测介绍 ………………………………………………………………………… 190

7. 2　 目标检测经典方法 …………………………………………………………………… 191

7. 3　 迁移学习目标检测方法 ……………………………………………………………… 194

7. 3. 1　 域适应目标检测 ………………………………………………………………… 194

7. 3. 2　 渐进域适应弱监督目标检测 …………………………………………………… 196

7. 4　 常用数据集 …………………………………………………………………………… 198

7. 4. 1　 PASCAL VOC 数据集 …………………………………………………………… 198

7. 4. 2　 Cityscapes 数据集和 Foggy Cityscapes 数据集 ………………………………… 200

7. 4. 3　 Clipart1k 数据集 ………………………………………………………………… 202

7. 4. 4　 KITTI 数据集 …………………………………………………………………… 203

7. 4. 5　 SIM 系列数据集 ………………………………………………………………… 205

7. 4. 6　 目标检测评价指标 ……………………………………………………………… 205

7. 5　 方法性能分析 ………………………………………………………………………… 206

7. 5. 1　 域适应目标检测结果 …………………………………………………………… 206

7. 5. 2　 渐进域适应弱监督目标检测结果 ……………………………………………… 207

参考文献……………………………………………………………………………………… 208

第8 章　 迁移学习在语义分割中的应用 ……………………………………………… 211

8. 1　 语义分割介绍 ………………………………………………………………………… 211

8. 2　 语义分割经典方法 …………………………………………………………………… 212

8. 3　 迁移学习的语义分割方法 …………………………………………………………… 213

8. 3. 1　 基于全局和局部对齐的域适应语义分割 ……………………………………… 214

8. 3. 2　 双向学习的域适应语义分割 …………………………………………………… 216

8. 4　 常用数据集 …………………………………………………………………………… 219

8. 4. 1　 GTA5 数据集……………………………………………………………………… 219

8. 4. 2　 SYNTHIA 数据集 ………………………………………………………………… 220

8. 4. 3　 语义分割评价指标 ……………………………………………………………… 221

8. 5　 方法性能分析 ………………………………………………………………………… 222

8. 5. 1　 基于全局和局部对齐的域适应语义分割方法结果 …………………………… 222

8. 5. 2　 双向学习的域适应语义分割方法结果 ………………………………………… 225