新書推薦:
《
乐道文库·什么是秦汉史
》
售價:HK$
82.8
《
汉娜·阿伦特与以赛亚·伯林 : 自由、政治与人性
》
售價:HK$
109.8
《
女性与疯狂(女性主义里程碑式著作,全球售出300万册)
》
售價:HK$
112.7
《
药食同源中药鉴别图典
》
售價:HK$
68.8
《
设计中的比例密码:建筑与室内设计
》
售價:HK$
89.7
《
冯友兰和青年谈心系列:看似平淡的坚持
》
售價:HK$
55.8
《
汉字理论与汉字阐释概要 《说解汉字一百五十讲》作者李守奎新作
》
售價:HK$
78.2
《
汗青堂丛书144·决战地中海
》
售價:HK$
172.5
|
編輯推薦: |
290张图 110个可执行的TensorFlow示例程序 算法示例
助力读者玩转神经网络与深度学习背后的数学原理及上手应用
夯实神经网络、深度学习背后的数学基础,掌握它们的原理与实现,更深刻地理解开源深度学习框架TensorFlow中的常用函数,帮助读者在人工智能路上走得更远!
|
內容簡介: |
290张图+110个可执行的TensorFlow示例程序+算法示例易懂的神经网络深度学习人工智能参考书源代码文件供下载本书适合神经网络、深度学习、TensorFlow 的入门者阅读。
|
關於作者: |
张平,数学与应用数学专业,数学功底深厚,算法工程师。主要从事图像算法研究和产品的应用开发。此外,还从事有关深度学习、机器学习、数据挖掘算法的应用研发工作。
|
目錄:
|
1 深度学习及TensorFlow 简介1
1.1 深度学习. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 TensorFlow 简介及安装. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 基本的数据结构及运算6
2.1 张量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.1 张量的定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.2 Tensor 与Numpy 的ndarray 转换. . . . . . . . . . . . . . . . . . . . . . 9
2.1.3 张量的尺寸. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.4 图像转换为张量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2 随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 均匀(平均)分布随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 正态(高斯)分布随机数. . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3 单个张量的运算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 改变张量的数据类型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.2 访问张量中某一个区域的值. . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3.3 转置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.4 改变形状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.5 归约运算:求和、平均值、最大(小)值. . . . . . . . . . . . . . . . . 29
2.3.6 最大(小)值的位置索引. . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2.4 多个张量之间的运算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.1 基本运算:加、减、乘、除. . . . . . . . . . . . . . . . . . . . . . . . . 35
2.4.2 乘法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4.3 张量的连接. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.4.4 张量的堆叠. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4.5 张量的对比. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.5 占位符. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
2.6 Variable 对象. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3 梯度及梯度下降法52
3.1 梯度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 导数计算的链式法则. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.1 多个函数和的导数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.2 复合函数的导数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.2.3 单变量函数的驻点、极值点、鞍点. . . . . . . . . . . . . . . . . . . . . 55
3.2.4 多变量函数的驻点、极值点、鞍点. . . . . . . . . . . . . . . . . . . . . 57
3.2.5 函数的泰勒级数展开. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.2.6 梯度下降法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3 梯度下降法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.1 Adagrad 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.3.2 Momentum 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.3.3 NAG 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.3.4 RMSprop 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
3.3.5 具备动量的RMSprop 法. . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.3.6 Adadelta 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.3.7 Adam 法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3.8 Batch 梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.3.9 随机梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
3.3.10 mini-Batch 梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.4 参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4 回归分析88
4.1 线性回归分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.1 一元线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.1.2 保存和加载回归模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.1.3 多元线性回归. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.2 非线性回归分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5 全连接神经网络102
5.1 基本概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.2 计算步骤. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3 神经网络的矩阵表达. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.4 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.1 sigmoid 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.2 tanh 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4.3 ReLU 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.4.4 leaky relu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.4.5 elu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.4.6 crelu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.4.7 selu 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.4.8 relu6 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.9 softplus 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.4.10 softsign 激活函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.5 参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6 神经网络处理分类问题125
6.1 TFRecord 文件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
6.1.1 将ndarray 写入TFRecord 文件. . . . . . . . . . . . . . . . . . . . . . . . 125
6.1.2 从TFRecord 解析数据. . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
6.2 建立分类问题的数学模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.1 数据类别(标签) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
6.2.2 图像与TFRecrder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
6.2.3 建立模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.3 损失函数与训练模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.3.1 sigmoid 损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
6.3.2 softmax 损失函数. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.3 训练和评估模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.4 全连接神经网络的梯度反向传播. . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.4.1 数学原理及示例. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
6.4.2 梯度消失. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
7 一维离散卷积168
7.1 一维离散卷积的计算原理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.1.1 full 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.1.2 valid 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.1.3 same 卷积. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
7.1.4 full、same、valid 卷积的关系. . . . . . . . . . . . . . . . . . . . . . . . 171
7.2 一维卷积定理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
|
內容試閱:
|
前言
2016 年是人工智能进入大众视野的一年,从AlphaGo 到无人驾驶,从量子计算机到马斯克的太空计划,每一个焦点事件的背后都与人工智能有着很大的联系。2016 年至今,短短两年的时间,人工智能在与人类生活息息相关的医疗健康、金融、零售、娱乐等方面,发挥出了巨大的潜能。
从应用领域来看,人工智能可应用于机器视觉、指纹识别、人脸识别、视网膜识别、虹膜识别、掌纹识别、专家系统、自动规划、智能搜索、语音识别、自动程序设计、智能控制、机器翻译、智能对话机器人等领域。掀起这股人工智能热潮最重要的技术之一就是深度学习(Deep Learning)技术。
本书的整体架构
本书由14 章组成。第1 章和第2 章主要介绍TensorFlow 的安装和基础使用知识。第3 章主要介绍高等代数中的梯度和求解最优化问题的梯度下降法。第4 章介绍如何使用第1章~第3 章中讲的知识解决机器学习中比较简单的回归问题,便于读者学习后续章节中全连接神经网络和卷积神经网络的知识。第5 章和第6 章主要介绍全连接神经网络,包括全连接神经网络的计算步骤,如何利用全连接神经网络构建分类模型,以及全连接神经网络的梯度反向传播算法,等等。第7 章主要介绍一维离散卷积。第8 章主要介绍二维离散卷积。第9章主要介绍池化操作。第10 章主要介绍经典的卷积神经网络。第11 章~第13 章主要介绍卷积神经网络的梯度反向传播。第14 章介绍搭建神经网络的主要函数。本书中的每一章都会涉及大量的技术细节描述,便于读者掌握深度学习背后的基础知识及技术细节。
本书特色
众所周知,掌握机器学习理论的数学门槛比较高,而大量优秀的机器学习、深度学习开源框架在工程实现上帮助我们越过了这些数学细节,所以很多深度学习的相关书籍是以讲解项目为主要目标。本书试图从另一个角度引导入门者直接面对深度学习背后的数学基础,并进行了以下两点尝试:
(1) 不同书籍对同一个数学公式的符号表达可能不同,这给入门者带来了比较大的困扰。
本书试图通过简单的示例和图例的形式展示复杂抽象的数学公式背后的计算原理,通过示例更好地理解复杂抽象的公式。
(2) 作者采用手动计算和利用程序代码进行处理这两种方式讲解示例,两种方式的结果可以相互验证,帮助入门者更好地理解开源框架中的函数接口。
作者认为,想在人工智能路上走得更远,内功扎实是致胜关键。希望本书可以帮助入门者夯实基础。
本书面向的读者
本书的目标读者是想学习神经网络和深度学习的初学者。同时,本书的示例代码基于TensorFlow 的Python API,所以需要读者具备基本的Python 编程基础。
致谢
感谢我的父母、姐姐一家人一直以来对我生活和工作的支持。
感谢TensorFlow 开源库的所有贡献者。
感谢电子工业出版社博文视点的郑柳洁老师,在本书写作的过程中,不厌其烦地解答我遇到的各种问题,感谢她一直以来的支持和肯定。
我们期待您的反馈
限于篇幅,加之作者水平有限,书中疏漏和错误之处在所难免,恳请读者批评并指正,我们视读者的满意为己任,视读者的反馈意见为无价之宝,如果您发现了错误或者对书中内容有任何建议,都可以将其发送至电子邮箱wxcdzhangping@126.com,也可以登录博文视点官网,在本书页面上留言。本书中所有样例的代码,均可从博文视点官网下载。
作者:张平
|
|