新書推薦：
《
律令国家与隋唐文明
》
售價：HK$
74.8
《
紫云村（史杰鹏笔下大唐小吏的生死逃亡，新历史主义小说见微之作，附赠5张与小说内容高度契合的宣纸彩插）
》
售價：HK$
101.2
《
现代吴语的研究（中华现代学术名著3）
》
售價：HK$
66.7
《
天下的当代性：世界秩序的实践与想象（新版）
》
售價：HK$
79.4
《
德国天才4：断裂与承续
》
售價：HK$
112.7
《
妈妈的情绪，决定孩子的未来
》
售價：HK$
43.7
《
推拿纲目
》
售價：HK$
414.0
《
精致考古--山东大学实验室考古项目论文集（一）
》
售價：HK$
250.7
|
| 編輯推薦： |
|
1. UCloud季昕华、Databricks连城，阿里胡熠，棒米科技武泽胜，腾讯肖磊\靳志辉\徐羽等联袂推荐！2. 腾讯专家首次分享Spark实践，作者均为腾讯一线员工，拥有丰富的实战经验3. 基于真实数据，用案例分析全面解读大数据应用设计4. 腾讯杰出研发者的Spark实践，揭秘广告和推荐系统核心技术
|
| 內容簡介： |
|
本书是Spark实战指南，全书共分8章。前4章介绍Spark的部署、工作机制和内核，后4章分别通过实战项目介绍Spark SQL、Spark Streaming、Spark GraphX和Spark MLib功能模块。此外，本书详细介绍了常见的实战问题，比如大数据环境下的配置设置、程序调优等。本书附带的一键安装脚本，更能为初学者提供很大帮助。
|
| 關於作者： |
|
陈欢，腾讯杰出程序员，15年编码经验，曾任职网络安全、互联网金融等部门，亲手从零建设了财付通业务的Spark集群，并使之同时支持SQL、实时计算、机器学习等多种数据计算场景。他目前就职于腾讯社交与效果广告部，从事大数据分析工作。林世飞，腾讯杰出研究员，2005年加入腾讯，先后在无线产品、安全中心、搜索平台、开放平台、社交与效果广告部等部门从事开发和团队管理工作。他对网络安全、搜索引擎、数据挖掘、机器学习有一定了解，热衷知识传播和分享，曾获腾讯学院2009年年度杰出讲师。目前，他就职于社交与效果广告部，负责广告系统相关的研发工作。
|
| 目錄：
|
第1章 Spark与大数据1
1.1 大数据的发展及现状1
1.1.1 大数据时代所面临的问题1
1.1.2 谷歌的大数据解决方案2
1.1.3 Hadoop生态系统3
1.2 Spark应时而生4
1.2.1 Spark的起源4
1.2.2 Spark的特点5
1.2.3 Spark的未来发展6
第2章 Spark基础8
2.1 Spark本地单机模式体验8
2.1.1 安装虚拟机8
2.1.2 安装JDK19
2.1.3 下载Spark预编译包21
2.1.4 本地体验Spark22
2.2 高可用Spark分布式集群部署25
2.2.1 集群总览26
2.2.2 集群机器的型号选择28
2.2.3 初始化集群机器环境29
2.2.4 部署ZooKeeper集群33
2.2.5 编译Spark35
2.2.6 部署Spark Standalone集群37
2.2.7 高可用Hadoop集群40
2.2.8 让Spark运行在YARN上40
2.2.9 一键部署高可用Hadoop Spark集群42
2.3 Spark编程指南43
2.3.1 交互式编程43
2.3.2 RDD创建44
2.3.3 RDD操作47
2.3.4 使用其他语言开发Spark程序54
2.4 打包和提交54
2.4.1 编译、链接、打包54
2.4.2 提交56
第3章 Spark工作机制58
3.1 调度管理58
3.1.1 集群概述及名词解释58
3.1.2 Spark程序之间的调度60
3.1.3 Spark程序内部的调度63
3.2 内存管理65
3.2.1 RDD持久化65
3.2.2 共享变量66
3.3 容错机制67
3.3.1 容错体系概述67
3.3.2 Master节点失效68
3.3.3 Slave节点失效69
3.4 监控管理69
3.4.1 Web界面69
3.4.2 REST API72
3.4.3 Metrics指标体系73
3.4.4 其他监控工具73
3.5 Spark程序配置管理73
3.5.1 Spark程序配置加载过程74
3.5.2 环境变量配置74
3.5.3 Spark属性项配置74
3.5.4 查看当前的配置76
3.5.5 配置Spark日志76
第4章 Spark内核讲解77
4.1 Spark核心数据结构RDD77
4.1.1 RDD的定义78
4.1.2 RDD的Transformation80
4.1.3 RDD的Action82
4.1.4 Shuffle83
4.2 SparkContext84
4.2.1 SparkConf配置84
4.2.2 初始化过程85
4.2.3 其他功能接口87
4.3 DAG调度87
4.3.1 DAGScheduler87
4.3.2 TaskScheduler90
第5章 Spark SQL与数据仓库92
5.1 Spark SQL基础93
5.1.1 分布式SQL引擎93
5.1.2 支持的SQL语法97
5.1.3 支持的数据类型98
5.1.4 DataFrame99
5.1.5 DataFrame数据源103
5.1.6 性能调优104
5.2 Spark SQL原理和运行机制104
5.2.1 Spark SQL整体架构105
5.2.2 Catalyst执行优化器105
5.3 应用场景：基于淘宝数据建立电商数据仓库110
5.3.1 电商数据仓库场景111
5.3.2 数据准备和表设计111
5.3.3 用Spark SQL来完成日常运营数据分析115
5.3.4 Spark SQL在大规模数据下的性能表现120
第6章 Spark流式计算122
6.1 Spark Streaming基础知识123
6.1.1 入门简单示例123
6.1.2 基本概念124
6.1.3 高级操作129
6.2 深入理解Spark Streaming132
6.2.1 DStream的两类操作132
6.2.2 容错处理134
6.2.3 性能调优136
6.2.4 与Storm的对比137
6.3 应用场景：一个类似百度统计的流式实时系统139
6.3.1 Web log实时统计场景139
6.3.2 日志实时采集140
6.3.3 流式分析系统实现140
第7章 Spark图计算149
7.1 什么是图计算149
7.1.1 图的基本概念149
7.1.2 图计算的应用150
7.2 Spark GraphX简介151
7.2.1 GraphX实现151
7.2.2 GraphX常用API介绍152
7.3 应用场景：基于新浪微博数据的社交网络分析153
7.3.1 社交网络分析的主要应用153
7.3.2 社区发现算法简介154
7.3.3 用GraphX实现Louvain算法156
7.3.4 小试牛刀：谁是你的闺蜜162
7.3.5 真实的场景：新浪微博关系分析164
第8章 Spark MLlib169
8.1 机器学习简介169
8.1.1 什么是机器学习169
8.1.2 机器学习示例171
8.1.3 机器学习的基本方法172
8.1.4 机器学习的常见技巧173
8.1.5 机器学习参考资料174
8.2 MLlib库简介174
8.2.1 基础数据类型174
8.2.2 主要的库175
8.2.3 附带的示例程序176
8.3 应用场景：搜索广告点击率预估系统178
8.3.1 应用场景178
8.3.2 逻辑回归179
8.3.3 学习算法181
8.3.4 模型评估184
8.3.5 数据准备186
8.3.6 模型训练187
8.3.7 模型调优195
附录 Scala语言参考197
|
|
購物車/收銀台(0) | 在線留言板
| 付款方式
| 運費計算
| 聯絡我們
| 幫助中心 |
加入書簽
HOME
新書上架
