dmz社区

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 9146|回复: 149

[Spark/Scala] 基于企业案例实战深度剖析Spark内核Spark SQL\Streaming\GraphX\SparkR\机器学习

  [复制链接]

该用户从未签到

32

主题

7921

帖子

1073

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1073

发表于 2017-11-26 01:19:53 | 显示全部楼层 |阅读模式

本站资源全部免费,回复即可查看下载地址!

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
适应人群:
有Java开发经验或Scala开发经验,较好了解Hadoop,Hive等使用经验。课程对于Spark初学者,Spark开发人员及Spark运维人员都具有比较大的学习价值。


课程目标:
深入理解Spark的运行原理
学会搭建Spark,hadoop集群环境
完全掌握Spark编程基础,了解Spark运维的基础知识
完成大数据入门,可逐渐转岗大数据相关职位。


课程环境:
准备环境:CentOS,eclipse或IntelliJ IDEA, Scala,JDK,Maven,sbt,Hadoop,hive,建议三台虚拟机。


课程简介:
本课程将会结合精典案例讲解Spark Job的整个生命周期,以及如何划分Stage,如何生成逻辑执行计划和物理执行计划。从Hash Shuffle到Sort Shuffle再到Tungsten Sort Shuffle详细分析Spark Shuffle机制的原理与演进,同时结合Yarn分析Spark的内存模型以及如何进行相关调优,其中两节课主要介绍Spark Streaming使用方式,分析通用流式处理系统的关键问题以及Spark Streaming对相应问题的解决方案,如窗口,乱序,Checkpoint等,并分析Spark Streaming与Storm和Kafka Stream各自的优缺点和适用场景。


最后将结合源码分析Spark SQL的原理,以及实现SQL引擎的一般方法,介绍如何进行Spark SQL性能优化。并结合大量真实案例,分析如何解决数据倾斜问题从而提高应用性能。


下载地址:
游客,如果您要查看本帖隐藏内容请回复


温馨提示:
1、本站所有内容均为互联网收集或网友分享或网络购买,本站不破解、不翻录任何视频!
2、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意!
3、本站资源仅供本站会员学习参考,不得传播及用于其他用途,学习完后请在24小时内自行删除.
4、本站资源质量虽均经精心审查,但也难保万无一失,若发现资源有问题影响学习请一定及时点此进行问题反馈,我们会第一时间改正!
5、若发现链接失效了请联系管理员,管理员会在2小时内修复
6、如果有任何疑问,请加客服QQ:1300822626 2小时内回复你!
回复

使用道具 举报

该用户从未签到

15

主题

7875

帖子

966

积分

荣誉会员

积分
966

发表于 2018-6-19 13:17:22 | 显示全部楼层
不错不错,楼主您辛苦了。。。

该用户从未签到

29

主题

8020

帖子

1015

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1015

发表于 2018-7-12 23:12:08 | 显示全部楼层
好好 学习了 确实不错

该用户从未签到

34

主题

7843

帖子

1025

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
1025

发表于 2018-7-25 12:50:07 | 显示全部楼层
学习了,谢谢分享、、、

该用户从未签到

37

主题

7807

帖子

994

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
994

发表于 2018-7-28 04:56:06 | 显示全部楼层
有竞争才有进步嘛

该用户从未签到

32

主题

7869

帖子

943

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
943

发表于 2018-7-31 20:07:04 | 显示全部楼层
小手一抖,钱钱到手!

该用户从未签到

0

主题

26

帖子

118

积分

心领神会

Rank: 3Rank: 3

积分
118

发表于 2018-9-14 20:38:11 | 显示全部楼层
积极学习
回复

使用道具 举报

该用户从未签到

29

主题

7959

帖子

979

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
979

发表于 2018-9-15 08:46:39 | 显示全部楼层
正需要,支持楼主大人了!

该用户从未签到

28

主题

7799

帖子

994

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
994

发表于 2018-9-18 17:21:37 | 显示全部楼层
没看完~~~~~~ 先顶,好同志

该用户从未签到

28

主题

7799

帖子

994

积分

终身会员[A]

Rank: 7Rank: 7Rank: 7

积分
994

发表于 2018-9-21 06:41:04 | 显示全部楼层
有道理。。。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|小黑屋|本站代理|dmz社区

GMT+8, 2024-3-29 07:39 , Processed in 0.104874 second(s), 36 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表