《从0到1搭建企业级大数据平台》

2018-1-3 16:49| 发布者: 岸岸| 查看: 83980| 评论: 0|原作者: 岸岸

快速报名入口

本课程通过一个互联网公司的真实案例，详细传授如何从无到有构建大数据平台，包含了大数据计算平台的基本组件，从底层存储，数据采集，调度系统，adhoc查询，展示系统，数据安全，ETL开发，批量以及实时数据等部分来阐述大数据平台的核心模块。

这是最具实践性的课程，本课程的内容可以直接应用到希望构建大数据平台的企业中，所教授的如上每一个知识点，都是实用的内容，大数据平台构建的困难在这里均能得到解答。同时本课程还会介绍业内常用的工具的使用，以及优缺点。让大家对大数据平台建设的过程有更深入的了解。

不玩虚的，只有干货，实实在在培养大数据平台架构师，就等你来！

课程大纲：
第一课: 数据平台整体介绍
(1) 数据平台整体介绍
(2) 各种异构数据清洗加载
(3) 任务调度系统设计
(4) 业务快速迭代过程中，数据模型如何构建
(5) 大数据平台基本组件以及技术选型

第二课：环境准备
(1) Hadoop安装配置管理
(2) spark安装配置管理
(3) sqoop，flume安装配置
(4) 数据压缩存储格式，几种数据存储格式对比

第三课：数据同步收集（一）
(1) 如何从rdbms同步数据到hdfs
(2) 自己开发ETL 数据抽取工具
(2) sqoop的使用
(3) 后台日志，nginx日志等数据的清洗规范化，介绍 hadoop streaming，mapreduce，
使用spark/Scala模式匹配等方式清洗日志
(4) 特殊格式日志如何清洗

第四课: 数据同步收集（二）
(1) 异地跨网段数据同步清洗方案
(2) 超大数据量日志同步清洗，并保证数据的准确性
(3) 同步数据小文件过多如何处理
(4) 历史数据归档处理，冷热数据存储

第五课：数据同步收集（三）
(1) 准小时级别数据更新处理
(2) 使用spark streaming，kafka 等实时处理后台，nginx 日志
(3) mySQL binlog实时日志处理

第六课：任务调度系统设计
(1) 定时任务设计以及处理
(2) 触发，依赖模式的任务调度系统设计
(3) 调度系统中如何做到ETL任务依赖关系自动解析
(4) 手把手教你实现一个任务调度系统

第七课：调度系统选择
(1) oozie，azkaban，airflow等调度系统介绍
(2) airbnb airflow基本架构设计
(3) Airflow 任务调度系统配置和使用
(4) Airflow 高级使用
(5) Airflow 二次开发，自定义某些功能模块

第八课： ETL任务系统设计
(1) 数据抽取，加载工具的实现
(2) ETL任务模板的实现
(3) ETL任务元数据设计
(4) 企业级数据仓库模型设计：维度建模，分层，宽表设计等

第九课：adhoc查询以及查询平台
(1) presto，impala，spark-sql 的使用
(2) hue搭建以及使用
(3) zeppelin搭建以及使用，zeppelin中调试spark，pyspark等
(5) 更快的查询，毫秒级的响应速度之elasticsearch

第十课：数据罗盘
(1) 数据罗盘常图表样式
(2) airbnb开发的Superset 安装以及使用
(3) Superset架构介绍以及使用案例
(4) Superset简单定制化开发

第十一课：数据安全
(1) 从hdfs层面来空值数据的访问权限
(2) 如何保障敏感表，敏感字段的安全性
(3) 应用层面，查询服务层来保障安全

第十二课：大数据平台监控
(1) etl任务监控，数据质量监控
(2) etl作业日志，yarn日志解析以及监控
(3) 数据量增长，数据量未来发展准确预估
(4) 借助对象存储，把冷热数据分离处理

授课时间：
课程预计2018年04月16日开课，预计课程持续时间为14周

授课对象：
对大数据开发感兴趣的同学，或者有意愿转为大数据开发的rd。

收获预期：
让学员对大数据平台的基本功能组件，数据处理等有一个全方位的了解，能够搭建大数据处理平台，还可以做下数据开发处理，设计ETL任务。

讲师介绍：
萧风老师，某大型互联网公司技术专家，既混迹过创业型的互联网公司，也在BAT、TMD等互联网公司有过丰富的工作经验

讲师介绍：

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！

本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式：
1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、结业测验：通过测验，完成学业。

您是否对此课程还有疑问，那么请点击进入 FAQ，您的问题将基本得到解答

全国统一咨询热线 4008-010-006

课程现开始接受报名，报名方式
网上报名请点击：Spark大数据平台应用实战

咨询Email ：edu01@dataguru.cn，edu02@dataguru.cn
课程入门讨论咨询群：303917420（群内有培训公开课视频供大家免费观看）

咨询QQ： 2222010006 (上班时间在线）

技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！
打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！

快速报名入口

普班报名：【普班】从0到1搭建企业级大数据平台（第二期） (暂未招生)

分享到新浪微博收藏邀请

上一篇：【百万年薪系列】视觉的盛宴：深度玩转人脸识别下一篇：萧风讲师简介

《从0到1搭建企业级大数据平台》

即将开课

热门文章