本课程以大型互联网公司的实际案例来实战型的讲授围绕Hive数据仓库的整个建设过程,对细节内容进行逐一的讲解。课程首先介绍了Hive分布式数据库,区别于关系型数据库的差异和特性,另外通过一些Hive优化知识和真实案例分析,帮助同学们在掌握Hive开发的基础上,也具备Hive调优的一般方法和能力。接着通过数据仓库的概念、架构、建模、维度建模介绍,让大家熟悉数据仓库的一般建设思路,最后通过模拟真实的数据仓库搭建案例,贯穿整个课程所学习到的知识点,切实帮助大家具备从无到有建设Hive数据仓库的能力。
课程大纲:
第一课 Hive与Hadoop
(1) Hadoop和MapReduce
(2) Hadoop生态中的Hive
(3) Hive与关系型数据库的差异
(4) Hive安装
第二课 Hive的特性1
(1) 内部表与外部表
(2) insert与insert overwrite
(3) mapjoin
(4) group by/order by/partition by/sort by/cluster by
第三课 Hive的特性2
(1) 动态分区、静态分区
(2) streaming转换数据
(2) 一次读取多次插入
(3) 文件压缩格式
第四课 Hive的特性3
(1) UDF
(2) UDAF
(3) UDTF
第五课 Hive调优
(1) Hive优化通用思路
(2) 执行计划
(3) Hive调优常用方法
(3) Hive调优案例
第六课 Hive实战
(1) 某电商网站,按平台、版本、城市维度统计PV、UV
(2) 某电商网站,按平台、版本、城市多种维度组合,统计PV、UV
(3) 某电商网站,按平台、版本、城市多种维度组合,统计PV、UV、下单量、下单用户数
第七课 数据仓库概要
(1) 数据仓库起因
(2) 数据仓库发展
(3) 数据仓库定义
(4) 数据仓库与数据库的区别
第八课 数据仓库架构
(1) Inmon 与 Kimball
(2) 混合架构 与 DataVault架构
(3) 数仓架构选型的思考
(4) 数据仓库分层
第九课 数据仓库建模
(1) 什么是数据模型
(2) 为什么需要数据模型
(3) 如何创建数据模型
(4) 数仓建模的方法介绍
第十课 维度建模
(1) 维度建模基本概念
(2) 维度建模技术
(3) 维度建模过程
(4) 维度建模常见问题
第十一课 从0到1搭建Hive数仓(上)
(1) 根据业务特点和需求,选型数据仓库架构
(2) 基于数仓架构和业务处理综合考虑,设计合理的数据仓库分层
(3) 梳理整体的业务ER图,选择要建设的业务和数据范围
(4) 确立数仓总线架构,站在较高的抽象业务分析主题
第十二课 从0到1搭建Hive数仓(下)
(1) 按主题思想设计完整的数据仓库模型
(2) 根据主题优先级划分,分阶段设计数据流和数据模型
(3) 数据模型落地:Hive开发->测试>数据验证->上线
(4) 数仓建设过程中的数据质量和元数据管理
授课时间
本期课程将于02月24日开始。课程持续时间大约为14周。
授课对象
面向有一定的数据库理论和实践经验的同学,如了解过hadoop、Hive相关技术更佳
收获预期
通过系统而全面地学习Hive数据仓库建设知识,并对大量的案例讲解分析,知行合一,帮助学员掌握一般的Hive数据仓库建设方法和能力。
授课讲师
曾臻 具有近十年丰富的大型互联网公司的从业经历,专注于分布式数据仓库的架构和研发经验。
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!
本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!
课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。
您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006
课程现开始接受报名,报名方式
网上报名 请点击:企业Hive数据仓库的搭建之路
咨询Email :edu01@dataguru.cn,edu02@dataguru.cn
课程入门讨论咨询群:303917420(群内有培训公开课视频供大家免费观看)
咨询QQ: 2222010006 (上班时间在线)
技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!
|