乐鱼电竞





  • 教育行业A股IPO第一股(股票代码 003032)

    全国咨询/投诉热线:400-618-4000

    大数据Hive+Spark离线数仓工业项目实战

    更新时间:2023年03月14日16时26分 来源:乐鱼电竞 浏览次数:

      课程简介:

      通过大数据技术架构,解决工业物联网制造行业的数据存储和分析、可视化、个性化推荐问题。一站制造项目主要基于Hive数仓分层来存储各个业务指标数据,基于sparkSQL做数据分析。核心业务涉及运营商、呼叫中心、工单、油站、仓储物料。

      讲解方式:

      真项目真实站。让有经验的工程师也能有所收获

      本视频主要面向的群体是:

      * 有Python基础

      * 有Hadoop生态体系基础

      * 有Spark基础

      * 想要更加深入学习大数据内存计算相关知识、并掌握实战项目开发

      课程亮点:

      一站制造项目基石与前瞻、数据仓库建模方法 离线数仓分层、Sqoop数据存采集、数仓ODS&DWD层建设、数仓DWS维度层建设、数仓DWB指标层建设、数仓ST主题层建设、一站制造任务调度、Prometheus概述 实现linux服务器监控 实现MySQL服务监控 实现Flink服务监控 Grafana监控看板。一站制造:运营ciss系统、oa系统、erp系统一体化智能制造大数据分析系统

      课程内容:

      1.使用主流的Hive+Spark构建离线数仓

      2.基于完整的工业业务背景实现的离线和实时大数据业务丰富地地图展示可视化开发

      3.基于Airflow完成大数据调度任务

      4.学会使用Spark SQL处理复杂业务完整的离线采集 + 实时采集方案

      5.掌握如何使用调度平台调度T+1批处理任务Spark离线任务和实时任务整合,统一由YARN做资源管理

      Slogan:

      通过项目实战强化Spark技术构建企业级大数据平台能力

      Hive+Spark离线数仓工业项目实战(滑动查看)

      程目录  

      大数据Hive+Spark离线数仓工业项目实战(滑动查看)

      第1节 - 知识点01:课程目标

      第2节 - 知识点02:项目背景

      第3节 - 知识点03:项目需求

      第4节 - 知识点04:业务流程

      第5节 - 知识点05:技术选型

      第6节 - 知识点06:Docker的介绍

      第7节 - 知识点07:Docker的网络

      第8节 - 知识点08:Docker的使用

      第9节 - 知识点09:Oracle的介绍

      第10节 - 知识点10:集群软件规划

      第11节 - 知识点11:项目环境导入

      第12节 - 知识点12:项目环境配置

      第13节 - 知识点13:项目环境测试:Oracle

      第14节 - 知识点14:项目环境测试:MySQL

      第15节 - 知识点15:项目环境测试:Hadoop

      第16节 - 知识点16:项目环境测试:Hive

      第17节 - 知识点17:项目环境测试:Spark

      第18节 - 知识点18:项目环境测试:Sqoop

      第19节 - 知识点01:课程回顾

      第20节 - 知识点02:课程目标

      第21节 - 知识点03:数仓设计回顾

      第22节 - 知识点04:分层整体设计

      第23节 - 知识点05:分层具体功能

      第24节 - 知识点06:业务系统结构

      第25节 - 知识点07:业务系统数据

      第26节 - 知识点08:全量与增量分析

      第27节 - 知识点09:Sqoop命令回顾

      第28节 - 知识点10:YARN资源调度及配置

      第29节 - 知识点11:MR的Uber模式

      第30节 - 知识点12:Sqoop采集数据格式问题

      第31节 - 知识点13:问题解决:Avro格式

      第32节 - 知识点14:Sqoop增量采集方案回顾

      第33节 - 知识点15:脚本开发思路

      第34节 - 知识点16:全量及增量采集脚本运行

      第35节 - 知识点17:Schema备份及上传

      第36节 - 知识点18:Python脚本

      第37节 - 知识点01:课程 回顾

      第38节 - 知识点02:课程 目标

      第39节 - 知识点03:数仓分层回顾

      第40节 - 知识点04:Hive建表语法

      第41节 - 知识点05:Avro建表语法

      第42节 - 知识点06:ODS层构建:需求分析

      第43节 - 知识点07:ODS层构建:创建项目环境

      第44节 - 知识点08:ODS层构建:代码导入

      第45节 - 知识点09:ODS层构建:代码结构及修改

      第46节 - 知识点10:ODS层构建:连接代码及测试

      第47节 - 知识点11:ODS层构建:建库代码及测试

      第48节 - 知识点12:ODS层构建:建表代码及测试

      第49节 - 知识点13:ODS层构建:申明分区代码及测试

      第50节 - 知识点14:ODS层与DWD层区别

      第51节 - 知识点15:DWD层构建:需求分析

      第52节 - 知识点16:DWD层构建:建库实现测试

      第53节 - 知识点17:DWD层构建:建表实现测试

      第54节 - 知识点18:DWD层构建:数据抽取分析&知识点19:DWD层构建:数据抽取测试

      第55节 - 知识点20:整体代码重难点回顾

      第56节 - 知识点01: 课程回顾

      第57节 - 知识点02: 课程目标

      第58节 - 知识点03:维度建模回顾:建模流程

      第59节 - 知识点04:维度建模回顾:维度设计

      第60节 - 知识点05:维度建模回顾:维度模型

      第61节 - 知识点06:一站制造业务主题划分

      第62节 - 知识点07:一站制造业务维度设计

      第63节 - 知识点08:一站制造业务主题维度矩阵

      第64节 - 知识点09:行政地区维度设计

      第65节 - 知识点10:行政地区维度构建

      第66节 - 知识点11:日期时间维度设计

      第67节 - 知识点12:日期时间维度构建

      第68节 - 知识点13:服务网点维度设计

      第69节 - 知识点14:服务网点维度构建

      第70节 - 知识点15:油站维度设计

      第71节 - 知识点16:油站维度构建

      第72节 - 知识点17:其他维度:组织机构

      第73节 - 知识点18:其他维度:仓库、物流

      第74节 - 知识点 01:课程回顾

      第75节 - 知识点 02:课程目标

      第76节 - 知识点03:分层回顾

      第77节 - 知识点04:DWB层的设计

      第78节 - 知识点05:事实主题指标划分

      第79节 - 知识点06:呼叫中心事实指标需求分析

      第80节 - 知识点07:呼叫中心事实指标构建

      第81节 - 知识点08:油站事实指标需求分析

      第82节 - 知识点09:油站事实指标构建

      第83节 - 知识点10:工单事实指标需求分析

      第84节 - 知识点11:工单事实指标构建

      第85节 - 知识点12:安装事实指标需求分析

      第86节 - 知识点13:安装事实指标构建

      第87节 - 知识点14:维修事实指标需求分析

      第88节 - 知识点15:维修事实指标构建

      第89节 - 知识点16:客户回访事实指标需求分析

      第90节 - 知识点17:客户回访事实指标

      第91节 - 知识点18:费用事实指标分析及实现(上)

      第92节 - 知识点18:费用事实指标分析及实现(下)

      第93节 - 知识点19:差旅事实指标分析及实现

      第94节 - 知识点20:网点物料事实指标分析及实现

      第95节 - 附录一:在线教育项目回顾

      第96节 - 附录二:一站制造项目回顾

      第97节 - 知识点01:课程回顾

      第98节 - 知识点02:课程目标

      第99节 - 知识点03:数仓分层回顾

      第100节 - 知识点04:ST层的设计

      第101节 - 知识点05:服务域:工单主题分析

      第102节 - 知识点06:服务域:工单主题实现

      第103节 - 知识点07:服务域:油站主题分析

      第104节 - 知识点08:服务域:油站主题实现

      第105节 - 知识点09:服务域:安装主题分析实现

      第106节 - 知识点10:服务域:维修主题分析实现

      第107节 - 知识点11:服务域:回访主题分析

      第108节 - 知识点12:服务域:回访主题实现

      第109节 - 知识点13:服务域:派单主题分析实现

      第110节 - 知识点14:服务域:费用主题分析

      第111节 - 知识点15:服务域:费用主题实现

      第112节 - 知识点16:物料域:主题模型

      第113节 - 知识点17:DM层:设计及运营部门主题

      第114节 - 知识点01:课程目标

      第115节 - 知识点02:任务流调度回顾

      第116节 - 知识点03:AirFlow的介绍

      第117节 - 知识点04:AirFlow的部署启动

      第118节 - 知识点05:AirFlow的架构组件

      第119节 - 知识点06:AirFlow的开发规则

      第120节 - 知识点07:Shell调度测试

      第121节 - 知识点08:依赖调度测试

      第122节 - 知识点09:Python调度测试

      第123节 - 知识点10:Oracle与MySQL调度方法

      第124节 - 知识点11:大数据组件调度方法

      第125节 - 知识点12:定时调度使用

      第126节 - 知识点13:Airflow常用命令

      第127节 - 知识点14:邮件告警使用

      第128节 - 知识点15:一站制造中的调度

      第129节 - 知识点16:回顾:Spark核心概念(上)

      第130节 - 知识点16:回顾:Spark核心概念(下)

      第131节 - 知识点01:课程目标

      第132节 - 知识点02:监控需求及常见工具

      第133节 - 知识点03:Prometheus的介绍

      第134节 - 知识点04:Prometheus的架构

      第135节 - 知识点05:Prometheus的部署

      第136节 - 知识点06:node_exporter插件

      第137节 - 知识点07:mysqld_exportor插件

      第138节 - 知识点08:可视化工具Grafana介绍

      第139节 - 知识点09:可视化工具Grafana部署

      第140节 - 知识点10:Grafana集成Prometheus

      第141节 - 知识点11:Grafana集成MySQL监控

      第142节 - 知识点12:项目总结:背景需求

      第143节 - 知识点13:项目总结:数据来源

      第144节 - 知识点14:项目总结:主题划分

      第145节 - 知识点15:项目总结:技术架构

      第146节 - 知识点16:项目总结:数仓设计

      第147节 - 知识点17:项目总结:优化及新特性

      第148节 - 知识点18:项目总结:问题

      第149节 - 知识点19:项目总结:数据规模

      第150节 - 知识点20:项目总结:简历模板

      未完待续,黑马老师996更新中......


    掌握行业热门技术

    是每个程序员都应该重视的事情

    Hive+Spark如此重要,你还没学?

    观看全集视频

    - 完整配套资料领取方式 -

    (视频+讲义+源码+笔记+资料)

    黑马程序员视频库

    搜索《大数据Hive+Spark离线数仓工业项目实战

    0 分享到:
    和我们在线交谈!
    【网站地图】【sitemap】