乐鱼电竞

    • 教育行业A股IPO第一股（股票代码 003032）

    全国咨询/投诉热线：400-618-4000

    大数据spark3.2从基础到精通

    更新时间:2023年03月14日17时11分 来源:乐鱼电竞 浏览次数:

    　　课程介绍：

    　　Spark是大数据体系的明星产品，是一款高性能的分布式内存迭代计算框架，可以处理海量规模的数据。本课程基于Python语言学习Spark3.2开发，课程的讲解注重理论联系实际，方便快捷，深入浅出，让初学者也能快速掌握。让有经验的工程师也能有所收获。学习完成后可以胜任高级级别的大数据相关岗位。

    　　课程亮点：

    　　1. 方便、快捷掌握Spark必备知识，大大缩短Spark阶段学习时间。

    　　2. 基于Python语言!

    　　课程内容：

    　　课程涵盖了Spark的主要知识体系,如环境部署SparkCoreSparkSQL等内容

    　　本视频主要面向的群体是：

    　　* 有Python基础

    　　* 有Hadoop生态体系基础

    　　* 想要更加深入学习分布式计算相关知识

      课程目录  

    　　大数据spark3.2从基础到精通(滑动查看)

    　　第1节 - PySpark导学

    　　第2节 - PySpark课程解读

    　　第3节 - Spark基础入门-第一章-1.1-Spark简单介绍

    　　第4节 - Spark基础入门-第一章-1.2-Spark风雨十年

    　　第5节 - Spark基础入门-第一章-1.3-Spark和Hadoop的对比

    　　第6节 - Spark基础入门-第一章-1.4-Spark四大特点

    　　第7节 - Spark基础入门-第一章-1.5-Spark框架�？�

    　　第8节 - Spark基础入门-第一章-1.6-Spark运行模式

    　　第9节 - Spark基础入门-第一章-1.7-Spark的架构角色

    　　第10节 - Spark基础入门-第一章-总结

    　　第11节 - Spark基础入门-第二章-2.1-课程服务器环境

    　　第12节 - Spark基础入门-第二章-2.2-Local模式基本原理

    　　第13节 - Spark基础入门-第二章-2.3-在Linux上服务器上安装Anaconda

    　　第14节 - Spark基础入门-第二章-2.4-Spark Local模式部署

    　　第15节 - Spark基础入门-第三章-3.1-StandAlone的运行原理

    　　第16节 - Spark基础入门-第三章-3.2-StandAlone部署

    　　第17节 - Spark基础入门-第三章-3.3-StandAlone程序测试

    　　第18节 - Spark基础入门-第三章-3.4-Spark程序运行层次划分

    　　第19节 - Spark基础入门-第三章-3.5-总结

    　　第20节 - Spark基础入门-第四章-4.1-StandAlone HA模式的运行原理

    　　第21节 - Spark基础入门-第四章-4.2-StandAlone 部署和测试

    　　第22节 - Spark基础入门-第四章-4.3-总结

    　　第23节 - Spark基础入门-第五章-5.1-Spark On YARN的运行原理

    　　第24节 - Spark基础入门-第五章-5.2-Spark On YARN 部署和测试

    　　第25节 - Spark基础入门-第五章-5.3-两种部署模式的区别

    　　第26节 - Spark基础入门-第五章-5.4-两种部署模式的演示和总结

    　　第27节 - Spark基础入门-第五章-5.5-两种模式任务提交流程

    　　第28节 - Spark基础入门-第五章-5.6-总结

    　　第29节 - Spark基础入门-第六章-6.1-框架和类库

    　　第30节 - Spark基础入门-第六章-6.2-PySpark类库介绍

    　　第31节 - Spark基础入门-第六章-6.3-PySpark安装

    　　第32节 - Spark基础入门-第六章-6.4-总结

    　　第33节 - Spark基础入门-第七章-7.1-本机配置Python环境

    　　第34节 - Spark基础入门-第七章-7.2-PyCharm本地和远程解释器配置

    　　第35节 - Spark基础入门-第七章-7.3-编程入口SparkContext对象以及WordCount演示

    　　第36节 - Spark基础入门-第七章-7.4-WordCount代码流程解析

    　　第37节 - Spark基础入门-第七章-7.5-提交WordCount到Linux集群运行

    　　第38节 - Spark基础入门-第七章-7.6-总结

    　　第39节 - Spark基础入门-第八章-8.1-Spark运行角色回顾

    　　第40节 - Spark基础入门-第八章-8.2-分布式代码执行分析

    　　第41节 - Spark基础入门-第八章-8.3-Python On Spark执行原理

    　　第42节 - Spark基础入门-第八章-总结

    　　第43节 - SparkCore-第一章-1.1-什么是RDD

    　　第44节 - SparkCore-第一章-1.2-RDD五大特性-特性1

    　　第45节 - SparkCore-第一章-1.3-RDD五大特性-特性2

    　　第46节 - SparkCore-第一章-1.4-RDD的五大特性-特性3

    　　第47节 - SparkCore-第一章-1.5-RDD的五大特性-特性4

    　　第48节 - SparkCore-第一章-1.6-RDD的五大特性-特性5.mp4

    　　第49节 - SparkCore-第一章-1.7-WordCount结合RDD特性进行执行分析

    　　第50节 - SparkCore-第一章-1.8-总结

    　　第51节 - SparkCore-第二章-1-RDD的创建-1

    　　第52节 - SparkCore-第二章-10-RDD算子-filter

    　　第53节 - SparkCore-第二章-11-RDD算子-distinct

    　　第54节 - SparkCore-第二章-12-RDD算子-union

    　　第55节 - SparkCore-第二章-13-RDD算子-join

    　　第56节 - SparkCore-第二章-14-RDD算子-intersection

    　　第57节 - SparkCore-第二章-15-RDD算子-glom

    　　第58节 - SparkCore-第二章-16-RDD算子-groupByKey

    　　第59节 - SparkCore-第二章-17-RDD算子-sortBy

    　　第60节 - SparkCore-第二章-18-RDD算子-sortByKey

    　　第61节 - SparkCore-第二章-19-RDD算子-案例

    　　第62节 - SparkCore-第二章-2-RDD的创建-2

    　　第63节 - SparkCore-第二章-20-RDD算子-案例-提交到YARN执行

    　　第64节 - SparkCore-第二章-21-RDD算子-countByKey

    　　第65节 - SparkCore-第二章-22-RDD算子-reduce

    　　第66节 - SparkCore-第二章-23-RDD算子-fold

    　　第67节 - SparkCore-第二章-24-RDD算子-take-first-count-top

    　　第68节 - SparkCore-第二章-25-RDD算子-takeSample

    　　第69节 - SparkCore-第二章-26-RDD算子-takeOrdered

    　　第70节 - SparkCore-第二章-27-RDD算子-foreach

    　　第71节 - SparkCore-第二章-28-RDD算子-saveAsTextFile

    　　第72节 - SparkCore-第二章-29-RDD算子-mapPartitions

    　　第73节 - SparkCore-第二章-3-RDD算子概念和分类

    　　第74节 - SparkCore-第二章-30-RDD算子-foreachPartition

    　　第75节 - SparkCore-第二章-31-RDD算子-partitionBy

    　　第76节 - SparkCore-第二章-32-RDD算子-repartition-coalesce

    　　第77节 - SparkCore-第二章-33-RDD算子-面试题-groupByKey和reduceByKey的区别

    　　第78节 - SparkCore-第二章-34-总结

    　　第79节 - SparkCore-第二章-4-转换算子-map

    　　第80节 - SparkCore-第二章-5-转换算子-flatMap

    　　第81节 - SparkCore-第二章-6-转换算子-reduceByKey

    　　第82节 - SparkCore-第二章-7-RDD算子-mapValues

    　　第83节 - SparkCore-第二章-8-WordCount案例回顾

    　　第84节 - SparkCore-第二章-9-RDD算子-groupBy

    　　第85节 - SparkCore-第三章-1-RDD的数据是过程数据概念

    　　第86节 - SparkCore-第三章-2-RDD的缓存

    　　第87节 - SparkCore-第三章-3-RDD的CheckPoint

    　　第88节 - SparkCore-第三章-4-总结

    　　第89节 - SparkCore-第四章-1-jieba库入门使用

    　　第90节 - SparkCore-第四章-2-案例需求1开发

    　　第91节 - SparkCore-第四章-3-案例需求2开发

    　　第92节 - SparkCore-第四章-4-案例需求3开发

    　　第93节 - SparkCore-第四章-5-提交代码到YARN集群运行

    　　第94节 - SparkCore-第四章-6-作业和总结

    　　第95节 - SparkCore-第五章-1-广播变量

    　　第96节 - SparkCore-第五章-2-累加器

    　　第97节 - SparkCore-第五章-3-广播变量累加器综合案例

    　　第98节 - SparkCore-第五章-4-总结

    　　第99节 - SparkCore-第六章-1-DAG

    　　第100节 - SparkCore-第六章-2-宽窄依赖和阶段划分

    　　第101节 - SparkCore-第六章-3-内存迭代计算

    　　第102节 - SparkCore-第六章-4-Spark并行度

    　　第103节 - SparkCore-第六章-5-Spark任务调度

    　　第104节 - SparkCore-第六章-6-Spark运行概念名词解释和层级梳理

    　　第105节 - SparkCore-第六章-7-总结

    　　第106节 - SparkSQL-第一章-SparkSQL基础入门

    　　第107节 - SparkSQL-第二章-1-SparkSQL和Hive的异同以及SparkSQL的数据抽象

    　　第108节 - SparkSQL-第二章-2-SparkSession执行环境入口构建和SparkSQL HelloWorld

    　　第109节 - SparkSQL-第二章-3-总结

    　　第110节 - SparkSQL-第三章-1-DataFrame对象的构成

    　　第111节 - SparkSQL-第三章-10-DSL风格入门API

    　　第112节 - SparkSQL-第三章-11-SQL风格入门API

    　　第113节 - SparkSQL-第三章-12-WordCount案例

    　　第114节 - SparkSQL-第三章-13-电影评分案例编程

    　　第115节 - SparkSQL-第三章-14-SparkSQL Shuffle阶段分区数参数设定

    　　第116节 - SparkSQL-第三章-15-异常数据处理API

    　　第117节 - SparkSQL-第三章-16-DataFrame数据写出

    　　第118节 - SparkSQL-第三章-17-DataFrame使用JDBC协议读写数据库(MySQL)

    　　第119节 - SparkSQL-第三章-18-总结

    　　第120节 - SparkSQL-第三章-2-DataFrame创建-1

    　　第121节 - SparkSQL-第三章-3-DataFrame创建-2

    　　第122节 - SparkSQL-第三章-4-DataFrame创建-3

    　　第123节 - SparkSQL-第三章-5-DataFrame创建-4-基于Pandas的DF转换为SparkSQL的DF对象

    　　第124节 - SparkSQL-第三章-6-标准API读取text数据源构建DataFrame

    　　第125节 - SparkSQL-第三章-7-标准API读取json构建DataFrame

    　　第126节 - SparkSQL-第三章-8-标准API读取jcsv构建DataFrame

    　　第127节 - SparkSQL-第三章-9-标准API读取jparquet构建DataFrame

    　　第128节 - SparkSQL-第四章-1-UDF创建演示

    　　第129节 - SparkSQL-第四章-2-注册返回值是数组类型的UDF

    　　第130节 - SparkSQL-第四章-3-返回字典类型的UDF定义

    　　第131节 - SparkSQL-第四章-4-拓展-通过RDD代码模拟UDAF效果

    　　第132节 - SparkSQL-第四章-5-窗口函数的演示

    　　第133节 - SparkSQL-第四章-6-总结

    　　第134节 - SparkSQL-第五章-1-Catalyst优化器

    　　第135节 - SparkSQL-第五章-2-SparkSQL执行流程及本章总结

    　　第136节 - SparkSQL-第六章-SparkOnHive原理和配置及总结

    　　第137节 - SparkSQL-第七章-分布式SQL的执行引擎原理和配置

    　　第138节 - 案例-案例背景及需求1开发

    　　第139节 - 案例-需求2开发

    　　第140节 - 案例-需求3开发

    　　第141节 - 案例-需求4开发

    　　第142节 - Spark新特性及核心回顾-1-1-HashShuffleManager

    　　第143节 - Spark新特性及核心回顾-1-2-SortShuffleManager

    　　第144节 - Spark新特性及核心回顾-1-3-总结

    　　第145节 - Spark新特性及核心回顾-2-1-3.0新特性-AQE

    　　第146节 - Spark新特性及核心回顾-2-2-新特性-动态分区裁剪

    　　第147节 - Spark新特性及核心回顾-2-3-新特性-koalas库

    　　第148节 - Spark新特性及核心回顾-2-4-总结

    　　第149节 - Spark新特性及核心回顾-3-Spark概念总结

    　　未完待续，黑马老师996更新中......


    掌握行业热门技术

    是每个程序员都应该重视的事情

    pyspark框架如此重要，你还没学?

    点击或搜索黑马程序员B站

    观看全集视频

    - 完整配套资料领取方式 -

    (视频+讲义+源码+笔记+资料)

    黑马程序员视频库

    搜索《大数据spark3.2从基础到精通》

    0 分享到：
    和我们在线交谈！
    【网站地图】【sitemap】