Spark编程基础（Python版）教材官网
厦门大学 林子雨，郑海山，赖永炫 编著
披荆斩棘，在大数据丛林中开辟学习捷径
填沟削坎，为快速学习Spark技术铺平道路
深入浅出，有效降低Spark技术学习门槛
资源全面，构建全方位一站式在线服务体系
本教材已经上市销售，可以京东、当当网购
ISBN:978-7-115-52439-3 定价：49.80元 人民邮电出版社
2020年4月第1版
（备注：第2版教材书稿已经提交给出版社，预计2024年6月上市销售）
本页面内容导航
扫一扫访问本网页
《Spark编程基础（Python版）》
ISBN:978-7-115-52439-3 定价：49.80元 人民邮电出版社
教材简介
本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。
作者简介
《Spark编程基础（Python版）》由林子雨、郑海山、赖永炫执笔，其中，林子雨负责教材规划、统稿、校对和在线资源创作，并撰写第1、2、3、4、5、6章的内容，郑海山负责第7章内容的撰写，赖永炫负责撰写第8章的内容。
Scala版教程
（1）在线教程
问：在线版本的《Spark入门教程》和出版发行的纸质教材《Spark编程基础（Scala版）》二者的区别是什么？
答：在线版本的《Spark入门教程》属于简化版的Spark教材，旨在帮助读者快速学习Spark技术，里面内容的写作方式会更加口语化，偏向于博客的风格。出版发行的纸质教材《Spark编程基础（Scala版）》，则是完全从高校专业课教材的角度进行创作，在知识架构和内容编排上，严格按照教材的高标准和高要求来进行，强调前后文高度的逻辑相关性，全书内容的整体协调性，以及文字表述的精准清晰性。因此，纸质教材比在线版本的质量，有了本质的大幅度提升。可以说，在线版本只是在写作纸质教材之前的准备工作，为纸质教材提供了蓝本。本书作者林子雨、赖永炫和陶继平三位老师，在完成在线版本创作以后，又进行了系统深入的调研和学习并反复实践，最终，撰写了纸质教材用于高校教学。
需要注意的是，在线版本中也包含了一些纸质教材中没有的内容，因为这些操作实践的内容比较琐碎，因此，没有放入纸质教材，所以，读者阅读在线版本仍然会有新的收获。总体而言，在线版本和纸质教材二者配合使用，效果更好。
（2）授课视频（Scala版）
“下载专区”栏目提供了本教程内各个章节所涉及到的源代码、软件、数据集、讲义PPT和教学大纲的下载，为了方便读者查找相关软件和代码，
每个章节配套实验题目和答案
纸质教材《Spark编程基础（Python版）》的每个章节（除了第3章 Spark的设计与运行原理）末尾都配套了学生上机实验题目，每套实验题目可以满足1次上机实验室（比如连续4节课机房统一上机实验课）的要求，旨在帮助学生更好消化理解课堂内容。下面是7个实验一览表。
本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。
本案例将实现一个系列程序，从厦门小鱼网爬取租房租金信息，然后利用spark的python版本进行简单分析，并利用echarts的python版本展示分析结果，此外还会简单介绍pycharm的工程建立，所以本篇将分为四个部分。
本案例采用TMDB数据集，并使用Python语言编写Spark应用程序对电影数据进行各种分析。
本实验采用Python语言，使用大数据处理框架Spark对数据进行处理分析，并对分析结果进行可视化。
本案例以2020年美国新冠肺炎疫情数据作为数据集，以Python为编程语言，使用Spark对数据进行分析，并对分析结果进行可视化。
本案例数据集是来自Kaggle的一个跨国在线零售业务的交易数据，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并使用Echarts做数据可视化。
本案例针对全球重大地震数据进行分析，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并对结果进行数据可视化。
本案例以和鲸社区的信用卡评分模型构建数据为数据集，以Python为编程语言，使用大数据框架Spark对数据进行处理分析，并对分析结果进行可视化。
先修课程(建议学习，不是必须)
当然，不事先学习《大数据技术原理与应用》，也可以直接学习《Spark编程基础》，因为，《Spark编程基础》教程中，在每个章节中，对于读者可能遇到的“基础知识障碍”，都有给出某个具体知识点的相关链接（比如，在讲解Spark安装时，需要首先安装Hadoop，但是，读者可能不会安装Hadoop，这时，读者就可以访问教程中的“Hadoop的安装和使用”这个知识点链接，就可以顺利完成Hadoop的安装，跨过学习的障碍），读者只要按照链接进行有针对性的补充学习即可，不需要学习全部的《大数据技术原理与应用》知识。
大数据课程公共服务平台
教材勘误
大事记
*2019年1月，由林子雨、郑海山、赖永炫编著的《Spark编程基础（Python版）》纸质教材书稿完成撰写，提交给人民邮电出版社出版。
*2019年11月，人民邮电出版社返回教材清样，作者进行最后校对交付给出版社，等待教材最后出版。