如何读spark源码（spark菜鸟教程）
本文目录一览：
- 1、怎么在eclipse里正确导入spark2.0.0 的源码
- 2、怎么用Eclipse搭建Spark源码阅读环境
- 3、eclipse怎么打开spark-redis源码
- 4、如何学习Spark API
- 5、怎么在Idea IDE里面打开Spark源码而不报错
- 6、如何在idea中阅读 spark源代码
怎么在eclipse里正确导入spark2.0.0 的源码
应该说这个和是不是Spark项目没什么关系。
建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。
idea我不熟，还需要做一些其他的插件配置(python, sbt等)和环境设置。
你也可以使用Eclipse看，Eclipse有scala IDE，把Spark项目当maven工程导入。但是子项目之间的依赖会有点问题，会报错。
推荐使用前者，向Databricks的开发者看齐如何读spark源码；我使用的是后者，我直接依赖如何读spark源码了编译好的包就不会报错了，纯读源码的话也勉强可以跟踪和调试。
另外，我也看有的Committer用vim看spark
怎么用Eclipse搭建Spark源码阅读环境
第一部分、软件安装
1、 安装JDK （版本为1.7.0_11）
2、 安装Scala （版本为2.11.2）
3、 安装ScalaIDE（版本为3.0.4）
第二部分：加压缩官网下载的源代码包或者找到通过Git抽取的Spark源文件：
我用的是spark-1.1.1版本（最新版本），由于idea 13已经原生支持sbt，所以无须为idea安装sbt插件。
源码下载(用git工具)：
# Masterdevelopment branch
gitclone git://github.com/apache/spark.git
# 1.1 maintenancebranch with stability fixes on top of Spark 1.1.1
gitclone git://github.com/apache/spark.git -b branch-1.1
源码更新（用git工具同步跟新源码）：
gitclone
第三部分：通过sbt工具，构建Scala的Eclipse工程，详细步骤如下所示
1、通过cmd命令进入DOS界面，之后通过cd命令进入源代码项目中，我下载的Spark.1.1.1版本的源代码放在（E:\Spark计算框架的研究\spark_1_1_1_eclipse）文件夹中，之后运行sbt命令，如下所示：
2、运行sbt命令之后，解析编译相关的jar包，并出现sbt命令界面窗口，出现的效果图如下所示，之后运行eclipse命令，sbt对这个工程进行编译，构建Eclipse项目，效果图如下所示：
4、 打开ScalaIDE工具，File à Import à Existing Projects into Workspace à
Next à
选择刚好用sbt工具编译好的Eclipse工程（E:\Spark计算框架的研究\spark_1_1_1_eclipse），如下图所示。
5、 通过上面的操作，就可以将通过sbt工具编译生成的Eclipse项目导入到EclipseIDE开发环境中，效果图如下所示：
错误提示如下所示：我导入的包为，如下文件夹中所示。
（E:\Spark计算框架的研究\spark_1_1_1_eclipse\lib_managed\bundles）
Description Resource Path Location Type
akka-remote_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled
in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-slf4j_2.10-2.2.3-shaded-protobuf.jar is cross-compiled with
an incompatible version of Scala (2.10). In case of errorneous report,
this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-testkit_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
Description Resource Path Location Type
akka-zeromq_2.10-2.2.3-shaded-protobuf.jar is cross-compiled
with an incompatible version of Scala (2.10).
In case of errorneous report, this check can be disabled in the compiler preference page.
spark-core Unknown Scala Classpath Problem
上面这些包兼容性问题还没有解决，修改相应的jar包就可以解决。
eclipse怎么打开spark-redis源码
Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。
如何学习Spark API
Spark采用一个统一如何读spark源码的技术堆栈解决了云计算大数据如何读spark源码的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位如何读spark源码；
要想成为Spark高手，需要经历一下阶段如何读spark源码：
第一阶段：熟练地掌握Scala语言
1， Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,；
2， 虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最好的开发API依然并将永远是Scala方式的API，所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序；
3， 尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变等；
第二阶段：精通Spark平台本身提供给开发者API
1， 掌握Spark中面向RDD的开发模式，掌握各种transformation和action函数的使用；
2， 掌握Spark中的宽依赖和窄依赖以及lineage机制；
3， 掌握RDD的计算流程，例如Stage的划分、Spark应用程序提交给集群的基本过程和Worker节点基础的工作原理等
第三阶段：深入Spark内核
此阶段主要是通过Spark框架的源码研读来深入Spark内核部分：
1， 通过源码掌握Spark的任务提交过程；
2， 通过源码掌握Spark集群的任务调度；
3， 尤其要精通DAGScheduler、TaskScheduler和Worker节点内部的工作的每一步的细节；
第四阶级:掌握基于Spark上的核心框架的使用
Spark作为云计算大数据时代的集大成者，在实时流处理、图技术、机器学习、NoSQL查询等方面具有显著的优势，我们使用Spark的时候大部分时间都是在使用其上的框架例如Shark、Spark Streaming等：
1， Spark Streaming是非常出色的实时流处理框架，要掌握其DStream、transformation和checkpoint等；
2， Spark的离线统计分析功能，Spark 1.0.0版本在Shark的基础上推出了Spark SQL，离线统计分析的功能的效率有显著的提升，需要重点掌握；
3， 对于Spark的机器学习和GraphX等要掌握其原理和用法；
第五阶级:做商业级别的Spark项目
通过一个完整的具有代表性的Spark项目来贯穿Spark的方方面面，包括项目的架构设计、用到的技术的剖析、开发实现、运维等，完整掌握其中的每一个阶段和细节，这样就可以让您以后可以从容面对绝大多数Spark项目。
第六阶级：提供Spark解决方案
1， 彻底掌握Spark框架源码的每一个细节；
怎么在Idea IDE里面打开Spark源码而不报错
首先我们先点击一个工程的Project Structure菜单，这时候会弹出一个对话框，仔细的用户肯定会发现里面列出来的模块(Module)居然没有yarn！就是这个原因导致yarn模块相关的代码老是报错！只需要将yarn模块加入到这里即可。
步骤依次选择 Add-Import Module-选择pom.xml，然后一步一步点击确定，这时候会在对话框里面多了spark-yarn_2.10模块，
然后点击Maven Projects里面的Reimport All Maven Projects，等yarn模块里面的所有依赖全部下载完的时候，我们就可以看到这个模块里面的代码终于不再报错了！！
如何在idea中阅读 spark源代码
应该说这个和是不是Spark项目没什么关系。 建议你使用intellij idea，在spark目录下执行"sbt/sbt gen-idea"，会自动生成.idea项目，导入即可。 idea我不熟，还需要做一些其他的插件配置(python, sbt等)和环境设置。 你也可以使用Eclipse看，Ecli...
