如何提交spark代码到服务器运行

代码提交

代码提交一般有五个步骤：

1.查看目前代码的修改状态

2.查看代码修改内容

3.暂存需要提交的文件

4.提交已暂存的文件

5.同步到服务器

1. 查看目前代码的修改状态

提交代码之前，首先应该检查目前所做的修改，运行git status命令

a)已暂存 （changes to be committed）

new file //表示新建文件

modified //表示修改文件

deleted //表示删除文件

b) 已修改 （changed but not updated）

modified //表示修改文件

deleted //表示删除文件

另外，git 给出了可能需要的操作命令，git add/rm, gitcheckout --

c)未跟踪 （untracked files）

2. 查看代码修改的内容

git diff <file>

比较某文件与最近提交节点的差异。

注意：如果该文件已暂存，那么应该使用git diff –cached<file>

git diff <hashcode><hashcode> <file>

比较某文件在提交节点a，节点b的差异。

技巧：如果省略后面一个hashcode，则默认表示与上一提交节点比较。（也可以利用^运算符）

3. 暂存需要提交的文件

如果是新建的文件

则git add <file>

如果是修改的文件

则git add <file>

如果是删除的文件

则 git rm <file>

4. 提交已暂存的文件

git commit

注意注释填写规范。

git commit --amend

修改最近一次提交。有时候如果提交注释书写有误或者漏提文件，可以使用此命令。

5. 同步到服务器

同步到服务器前先需要将服务器代码同步到本地

命令： git pull

如果执行失败，就按照提示还原有冲突的文件，然后再次尝试同步。

命令：git checkout -- <有冲突的文件路径>

同步到服务器

命令： git push origin <本地分支名>

如果执行失败，一般是没有将服务器代码同步到本地导致的，先执行上面的git pull命令。

我的服务器用的是小鸟云的，访问很流畅，性能稳定。

spark和hadoop的区别：诞生的先后顺序、计算不同、平台不同。

诞生的先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。

计算不同spark和hadoop在分布式计算的底层思路上，其实是极为相似的，即mapreduce分布式运算模型：将运算分成两个阶段，阶段1-map，负责从上游拉取数据后各自运算，然后将运算结果shuffle给下游的reduce，reduce再各自对通过shuffle读取来的数据进行聚合运算spark和hadoop在分布式计算的具体实现上，又有区别；hadoop中的mapreduce运算框架，一个运算job，进行一次map-reduce的过程；而spark的一个job中，可以将多个map-reduce过程级联进行。

平台不同spark和hadoop区别是，spark是一个运算平台，而hadoop是一个复合平台（包含运算引擎，还包含分布式文件存储系统，还包含分布式运算的资源调度系统），所以，spark跟hadoop来比较的话，主要是比运算这一块大数据技术发展到目前这个阶段，hadoop主要是它的运算部分日渐式微，而spark目前如日中天，相关技术需求量大，offer好拿。

RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。通过查看源码发现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份，Spark的存储级别还有好多种，存储级别在object StorageLevel中定义的。缓存有可能丢失，或者存储存储于内存的数据由于内存不足而被删除，RDD的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于RDD的一系列转换，丢失的数据会被重算，由于RDD的各个Partition是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部Partition。

拓展资料：Spark是一种安全的、经正式定义的编程语言，被设计用来支持一些安全或商业集成为关键因素的应用软件的设计。其通过运行用户定义的main函数，在集群上执行各种并发操作和计算Spark提供的最主要的抽象，Spark的正式和明确的定义使得多种静态分析技术在Spark源代码的应用中成为可能。

---