redcode=-1加载失败

在写MapReduce程序时，在本地运行使用cat file.data | python mapper.py | sort k1,1 | python reducer.py >result.data进行测试时，程序可以输出正确结果，程序运行正常，但是在编写shell脚本提交在hadoop集群进行运算时，出现了"PipeMapRed.waitOutputThreads(): subprocess failed with code 1"的报错，在查询解决方法的过程中，找到了如下几种解决问题的思路：

1、输入输出文件没有读写权限，导致出现这个报错，但是我在查看自己的文件目录的权限，发现不是自己的文件权限问题，具体权限是否会导致这种问题，我也不太清楚，仅供参考；

2、不同机器的python的环境路径不同，这个我把程序都改成了#!/usr/bin/python，再次执行，发现同样没有解决问题，依然报同样的错误；

3、查询Stack Overflow上面有的说法是python程序可能有问题，这个说法我一开始是不赞成的，因为我已经本地测试通过的。

于是在这个问题上卡了两个小时，在找到如何将日志文件拖到本体的方法后，拖取命令如下： yarn logs -applicationId application_1519803790630_15391 >temp1.log ，其中的application_1519803790630_15391根据自己任务的名称替换，查看其中Traceback部分错误提示，发现是自己在本地写的一个包在集群上找不到，提示import错误。把import包中函数放入mapper程序后，再次运行，问题被解决！！！！！！！

故：遇到这种报错的解决思路：首先取到程序运行日志，再分析日志中出现错误的原因，据测试，这种报错基本是由于程序错误导致的！！！！即使本地测试通过，在提交hadoop执行后，一旦报错也要根据错误日志进行程序更改！

Python：

大数据分析、人工智能、Python开发、爬虫开发、Python运维自动化等等都是Python工程师可以选择的。

UI设计：

界面方向：图形设计不仅仅是美术的设计。在UI设计的工作中，图形设计是了解软件产品、致力于提高软件用户体验的产品外形，例如工业外形设计、装潢设计、信息多媒体设计等。目前大部分UI工作者都是从事这个方向的工作。

交互方向：

交互方向就是要从界面和用户两个角度去考虑设计的产品。确立交互模型、交互规范、设计软件的操作流程、树状结构、软件的结构与操作规范等。这里面及嗯呢该会有软件代码的知识。

用户方向：

研究用户对于设计的产品也很重要。如果没有专门测试产品、研究用户体验和感受的人，UI设计的好坏会有失偏颇，不能广泛地应用，这样就会给企业带来极大的风险。

运营方向：

运营需要的基本知识比较多，策划、文案、创意、设计等能力都要具备。运营类型UI设计师，摆脱规范的限制，摆脱扁平化的需求，平面设计能力，手绘造型能力以及创意表达能力的素养要求更高一些。

产品方向：

综合产品、设计、用户数据和用户体验，几乎涵盖从需求到实现再到开发的全过程。

Seo：搜索引擎优化

所做的工作就是让网站页面能够符合用户和搜索引擎的规范，让更多的网站页面在对应的关键词下面有好的排名，让网站能够获得更多的自然流量从而转化让自己的产品或者服务销售出去。

Sem：

搜索引擎营销，广义上seo也是包含在sem的范围之内的，但是这里只是单独的说一下sem和信息流，这两个都是我们在浏览网站或者是app时候看到右下角有广告字样的搜索结果，原理就是通过付费的方式让自己花最少的钱能够获得流量，获得流量也是为了后面的转化。

新媒体营销：

这个大家都会比较熟悉，就是相对于传统媒体的都算是新媒体，例如计算机网络、无线通信网、卫星等渠道，以及电脑、手机、数字电视机等终端，向用户提供信息和服务的传播形态，而新媒体营销就是通过这些传播方式使我们的产品或者是服务传递到用户手上。

电商运营：

这个就是大家经常使用的淘宝、京东等平台规则的了解和销售技巧的掌握，通过对产品详情页和标题等规范，让我们的产品能够排更靠前，获得更多的点击和销售量。

短视频运营：

这个也是现在比较火的一个技术了，算是全民都开始玩短视频，没事儿发发视频都想让自己火起来，甚至成为网红，那么有什么技巧可以获得更多的流量获得更多的转化，这就是短视频运营的学习方面和工作方向。

---