redcode=-1加载失败

在写MapReduce程序时，在本地运行使用cat file.data | python mapper.py | sort k1,1 | python reducer.py >result.data进行测试时，程序可以输出正确结果，程序运行正常，但是在编写shell脚本提交在hadoop集群进行运算时，出现了"PipeMapRed.waitOutputThreads(): subprocess failed with code 1"的报错，在查询解决方法的过程中，找到了如下几种解决问题的思路：

1、输入输出文件没有读写权限，导致出现这个报错，但是我在查看自己的文件目录的权限，发现不是自己的文件权限问题，具体权限是否会导致这种问题，我也不太清楚，仅供参考；

2、不同机器的python的环境路径不同，这个我把程序都改成了#!/usr/bin/python，再次执行，发现同样没有解决问题，依然报同样的错误；

3、查询Stack Overflow上面有的说法是python程序可能有问题，这个说法我一开始是不赞成的，因为我已经本地测试通过的。

于是在这个问题上卡了两个小时，在找到如何将日志文件拖到本体的方法后，拖取命令如下： yarn logs -applicationId application_1519803790630_15391 >temp1.log ，其中的application_1519803790630_15391根据自己任务的名称替换，查看其中Traceback部分错误提示，发现是自己在本地写的一个包在集群上找不到，提示import错误。把import包中函数放入mapper程序后，再次运行，问题被解决！！！！！！！

故：遇到这种报错的解决思路：首先取到程序运行日志，再分析日志中出现错误的原因，据测试，这种报错基本是由于程序错误导致的！！！！即使本地测试通过，在提交hadoop执行后，一旦报错也要根据错误日志进行程序更改！

前言分组原理

核心：

1.不论分组键是数组、列表、字典、Series、函数，只要其与待分组变量的轴长度一致都可以传入groupby进行分组。

2.默认axis=0按行分组，可指定axis=1对列分组。

对数据进行分组操作的过程可以概括为：split-apply-combine三步：

1.按照键值（key）或者分组变量将数据分组。

2.对于每组应用我们的函数，这一步非常灵活，可以是python自带函数，可以是我们自己编写的函数。

3.将函数计算后的结果聚合。

1 分组模式及其对象

1.1 分组的一般模式

三个要素:分组依据、数据来源、操作及其返回结果

df.groupby(分组依据)[数据来源].使用操作

1.2 分组依据的本质

1.3Groupby 对象

通过 ngroups 属性，可以访问分为了多少组:

通过 groups 属性，可以返回从 组名映射到 组索引列表的字典:

当 size 作为 DataFrame 的属性时，返回的是表长乘以表宽的大小，但在 groupby 对象上表示统计每个组的 元素个数:

通过 get_group 方法可以直接获取所在组对应的行，此时必须知道组的具体名字:

1.4 分组的三大操作

分组的三大操作:聚合、变换和过滤

2.聚合函数

2.1内置聚合函数

包括如下函数: max/min/mean/median/count/all/any/idxmax/idxmin/mad/nunique/skew/quantile/sum/std/var/sem/size/prod

2.2agg 方法

【a】使用多个函数

当使用多个聚合函数时，需要用列表的形式把内置聚合函数的对应的字符串传入，先前提到的所有字符串都是合法的。

【b】对特定的列使用特定的聚合函数

对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值。

【c】使用自定义函数

在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算

【d】聚合结果重命名 如果想要对结果进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数

3 变换和过滤

3.1 变换函数与 transform 方法

变 换 函 数 的 返 回 值 为 同 长 度 的 序 列， 最 常 用 的 内 置 变 换 函 数 是 累 计 函 数:cum- count/cumsum/cumprod/cummax/cummin ，它们的使用方式和聚合函数类似，只不过完成的是组内 累计操作。

3.2 组索引与过滤

过滤在分组中是对于组的过滤，而索引是对于行的过滤

组过滤作为行过滤的推广，指的是如果对一个组的全体所在行进行统计的结果返回 True 则会被保留，False 则该组会被过滤，最后把所有未被过滤的组其对应的所在行拼接起来作为 DataFrame 返回。

在 groupby 对象中，定义了 filter 方法进行组的筛选，其中自定义函数的输入参数为数据源构成的 DataFrame 本身，在之前例子中定义的 groupby 对象中，传入的就是 df[['Height', 'Weight']] ，因此所有表方法和属性 都可以在自定义函数中相应地使用，同时只需保证自定义函数的返回为布尔值即可。

4 跨列分组

4.1 apply 的引入

4.2 apply 的使用

在设计上，apply 的自定义函数传入参数与 filter 完全一致，只不过后者只允许返回布尔值

【a】标量情况:结果得到的是 Series ，索引与 agg 的结果一致

【b】Series 情况:得到的是 DataFrame ，行索引与标量情况一致，列索引为 Series 的索引

【c】DataFrame 情况:得到的是 DataFrame ，行索引最内层在每个组原先 agg 的结果索引上，再加一层返 回的 DataFrame 行索引，同时分组结果 DataFrame 的列索引和返回的 DataFrame 列索引一致

---