hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。

因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。

因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。

理论上可以的，vmware虚拟机和云服务器其实和传统物理服务器用起来没差别。但如果你说的云服务器是公有云，是vmware在你的局域网，不推荐组合起来搭建hadoop，因为互联网的网络延迟比本地高，集群会不稳，非要做的话，vmware虚拟机需要用dnat映射地址到公网

通过命令行下载Hadoop ，我下载的版本是1.2.1，版本稳定且方便学习。

[plain] view plain copy

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

下载完成后，将hadoop安装包转移至要安装的目录

[plain] view plain copy

mv hadoop-1.2.1.tar.gz /usr/hadoop/

cd /usr/hadoop/

解压

[plain] view plain copy

tar -zxvf hadoop-1.2.1.tar.gz

配置Hadoop

配置文件在 hadoop的conf文件夹下

首先修改 hadoop-env.sh 文件

[plain] view plain copy

vim hadoop-env.sh

找到 # export JAVA_HOME=…..

修改为 export JAVA_HOME=/usr/Java/java8

注意 // 如果忘记java的路径，可以通过命令 echo $JAVA_HOME查看

其次修改 core-site.xml 文件

其实 修改 hadoop-env.sh

[plain] view plain copy

vim hadoop-env.sh

修改内容为

[html] view plain copy

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://canghong:9000</value>

</property>

</configuration>

然后修改 hdfs-site.xml

[html] view plain copy

<configuration>

<property>

<name>dfs.data.dir</name>

<value>/hadoop/data</value>

</property>

</configuration>

最后修改 mapred-site.xml

[html] view plain copy

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>canghong:9001</value>

</property>

</configuration>

配置完成后，告诉系统hadoop的安装目录

[plain] view plain copy

vim ~/.bashrc

export HADOOP_HOME=/usr/hadoop/hadoop-1.2.1

在 export PATH 中 加入 HADOOP_HOME

export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH

测试

在命令行输入 hadoop

出现

10015 JobTracker

9670 TaskTracker

9485 DataNode

10380 Jps

9574 SecondaryNameNode

9843 NameNode

则表示成功

格式化文件系统

[plain] view plain copy

cd /usr/hadoop/hadoop-1.2.1/bin

hadoop namenode -formate

启动

启动 bin下的 start-all.sh

start-all.sh

测试

在命令行 输入 jps 查看hadoop是否正常运行

---