如何使用VMware分布式能源管理

VMware的分布式能源管理（DPM）是彰显VMotion潜力的一个功能。DPM实际上是VMware分布式资源调度（DRS）的一部分，但是DRS没有很好彰显它。如果每家公司明白了DRS和DPM降低能源消耗，这些虚拟化管理工具就是服务器架构的必要组件。

该品最大的卖点是结合了能源效率和资源分配。试想以下情景：在夜晚，需求低，除了两台数据中心服务器，其他所有都自动关闭，但是这两台服务器能让所有数据中心服务可用。如果终端用户在半夜三点尝试使用应用，他们没有注意到性能的不同。在早上，当他们来工作，关闭的服务器自动启用并将虚拟机移到这些服务器。

现在想想你公司每年能在这些服务器上节约多少电和冷却成本。随着时间的推移，能源消耗就能抵消购买DPM的花销。

使用VMware分布式能源管阿理

要使用DPM，首先创建支持DRS的集群，将虚拟机负荷跨集群里的物理服务器分布。使用VMotion，虚拟机在服务器之间自由移动以平衡负荷。DRS和DPM的功能也能轻松结合VMware的HA解决方案，以此提升资源分配和能源效率，并预防服务器宕机。

当虚拟架构上的负载较低时，通过在少量主机上（使用VMotion）执行虚拟机的服务器整合，然后关掉不需要的ESX Server，DPM进一步带动DRS。当负荷增加时，网络适配器功能——Wake on LAN（WOL）唤醒关闭的服务器并移回虚拟机。因此，除了典型的vSphere要求，也需要支持WOL的网络接口卡。

VMware的分布式能源管理在vSphere六个版本中的两个中可用：Enterprise和Enterprise Plus。此外需要VMware的vCenter。

环境 ：

修改名称和存储位置即可。

1.3.1 查看你PC上为VMware分配的IP地址段、子网掩码和网关。打开终端，输入如下命令：

more /Library/Preferences/VMware\ Fusion/vmnet8/dhcpd.conf

添加以下信息：

重启机器即可完成静态IP的修改。记得 ping www.baidu.com 测试网络的连通性。

1.4.1 修改主机名称

sudo vim /etc/hostname

将文件修改为你的主机名，例如hadoop101

1.4.2 修改主机名和host的映射

sudo vim /etc/hosts

1.4.3 重启机器，并使用 ping hadoop10x 测试连通性。

如果你在第一台虚拟机上完成了伪分布模式的搭建，那么此时克隆的两台机器也同样拥有JDK和Hadoop。

scp命令

此时，如果只有一台机器完成了jdk和Hadoop的安装配置，我们可以使用 scp 命令完成数据的安全拷贝。

命令格式： scp -r 要拷贝的文件路径/名称 user@ip:目的路径/名称

rsync命令

与 scp 相同的还有一个命令时 rsync ，其主要用于备份和镜像。 rsync 做文件的复制要比 scp 的速度快， rsync 只对差异文件做更新。 scp 将所有文件都复制过去。使用方法和 scp 一样。

基本格式： rsync -rvl 源文件 目的路径

集群分发脚本

脚本sxync.sh可以更好的同步数据到其他机器上

这个很重要，后面的所有配置都是按照这个来的

3.2.1 配置hadoop-env.sh

3.2.2 配置hdfs-site.xml文件

3.3.1 配置yarn-env.sh

3.3.2 配置yarn-site.xml文件

3.4.1 配置mapred-env.sh

3.4.2 配置mapred-site.xml文件

xsync /opt/module/hadoop-x.x.x/

rm -rf data/ logs/

根据集群配置图，我们可以发现NameNode在hadoop102上，所以我们连接hadoop102，并执行如下命令：

bin/hdfs namenode -format

此时，不允许有任何错，否则格式化失败

4.4.1 在hadoop101上启动DataNode。

sbin/hadoop-daemon.sh start datanode

4.4.2 在hadoop102上启动NameNode和DataNode。

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

4.4.3 在hadoop101上启动DataNode和SecondaryNode

sbin/hadoop-daemon.sh start datanode

sbin/hadoop-daemon.sh start secondarynamenode

在浏览器中输入 http://hadoop102:50070 查看集群是否启动成功。如果本机的hosts里边没有Hadoop102到ip地址的映射，此时会无法访问，两种办法：第一，使用过ip:端口号访问；第二，在本机hosts文件里加入三个节点的主机名到ip地址的映射。

5.1.1 在hadoop101上使用指令ssh-keygen -t rsa生成公钥和密钥

6.2.1 在hadoop102上启动HDFS

sbin/start-dfs.sh

7.1 一个大文件个一个小文件

bin/hdfs dfs -put wcinput/wc.input /

bin/hdfs dfs -put /opt/software/hadoop-x.x.x.tar.gz

7.2 在浏览器中输入 http://hadoop102:50070 查看上传结果：

大功告成，告别从入门到放弃！

vSphere虚拟交换机(VDS)可以划分为两个逻辑部分(见图1)，即数据平面(data plane)和管理平面(management plane)。数据平面执行实际的数据包交换、过滤和标记等操作。管理平面则让管理员可以配置数据平面功能的不同参数。至于vSphere标准交换机(VSS)，数据平面和管理平面出现在每只标准交换机上。按照这种设计，管理员可以逐个配置和维护每一只VSS。

vSphere虚拟交换机有两个逻辑部分。数据平面是执行实际的数据包交换、过滤和标记等操作的地方管理平面则让管理员可以配置数据平面的各项功能。

VDS把虚拟网络当作是聚合资源。单个的主机层面虚拟网络参数作为数据中心层面横跨多个主机的单一庞大VDS的一部分抽取出来。按照这种设计，数据平面对每个主机来说仍是本地的，但管理平面集中起来，vCenter Server充当了所有参数配置和虚拟网络管理的中央控制点。每个vCenter Server实例最多能支持128个VDS，每只VDS最多能连接500个主机。

配置和管理标准交换机方面的许多概念由VDS来实现，并对一些虚拟网络参数进行了改动，以支持抽取操作。

分布式虚拟端口组(DV Port Groups)是与VDS相关的端口组，它们指定了适用于一组分布式虚拟端口的配置。分布式虚拟端口组还定义了如何通过VDS与网络建立连接。分布式虚拟端口组的配置参数类似标准交换机上端口组的那些配置参数，只不过一些高级功能还有额外选项。虚拟局域网编号(VLAN ID)、流量整形参数、端口安全、网卡聚合和负载均衡配置以及其他设置都在这里进行配置。每只VDS最多支持10000个静态端口组。

分布式虚拟上行链路(dvUplinks)是随VDS推出的一个新概念。分布式虚拟上行链路为每个主机上的物理网卡(vmnics)提供了抽取级别。分布式虚拟端口组上的网卡聚合、负载均衡和故障切换策略都运用于分布式虚拟上行链路，而不是运用于单个主机上的物理网卡。当某个主机添加到VDS上后，该主机上的每个物理网卡都映射到分布式虚拟上行链路，从而实现了网卡聚合和故障切换的一致性，不管物理网卡方面如何分配。

---