什么是服务器与存储维护

服务器是服务器，存储是存储，一般都要分开维护。

服务器主要关注以下几点：操作系统（windows，linux，unix等），硬件驱动相关，PCI插槽的各种板卡，基本的网络知识（现在应该没有不用网络的服务器了），甚至要关注服务器上的业务软件（web的，数据库的，ERP等），再甚至了解各型号服务器的基本操作（特别是小机和刀片）

存储主要关注以下几点：RAID相关操作，磁盘管理，存储界面操作和底层命令管理，存储硬件架构和各功能模块，存储软件特性和高可用性，存储外部组网知识，在各操作系统上如何挂载存储资源，甚至要掌握服务器、网络、存储整个IT架构的排错和分析能力。

在现如今，随着IT互联网信息技术的飞速发展和进步。

目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面IT培训http://www.kmbdqn.cn/介绍一下关于Hadoop环境中管理大数据存储技巧。

1、分布式存储传统化集中式存储存在已有一段时间。

但大数据并非真的适合集中式存储架构。

Hadoop设计用于将计算更接近数据节点，同时采用了HDFS文件系统的大规模横向扩展功能。

虽然，通常解决Hadoop管理自身数据低效性的方案是将Hadoop数据存储在SAN上。

但这也造成了它自身性能与规模的瓶颈。

现在，如果你把所有的数据都通过集中式SAN处理器进行处理，与Hadoop的分布式和并行化特性相悖。

你要么针对不同的数据节点管理多个SAN，要么将所有的数据节点都集中到一个SAN。

但Hadoop是一个分布式应用，就应该运行在分布式存储上，这样存储就保留了与Hadoop本身同样的灵活性，不过它也要求拥抱一个软件定义存储方案，并在商用服务器上运行，这相比瓶颈化的Hadoop自然更为高效。

2、超融合VS分布式注意，不要混淆超融合与分布式。

某些超融合方案是分布式存储，但通常这个术语意味着你的应用和存储都保存在同一计算节点上。

这是在试图解决数据本地化的问题，但它会造成太多资源争用。

这个Hadoop应用和存储平台会争用相同的内存和CPU。

Hadoop运行在专有应用层，分布式存储运行在专有存储层这样会更好。

之后，利用缓存和分层来解决数据本地化并补偿网络性能损失。

3、避免控制器瓶颈(ControllerChokePoint)实现目标的一个重要方面就是——避免通过单个点例如一个传统控制器来处理数据。

反之，要确保存储平台并行化，性能可以得到显着提升。

此外，这个方案提供了增量扩展性。

为数据湖添加功能跟往里面扔x86服务器一样简单。

一个分布式存储平台如有需要将自动添加功能并重新调整数据。

4、删重和压缩掌握大数据的关键是删重和压缩技术。

通常大数据集内会有70%到90%的数据简化。

以PB容量计，能节约数万美元的磁盘成本。

现代平台提供内联(对比后期处理)删重和压缩，大大降低了存储数据所需能力。

5、合并Hadoop发行版很多大型企业拥有多个Hadoop发行版本。

可能是开发者需要或是企业部门已经适应了不同版本。

无论如何最终往往要对这些集群的维护与运营。

一旦海量数据真正开始影响一家企业时，多个Hadoop发行版存储就会导致低效性。

我们可以通过创建一个单一，可删重和压缩的数据湖获取数据效率6、虚拟化Hadoop虚拟化已经席卷企业级市场。

很多地区超过80%的物理服务器现在是虚拟化的。

但也仍有很多企业因为性能和数据本地化问题对虚拟化Hadoop避而不谈。

7、创建弹性数据湖创建数据湖并不容易，但大数据存储可能会有需求。

我们有很多种方法来做这件事，但哪一种是正确的?这个正确的架构应该是一个动态，弹性的数据湖，可以以多种格式(架构化，非结构化，半结构化)存储所有资源的数据。

更重要的是，它必须支持应用不在远程资源上而是在本地数据资源上执行。

---