Es Cluster 配置详解

elasticsearch.yml 服务配置文件

参数：

配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。

设置默认索引分片个数，默认为5片。Since elasticsearch 5.x index level settings can NOT be set on the nodes configuration like the elasticsearch.yaml, in system properties or command line arguments.In order to upgrade all indices the settings must be updated via the /${index}/_settings API. Unless all settings are dynamic all indices must be closed

in order to apply the upgradeIndices created in the future should use index templates

to set default values.

Please ensure all required values are updated on all indices by executing:

curl -XPUT ' http://localhost:9200/_all/_settings?preserve_existing=true ' -d '{

"index.number_of_replicas" : "1",

"index.number_of_shards" : "7"

}'

设置默认索引副本个数，默认为1个副本。 5.X版本以上不支持在配置文件里面配置。

节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。

指定该节点是否有资格被选举成为node，默认是true，es是默认集群中的第一台机器为master，如果这台机挂了就会重新选举master。

指定该节点是否存储索引数据，默认为trues

禁止自动创建索引

这个设置使删除只限于特定名称指向的数据，而不允许通过指定_all 或通配符来删除指定索引库。

设置配置文件的存储路径，默认是es根目录下的config文件夹。

设置索引数据的存储路径，默认是es根目录下的data文件夹，可以设置多个存储路径，用逗号隔开，例：

path.data:/path/to/data1,/path/to/data2

设置临时文件的存储路径，默认是es根目录下的work文件夹。

设置日志文件的存储路径，默认是es根目录下的logs文件夹

设置插件的存放路径，默认是es根目录下的plugins文件夹

设置为true来锁住内存。因为当jvm开始swapping时es的效率会降低，所以要保证它不swap，可以把ES_MIN_MEM和ES_MAX_MEM两个环境变量设置成同一个值，并且保证机器有足够的内存分配给es。同时也要允许elasticsearch的进程可以锁住内存，Linux下可以通过 ulimit-l unlimited 命令。

设置绑定的ip地址，可以是ipv4或ipv6的，默认为0.0.0.0。

设置其它节点和该节点交互的ip地址，如果不设置它会自动判断，值必须是个真实的ip地址。

这个参数是用来同时设置bind_host和publish_host上面两个参数。

设置节点间交互的tcp端口，默认是9300。

设置是否压缩tcp传输时的数据，默认为false，不压缩。

设置对外服务的http端口，默认为9200。

设置内容的最大容量，默认100mb

是否使用http协议对外提供服务，默认为true，开启。

gateway的类型，默认为local即为本地文件系统，可以设置为本地文件系统，分布式文件系统，Hadoop的HDFS，和amazon的s3服务器，其它文件系统的设置方法下次再详细说。

设置这个集群中节点的数量，默认为2，一旦这N个节点启动，就会立即进行数据恢复。

预期在群集中的主节点数。一旦预期的主节点数加入集群，就会开始恢复本地分片。默认为0

预期在群集中的数据节点数。一旦预期数量的节点已加入群集，就会启动本地分片的恢复。默认为0

如果未达到预期的节点数，则恢复过程将等待配置的时间量，然后再尝试恢复。

设置初始化数据恢复进程的超时时间，默认是5分钟。

如果recover_after_time 持续时间超时，只要满足以下条件，恢复就会开始：

设置集群中N个节点启动时进行数据恢复，默认为1。意味着至少有一个节点，该集群才可用。

只要此许多数据或主节点已加入群集，即可恢复。

只要这么多主节点已加入群集，就可以恢复。

只要这么多数据节点已加入群集，就可以恢复。

初始化数据恢复时，并发恢复线程的个数，默认为4。

添加删除节点或负载均衡时并发恢复线程的个数，默认为4。

设置数据恢复时限制的带宽，如入100mb，默认为0，即无限制。

设置这个参数来限制从其它分片恢复数据时最大同时打开并发流的个数，默认为5。

设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点。默认为1，对于大的集群来说，可以设置大一点的值（2-4）

设置集群中自动发现其它节点时ping连接超时时间，默认为3秒，对于比较差的网络环境可以高点的值来防止自动发现时出错。

设置是否打开多播发现节点，默认是true。

设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点

前一段时间配置了公司offline,online的ES服务两组，根据节点分工不同，分为master，client，data三种类型节点；

服务器参数修改如下：

/etc/sysctl``.conf

增加：vm.max_map_count=262144 然后执行sysctl -p生效

/etc/security/limits.conf

elastic soft memlock unlimited

elastic hard memlock unlimited

（退出当前用户，重新登录生效）

修改配置参数如下：

master节点（内存8G）

node.name: master-56-1

node.master: true

node.voting_only: false

node.data: false

node.ingest: true

node.ml: false

cluster.remote.connect: false

http.cors.enabled: true

http.port: 9210

network.host: 100.100.200.56

transport.port: 9300

transport.compress: true

数据节点（data节点）（内存31G）

node.master: false

node.voting_only: false

node.data: true

node.ingest: false

node.ml : false

http.enabled: false

http.port: 0

network.host: 100.100.200.50

transport.port: 9300

transport.compress: true

bootstrap.memory_lock: true

cluster.remote.connect: false

cluster.routing.allocation.same_shard.host: true

indices.breaker.request.limit: 90%

thread_pool.search.max_queue_size 默认值为1000，与thread_pool.search.min_queue_size默认值一样，都为1000； 所以max_queue_size可以调为2000

thread_pool.search.size，默认生成与cpu核心数一至，可以改为cpu核心数2倍；

协调节点（client节点）（内存16G)

node.master: false

node.voting_only: false

node.data: false

node.ingest: false

node.ml : false

cluster.remote.connect: false

http.cors.enabled: true

http.port: 9200

http.cors.allow-headers: Authorization

xpack.security.enabled: true

network.host: 0.0.0.0

transport.port: 9310

transport.compress: true

bootstrap.memory_lock: true

discovery.seed_hosts: ["100.100.200.55:9300","10.110.200.56:9300","100.100.200.57:9300"]

主分片和副本分片分布在不同物理机上（这会防止同一个shard的主副本在一个物理机上）：

cluster.routing.allocation.same_shard.host: true。

一、集群搭建

1.前置操作

若克隆已有的es虚拟机，一定要清空一下文件：

2.配置集群，修改elasticsearch.yml

# 配置集群名称，保证每个节点的名称相同，如此就能都处于一个集群之内了

cluster.name: imooc-es-cluster

# 每一个节点的名称，必须不一样

node.name: es-node1

# http端口（使用默认即可）

http.port: 9200

# 主节点，作用主要是用于来管理整个集群，负责创建或删除索引，管理其他非master节点（相当于企业老总）

node.master: true

# 数据节点，用于对文档数据的增删改查

node.data: true

# 集群列表(列出所有的其它服务器ip)

discovery.seed_hosts: ["192.168.1.184", "192.168.1.185", "192.168.1.186"]

# 启动的时候使用一个master节点

cluster.initial_master_nodes: ["es-node1"]

3.可查看剔除注释的配置文件内容

more elasticsearch.yml | grep ^[^#]

4.分别启动各个节点，后查看信息

二、集群脑裂

1.集群脑裂

如果发生网络中断或者服务器宕机，那么集群会有可能被划分为两个部分，各自有自己的master管理，那么这就是脑裂

服务器1原为master，宕机后自己投票为master

2.解决方案

解决实现原理：半数以上的节点同意选举，节点方可成为master

discovery.zen.minimum_master_nodes=(N/2)+1

N为集群中master节点的数量，也就是node.master=true服务节点总数

3.ES7之后无此参数，已交由es自己管理

---