NFS 深入配置

1.1 NFS配置参数权限

参数名称

参数用途

rw

read-write，表示可读写权限

ro

read-only，表示只读权限

sync

请求或写入数据时，数据同步写入到硬盘才完成

async

异步写到远程缓冲区

all_squash

不管客户端什么用户，到服务端都会被压缩成匿名用户

anonuid

匿名用户的UID

anongid

匿名用户的GID

在配置文件内设置共享目录时所给予的权限：

[root@nfs01 ~]$ cat /etc/exports

/data 172.16.1.0/24(rw,sync) 10.0.0.0/24(ro)

配置好NFS服务后，/var/lib/nfs/etab文件中可以看到的配置参数以及默认自带的参数：

[root@nfs01 ~]$ cat /var/lib/nfs/etab

/data

172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,

no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534,

anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash

1.1.1 更改NFS默认用户

1.1.1.1 nfs01服务端NFS、以及所有客户端：

[root@nfs01 ~] id www

uid=1111(www) gid=1111(www) 组=1111(www)

1.1.1.2 服务端NFS特殊配置

配置文件增加如下内容：

[root@nfs01 ~]$ tail -2 /etc/exports

/data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111)

/data1 10.0.0.0/24(ro)

共享目录更改用户和用户组：

[root@nfs01 ~] ls -ld /data

drwxr-xr-x 2 www www 70 4月 18 10:05 /data

1.1.1.3 服务端NFS重启

[root@nfs01 ~]$ systemctl reload nfs

1.1.1.4 每个客户端挂载

[root@web01 ~] df -h

文件系统容量已用可用 已用% 挂载点

172.16.1.31:/data 19G1.8G18G10%/data

新创建文件验证用户名：

[root@web01 /data]# touch new_web01.txt

[root@web01 /data]# ls -l

总用量 0

-rw-r--r-- 1 www www 0 4月 18 11:01 new_web01.txt

-rw-r--r-- 1 www www 0 4月 17 11:59 oldboy.txt

-rw-r--r-- 1 www www 0 4月 17 12:30 oldgirl.txt

1.2 NFS服务重点知识梳理

  当多个NFS客户端访问服务器端读写文件时，需要具有以下几个权限：

NFS服务器/etc/exports设置需要开放许可写入的权限，即服务器端的共享权限

NFS服务器实际要共享的NFS目录权限具有可写入w的权限，即服务器端本地目录的安全权限

每台机器都对应存在和NFS默认配置UID的相同UID的用户

下表列出了常用的重点NFS服务文件或命令。

NFS常用路径

说明

/etc/exports

NFS服务主配置文件，配置NFS具体共享服务的地点，默认内容为空

/var/lib/nfs/etab

NFS配置文件的完整参数设定的文件

/proc/mounts

客户端的挂载参数

1.3 NFS客户端挂载深入

1.3.1 mount -o 参数选项及系统默认设置

参数

参数意义

系统默认值

suid/nosuid

当挂载的文件系统上有任何SUID的程序时，只要使用nosuid就能够取消设置SUID的功能

suid

rw/ro

可以指定文件系统是只读（ro）或可读写（rw）

rw

dev/nodev

是否可以保留装置文件的特殊功能

dev

exec/noexec

是否具有执行文件的权限

exec

user/nouser

是否允许用户拥有文件的挂载与卸载功能

nouser

auto/noauto

auto指的是“mount -a”时会不会被挂载的项目，如果不需要这个分区随时被挂载，可以设置为noauto

auto

1.3.2 mount -o 参数详细说明

参数选项

说明

async

涉及文件系统I/O的操作都是异步处理，即不会同步写到磁盘，能提高性能，但会降低数据安全。

sync

有I/O操作时，都会同步处理I/O，会降低性能，但数据比较安全。

atime

在每一次数据访问时，会更新访问文件的时间戳，是默认选项，在高并发的情况下，可以通过添加noatime来取消默认项。

ro

以只读的方式挂载一个文件系统

rw

以可读写的方式挂载一个文件系统

auto

能够被自动挂载通过-a选项

noauto

不会自动挂载文件系统

defaults

这是fstab里的默认值，包括rw、suid、dev、exec、auto、nouser、async

exec

允许文件系统执行二进制文件，取消这个参数，可以提升系统安全性。

noexec

在挂载的文件系统中不允许执行任何二进制程序，进仅对二进制程序有效。

noatime

访问文件时不更新文件的时间戳，高并发情况下，一般使用该参数

nodiratime

不更新文件系统上的directory inode时间戳，高并发环境，推荐显式应用该选项，可以提高系统I/O性能。

nosuid

不允许set-user-identifier or set-group-identifier位生效。

suid

允许set-user-identifier or set-group-identifier位生效。

nouser

禁止一个普通用户挂载该文件系统，这是默认挂载时的默认选项。

remount

尝试重新挂载一个已经挂载了的文件系统，这通常被用来改变一个文件系统的挂载标志，从而使得一个只读文件系统变的可写，这个动作不会改变设备或者挂载点。当系统故障时进人single或rescue模式修复系统时，会发现根文件系统经常会变成只读文件系统，不允许修改，此时该命令就派上用场了。具体命令为：mount -o remount,rw /,表示将根文件系统重新挂载使得可写。single或rescue模式修复系统时这个命令十分重要。

dirsync

目录更新时同步写人磁盘。

1.3.3 企业生产场景NFS共享存储优化

硬件：使用ssd/sas磁盘，可以买多块，制作成raid10。

NFS服务器端配置：

/data 10.0.0.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534)

NFS客户端挂载优化配置命令：

mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,rsize=131072,

wsize=131072 172.16.1.31:/data /mnt<===兼顾安全性能

对NFS服务的所有服务器内核进行优化，执行命令如下：

cat >>/etc/sysctl.conf <<EOF

net.core.wmen_default = 8388608

net.core.rmen_default = 8388608

net.core.wmen_max = 16777216

net.core.rmen_max = 16777216

EOF

执行sysctl -p 生效

大型网站NFS网络文件系统的替代软件为分布式文件系统，如：Moosefs（mfs）、GlusterFS、FastDFS。

1.4 NFS系统应用的优缺点

1.4.1 优点

简单，容易上手，容易掌握。

NFS文件系统内数据是在文件系统之上的，即数据是能看得见的。

部署快速维护简单方便，且可控，满足需求就是最好的。

可靠，从软件层面上看，数据可靠性高，经久耐用。

服务非常稳定。

1.4.2 缺点（局限）

存在单点故障，如果NFS服务端宕机了，所有客户端都不能访问共享目录。

在大数据高并发的场合，NFS效率、性能有限。

客户端认证是基于IP和主机名的，权限要根据ID识别，安全性一般。

NFS数据是明文的，NFS本身不对数据完整性进行验证。

多台客户机挂载一个NFS服务器时，连接管理维护麻烦。

1.4.3 解决性能问题的方法

使用CDN加速以及自己搭建文件缓存服务（squid、nginx、varnish）。

把多个目录分配到不同的NFS服务器上。

弃用NFS（即读写分离）。

使用分布式文件系统。

NFS服务端以及客户端配置

1.服务器端操作：

1）对新添加的存储盘进行分区，格式化，挂载并写入/etc/fstab，确保开机自动挂载。

2）安装相关的软件包

yum install nfs-utils rpcbind -y

3）开启服务以及设置开机自启

systemctl restart rpcbind &&systemctl enable rpcbind

systemctl restart nfs &&systemctl enable nfs

4）配置/etc/exports

共享目录 可以挂载的客户端ip/网段 权限（ro，rw，sync，no_root_squash等等）

示例：

/data01 22.250.176.110（rw,no_root_squash,sync）

/data01 22.250.176.111（rw,no_root_squash,sync）

/data02 22.250.176.113（rw,no_root_squash,sync）

/data02 22.250.176.114（rw,no_root_squash,sync）

5）配置完成重启相关服务

systemctl restart rpcbind

systemctl restart nfs

2.客户端操作：

1）安装showmount命令：

yum install nfs-utils -y

2）查看服务端共享：

showmount -e 服务端ip

3）创建挂载点供共享盘使用：

mkdir 目录名

4）挂载查看：

mount -t nfs 服务端ip:/共享目录名 挂载点

示例： mount -t nfs 22.250.176.135:/data01 /share

5）写入/etc/fstab

服务端ip:/共享目录名 挂载点 文件系统格式 客户端挂载参数 0 0

示例：22.250.176.135:/data01 /share nfs defaults,_netdev 0 0

mount -a 检查

6）检查配置情况。

对大于2T的硬盘进行分区，使用parted命令

parted -s /dev/sdb mklabel gpt

parted -s /dev/sdb mkpart primary 2048s 100%

注：服务器端的rpcbind和nfs服务在启动过程中要先启动rpcbind，在启动nfs。

一、NFS服务器配置实例

实验拓扑

二、实验要求及环境

2.1实验环境

NFS服务器 IP：192.168.8.5

环境：

[root@server7 ~]# uname -a

Linux server7.ctos.zu 3.10.0-514.el7.centos.plus.i686 #1 SMP Wed Jan 25 12:55:04 UTC 2017 i686 i686 i386 GNU/Linux

[root@server7 ~]# cat /etc/redhat-release

CentOS release 7.3.1611 (AltArch)

客户端IP：192.168.8.7

环境：

[root@client-A ~]# uname -a

Linux client-A.ctos.zu 2.6.32-696.el6.i686 #1 SMP Tue Mar 21 18:53:30 UTC 2017 i686 i686 i386 GNU/Linux

[root@client-A ~]# cat /etc/redhat-release

CentOS release 6.9 (Final)

2.2、实验要求

NFS服务器

1、/home/share 目录可读写，并且不限制用户身份，共享给192.168.8.0/24网段不的所有主机；

2、/home/zhidata 这个目录仅共享给192.168.8.7这台主机，以供该主机上面的zhi这个用户来使用，

也就是说zhi在192.168.8.5和192.168.8.7上均有账号，且账号均为zhi；

3、/home/upload 这个目录做为192.168.8.0/24网段的数据上传目录，其中/home/upload

的用户和所属组为nfs-upload这个名字，它的UID和GID均为222；

4、/home/nfs  这个目录的属性为只读，可提供除了网段内的工作站外，向Internet也提供数据内容。

三、服务器端设置

1、 编辑/etc/exports内容

[root@server7 etc]# cat /etc/exports

/home/share  192.168.8.0/24(rw,no_root_squash)

/home/zhidata  192.168.8.7(rw)

/home/upload   192.168.8.0/24(rw,all_squash,anonuid=222,anongid=222)

/home/nfs     192.168.8.0/24(ro)  *(ro,all_squash)

2、按要求建立每个对应目录

    2.1、创建/home/share目录 任何人都可以在 /home/share内新增、修改文件，但

    仅有该文件/目录的建立者与root能够删除自己的目录或文件。

    [root@server7 etc]# mkdir -p  /home/share

    [root@server7 etc]# ll -d /home/share/

    drwxr-xr-x. 2 root root 6 9月   5 15:50 /home/share/

    [root@server7 etc]# chmod 1777  /home/share/

    [root@server7 etc]# ll -d /home/share/

    drwxrwxrwt. 2 root root 6 9月   5 15:50 /home/share/

    2.2、创建/home/nfs

    [root@server7 etc]# ll -d /home/nfs/

    drwxr-xr-x. 2 root root 6 9月   5 16:52 /home/nfs/

    2.3、创建/home/zhidata目录

    [root@server7 etc]# mkdir -v /home/zhidata

    mkdir: 已创建目录 "/home/zhidata"

    [root@server7 etc]# ll -d /home/zhidata/

    drwxr-xr-x. 2 root root 6 9月   5 16:57 /home/zhidata/

    [root@server7 etc]# useradd zhi

    root@server7 etc]# passwd zhi

    更改用户 zhi 的密码 。

    新的 密码：

    无效的密码： 密码少于 8 个字符

    重新输入新的 密码：

    passwd：所有的身份验证令牌已经成功更新。

    [root@server7 etc]# cat /etc/passwd | grep zhi

    zhi:x:1000:1000:zhi:/home/zhi:/bin/bash

    [root@server7 etc]# chmod 700 /home/zhidata/

    [root@server7 etc]# chown -R zhi:zhi /home/zhidata/

    [root@server7 etc]# ll -d /home/zhidata/

    drwx------. 2 zhi zhi 6 9月   5 16:57 /home/zhidata/

    2.4、创建/home/upload目录

#先建立对应账号与组名及UID

[root@server7 etc]# groupadd  -g 222 nfs-upload

[root@server7 etc]# useradd -g 222 -u 222 -M nfs-upload

[root@server7 etc]# cat /etc/passwd|grep nfs

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

nfs-upload:x:222:222::/home/nfs-upload:/bin/bash

＃创建目录，修改属主

[root@server7 etc]# mkdir /home/upload

[root@server7 etc]# chown -R nfs-upload:nfs-upload  /home/upload/

[root@server7 etc]# ll -d /home/upload/

drwxr-xr-x. 2 nfs-upload nfs-upload 6 9月   6 08:38 /home/upload/

2.5、重启NFS服务

[root@server7 etc]# systemctl restart  nfs

[root@server7 etc]# systemctl status  nfs

● nfs-server.service - NFS server and services

   Loaded: loaded (/usr/lib/systemd/system/nfs-server.serviceenabledvendor preset: disabled)

   Active: active (exited) since 三 2017-09-06 08:41:40 CST8s ago

  Process: 9171 ExecStopPost=/usr/sbin/exportfs -f (code=exited, status=0/SUCCESS)

  Process: 9169 ExecStopPost=/usr/sbin/exportfs -au (code=exited, status=0/SUCCESS)

  Process: 9168 ExecStop=/usr/sbin/rpc.nfsd 0 (code=exited, status=0/SUCCESS)

  Process: 9181 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)

  Process: 9180 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)

 Main PID: 9181 (code=exited, status=0/SUCCESS)

   CGroup: /system.slice/nfs-server.service

9月 06 08:41:40 server7.ctos.zu systemd[1]: Starting NFS server and services...

9月 06 08:41:40 server7.ctos.zu systemd[1]: Started NFS server and services.

[root@server7 etc]# tail /var/log/messages

Sep  6 08:41:40 server7 systemd: Started NFS Mount Daemon.

Sep  6 08:41:40 server7 rpc.mountd[9178]: Version 1.3.0 starting

Sep  6 08:41:40 server7 systemd: Started NFSv4 ID-name mapping service.

Sep  6 08:41:40 server7 systemd: Starting NFS server and services...

Sep  6 08:41:40 server7 kernel: NFSD: starting 90-second grace period (net c0c932c0)

Sep  6 08:41:40 server7 systemd: Started NFS server and services.

Sep  6 08:41:40 server7 systemd: Starting Notify NFS peers of a restart...

Sep  6 08:41:40 server7 sm-notify[9198]: Version 1.3.0 starting

Sep  6 08:41:40 server7 sm-notify[9198]: Already notifying clientsExiting!

Sep  6 08:41:40 server7 systemd: Started Notify NFS peers of a restart.

2.6、查看NFS服务器共享出来目录

2.7、关闭防火墙、selinux

2.8查看配置

[root@server7 ~]# exportfs -v

/home/zhidata     192.168.8.7(rw,wdelay,root_squash,no_subtree_check,sec=sys,rw,secure,root_squash,no_all_squash)

/home/share       192.168.8.0/24(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,secure,no_root_squash,no_all_squash)

/home/upload      192.168.8.0/24(rw,wdelay,root_squash,all_squash,no_subtree_check,anonuid=222,anongid=222,sec=sys,rw,secure,root_squash,all_squash)

/home/nfs         192.168.8.0/24(ro,wdelay,root_squash,no_subtree_check,sec=sys,ro,secure,root_squash,no_all_squash)

/home/nfs         <world>(ro,wdelay,root_squash,all_squash,no_subtree_check,sec=sys,ro,secure,root_squash,all_squash)

四、客户端配置

4.1、客户端也要安装nfs-utils和rcpbind软件包

[root@client-A ~]# yum install nfs-utils rpcbind -y

4.2、启动RPC

[root@client-A ~]# service rpcbind start  /systemctl start rpcbind

Starting rpcbind:                                          [  OK  ]

[root@client-A ~]# service rpcbind status

rpcbind (pid  1926) is running...

[root@client-A ~]# chkconfig --list |grep rpcbind

4.3、客户端关闭防火墙、selinux

[root@client-A ~]# service iptables stop /systemctl stop firewalld

iptables: Setting chains to policy ACCEPT: filter          [  OK  ]

iptables: Flushing firewall rules:                         [  OK  ]

iptables: Unloading modules:                               [  OK  ]

4.4　测试网络

[root@client-A ~]# ping 192.168.8.5

PING 192.168.8.5 (192.168.8.5) 56(84) bytes of data.

64 bytes from 192.168.8.5: icmp_seq=1 ttl=64 time=2.16 ms

64 bytes from 192.168.8.5: icmp_seq=2 ttl=64 time=0.697 ms

64 bytes from 192.168.8.5: icmp_seq=3 ttl=64 time=0.346 ms

64 bytes from 192.168.8.5: icmp_seq=4 ttl=64 time=0.336 ms

64 bytes from 192.168.8.5: icmp_seq=5 ttl=64 time=0.335 ms

64 bytes from 192.168.8.5: icmp_seq=6 ttl=64 time=0.317 ms

64 bytes from 192.168.8.5: icmp_seq=7 ttl=64 time=0.512 ms

64 bytes from 192.168.8.5: icmp_seq=8 ttl=64 time=0.320 ms

^C

--- 192.168.8.5 ping statistics ---

8 packets transmitted, 8 received, 0% packet loss, time 7555ms

rtt min/avg/max/mdev = 0.317/0.629/2.169/0.595 ms

4.5 在客户端查看NFS服务器共享出来目录

[root@client-A ~]# showmount -e 192.168.8.5

Export list for 192.168.8.5:

/home/nfs     (everyone)

/home/upload  192.168.8.0/24

/home/share   192.168.8.0/24

/home/zhidata 192.168.8.7

4.6、挂载NFS服务器上/home/nfs目录到本地/opt/data目录下

#临时挂载

#永久挂载

编辑、/etc/fstab文件，新增如下条目：

192.168.8.5:/home/nfs  /opt/data/nfs4defaults0 0

更多信息参考 nfs参数详解

#查看信息

[root@client-A data] # df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

                      6.5G  644M  5.6G  11% /

tmpfs                 250M     0  250M   0% /dev/shm

/dev/sda1             477M   26M  426M   6% /boot

192.168.8.5:/home/nfs

                      8.0G  1.6G  6.5G  20% /opt/data

[root@client-A data]# mount

/dev/mapper/VolGroup-lv_root on / type ext4 (rw)

proc on /proc type proc (rw)

sysfs on /sys type sysfs (rw)

devpts on /dev/pts type devpts (rw,gid=5,mode=620)

tmpfs on /dev/shm type tmpfs (rw)

/dev/sda1 on /boot type ext4 (rw)

none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)

sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)

nfsd on /proc/fs/nfsd type nfsd (rw)

192.168.8.5:/home/nfs on /opt/data type nfs (rw,vers=4,addr=192.168.8.5,clientaddr=192.168.8.7)

#创建文件测试

[root@client-A data]# touch testabc

touch: cannot touch `testabc': Read-only file system

4.7挂载/home/upload 目录到客户端/opt/upload目录下

#挂载

[root@client-A data]# mkdir /opt/upload

[root@client-A data]# mount -t nfs  192.168.8.5:/home/upload   /opt/upload/

#查看挂载是否成功

[root@client-A data]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

                      6.5G  644M  5.6G  11% /

tmpfs                 250M     0  250M   0% /dev/shm

/dev/sda1             477M   26M  426M   6% /boot

192.168.8.5:/home/nfs

                      8.0G  1.6G  6.5G  20% /opt/data

192.168.8.5:/home/upload

                      8.0G  1.6G  6.5G  20% /opt/upload

#客户端创建nfs-upload用户

[root@client-A ~]# groupadd  -g 222 nfs-upload

[root@client-A ~]# useradd -g 222 -u 222 -m nfs-upload

#测试，可以看到创建的文件及目录默认属主为nfs-upload属组为nfs-upload

[zhi@client-A upload]$ pwd

/opt/upload

[zhi@client-A upload]$ ll

total 0

#测试创建文件

[zhi@client-A upload]$ touch test123

测试创建目录

[zhi@client-A upload]$ mkdir  testdir

[zhi@client-A upload]$ ll -a

total 4

drwxr-xr-x  3 nfs-upload nfs-upload   36 Sep  6 10:28 .

drwxr-xr-x. 4 root       root       4096 Sep  6 18:22 ..

-rw-rw-r--  1 nfs-upload nfs-upload    0 Sep  6 10:28 test123

drwxrwxr-x  2 nfs-upload nfs-upload    6 Sep  6 10:28 testdir

# 在客户端用root用户创建文件测试

root@client-A upload]# touch testabc

[root@client-A upload]# ll

total 0

-rw-r--r-- 1 root       root       0 Sep  6 10:31 nfstest123

-rw-r--r-- 1 nfs-upload nfs-upload 0 Sep  6 10:32 testabc

drwxrwxr-x 2 nfs-upload nfs-upload 6 Sep  6 10:28 testdir

可以看到用root用户创建的文件属主仍是nfs-upload

#测试删除文件

[zhi@client-A upload]$ rm test123

[zhi@client-A upload]$ ll

total 0

drwxrwxr-x 2 nfs-upload nfs-upload 6 Sep  6 10:28 testdir

---