NFS 深入配置

1.1 NFS配置参数权限 参数名称 参数用途 rw read-write，表示可读写权限 ro read-only，表示只读权限 sync 请求或写入数据时，数据同步写入到硬盘才完成 async 异步写到远程缓冲区 all_squash 不管客户端什么用户，到服务端都会被压缩成匿名用户 anonuid 匿名用户的UID anongid 匿名用户的GID 在配置文件内设置共享目录时所给予的权限： [root@nfs01 ~]$ cat /etc/exports /data 172.16.1.0/24(rw,sync) 10.0.0.0/24(ro) 配置好NFS服务后，/var/lib/nfs/etab文件中可以看到的配置参数以及默认自带的参数： [root@nfs01 ~]$ cat /var/lib/nfs/etab /data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash, no_all_squash,no_subtree_check,secure_locks,acl,no_pnfs,anonuid=65534, anongid=65534,sec=sys,rw,secure,root_squash,no_all_squash 1.1.1 更改NFS默认用户 1.1.1.1 nfs01服务端NFS、以及所有客户端： [root@nfs01 ~] id www uid=1111(www) gid=1111(www) 组=1111(www) 1.1.1.2 服务端NFS特殊配置 配置文件增加如下内容： [root@nfs01 ~]$ tail -2 /etc/exports /data 172.16.1.0/24(rw,sync,all_squash,anonuid=1111,anongid=1111) /data1 10.0.0.0/24(ro) 共享目录更改用户和用户组： [root@nfs01 ~] ls -ld /data drwxr-xr-x 2 www www 70 4月 18 10:05 /data 1.1.1.3 服务端NFS重启 [root@nfs01 ~]$ systemctl reload nfs 1.1.1.4 每个客户端挂载 [root@web01 ~] df -h 文件系统容量已用可用 已用% 挂载点 172.16.1.31:/data 19G1.8G18G10%/data 新创建文件验证用户名： [root@web01 /data]# touch new_web01.txt [root@web01 /data]# ls -l 总用量 0 -rw-r--r-- 1 www www 0 4月 18 11:01 new_web01.txt -rw-r--r-- 1 www www 0 4月 17 11:59 oldboy.txt -rw-r--r-- 1 www www 0 4月 17 12:30 oldgirl.txt 1.2 NFS服务重点知识梳理   当多个NFS客户端访问服务器端读写文件时，需要具有以下几个权限： NFS服务器/etc/exports设置需要开放许可写入的权限，即服务器端的共享权限 NFS服务器实际要共享的NFS目录权限具有可写入w的权限，即服务器端本地目录的安全权限 每台机器都对应存在和NFS默认配置UID的相同UID的用户 下表列出了常用的重点NFS服务文件或命令。 NFS常用路径 说明 /etc/exports NFS服务主配置文件，配置NFS具体共享服务的地点，默认内容为空 /var/lib/nfs/etab NFS配置文件的完整参数设定的文件 /proc/mounts 客户端的挂载参数 1.3 NFS客户端挂载深入 1.3.1 mount -o 参数选项及系统默认设置 参数 参数意义 系统默认值 suid/nosuid 当挂载的文件系统上有任何SUID的程序时，只要使用nosuid就能够取消设置SUID的功能 suid rw/ro 可以指定文件系统是只读（ro）或可读写（rw） rw dev/nodev 是否可以保留装置文件的特殊功能 dev exec/noexec 是否具有执行文件的权限 exec user/nouser 是否允许用户拥有文件的挂载与卸载功能 nouser auto/noauto auto指的是“mount -a”时会不会被挂载的项目，如果不需要这个分区随时被挂载，可以设置为noauto auto 1.3.2 mount -o 参数详细说明 参数选项 说明 async 涉及文件系统I/O的操作都是异步处理，即不会同步写到磁盘，能提高性能，但会降低数据安全。 sync 有I/O操作时，都会同步处理I/O，会降低性能，但数据比较安全。 atime 在每一次数据访问时，会更新访问文件的时间戳，是默认选项，在高并发的情况下，可以通过添加noatime来取消默认项。 ro 以只读的方式挂载一个文件系统 rw 以可读写的方式挂载一个文件系统 auto 能够被自动挂载通过-a选项 noauto 不会自动挂载文件系统 defaults 这是fstab里的默认值，包括rw、suid、dev、exec、auto、nouser、async exec 允许文件系统执行二进制文件，取消这个参数，可以提升系统安全性。 noexec 在挂载的文件系统中不允许执行任何二进制程序，进仅对二进制程序有效。 noatime 访问文件时不更新文件的时间戳，高并发情况下，一般使用该参数 nodiratime 不更新文件系统上的directory inode时间戳，高并发环境，推荐显式应用该选项，可以提高系统I/O性能。 nosuid 不允许set-user-identifier or set-group-identifier位生效。 suid 允许set-user-identifier or set-group-identifier位生效。 nouser 禁止一个普通用户挂载该文件系统，这是默认挂载时的默认选项。 remount 尝试重新挂载一个已经挂载了的文件系统，这通常被用来改变一个文件系统的挂载标志，从而使得一个只读文件系统变的可写，这个动作不会改变设备或者挂载点。当系统故障时进人single或rescue模式修复系统时，会发现根文件系统经常会变成只读文件系统，不允许修改，此时该命令就派上用场了。具体命令为：mount -o remount,rw /,表示将根文件系统重新挂载使得可写。single或rescue模式修复系统时这个命令十分重要。 dirsync 目录更新时同步写人磁盘。 1.3.3 企业生产场景NFS共享存储优化 硬件：使用ssd/sas磁盘，可以买多块，制作成raid10。 NFS服务器端配置： /data 10.0.0.0/24(rw,sync,all_squash,anonuid=65534,anongid=65534) NFS客户端挂载优化配置命令： mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,rsize=131072, wsize=131072 172.16.1.31:/data /mnt<===兼顾安全性能 对NFS服务的所有服务器内核进行优化，执行命令如下： cat >>/etc/sysctl.conf <<EOF net.core.wmen_default = 8388608 net.core.rmen_default = 8388608 net.core.wmen_max = 16777216 net.core.rmen_max = 16777216 EOF 执行sysctl -p 生效 大型网站NFS网络文件系统的替代软件为分布式文件系统，如：Moosefs（mfs）、GlusterFS、FastDFS。 1.4 NFS系统应用的优缺点 1.4.1 优点 简单，容易上手，容易掌握。 NFS文件系统内数据是在文件系统之上的，即数据是能看得见的。 部署快速维护简单方便，且可控，满足需求就是最好的。 可靠，从软件层面上看，数据可靠性高，经久耐用。 服务非常稳定。 1.4.2 缺点（局限） 存在单点故障，如果NFS服务端宕机了，所有客户端都不能访问共享目录。 在大数据高并发的场合，NFS效率、性能有限。 客户端认证是基于IP和主机名的，权限要根据ID识别，安全性一般。 NFS数据是明文的，NFS本身不对数据完整性进行验证。 多台客户机挂载一个NFS服务器时，连接管理维护麻烦。 1.4.3 解决性能问题的方法 使用CDN加速以及自己搭建文件缓存服务（squid、nginx、varnish）。 把多个目录分配到不同的NFS服务器上。 弃用NFS（即读写分离）。 使用分布式文件系统。

由于实验室的项目需要实现在CephFS之上建立NFS之上，所以记录一下NFS服务器的安装与配置流程。

NFS 服务器可以让客户端将网络远程的 NFS 服务器分享的目录，直接挂载到本地端的机器当中。本地端的机器通过直接读写挂载的目录，就可以同步到NFS服务器之上。

系统平台：Ubuntu 14.04

NFS Server IP：192.168.1.2

iptables关闭: Firewall is disable.（NFS端口使用在默认情况下是不固定，所以若配置NFS服务器需要搭配防火墙使用的话，请配置固定端口）

SELINUX=disabled

NFS的安装只需要安装rpcbind与nfs-server就可以对外提供服务了。

NFS服务器的主要配置文件就是：/etc/exports。不过这个配置文件不一定会存在，可能需要使用 vim 主动新建这个文件。

/etc/exports文件由以下选项构成：

每一行最前面是要分享出来的目录，目录可以依照不同的权限分享给不同的主机。若权限参数不止一个时，则以逗号 (,) 分开。且主机名与小括号是连在一起的喔！其中参数是可选的，当不指定参数时，nfs将使用默认选项。默认的共享选项是 sync,ro,root_squash,no_delay 当主机名或IP地址为空时，则代表共享给任意客户机提供服务。

下面是一些NFS共享的常用参数：

这里我们使用了NFS v3的配置，如下图所示：

配置完/etc/exports之后，接下来就可以启动NFS服务器了。

为了使NFS服务器能正常工作，需要启动rpcbind和nfs-kernel-server两个服务，并且rpcbind一定要先于nfs-kernel-server启动。

若要开机自启动nfs服务，可以通过sysv-rc-conf配置自启动服务。

客户端的挂载很简单，先建立一个挂载目录

之后客户端对应的文件目录便挂载上对应的文件系统了。

客户端可以通过命令配置开机自启动挂载NFS的文件系统。

将对应的命令 mount -t nfs 192.168.12:/tmp /mnt/nfs

添加至/etc/rc.d/local，不要尝试在直接在/etc/fstab/里挂载

小结 :梳理了一下在ubuntu之下NFS服务器的安装与配置。当然RedHat系列的发行版也是大同小异。若有疏漏，望指点斧正。

一、NFS服务器配置实例

实验拓扑

二、实验要求及环境

2.1实验环境

NFS服务器 IP：192.168.8.5

环境：

[root@server7 ~]# uname -a

Linux server7.ctos.zu 3.10.0-514.el7.centos.plus.i686 #1 SMP Wed Jan 25 12:55:04 UTC 2017 i686 i686 i386 GNU/Linux

[root@server7 ~]# cat /etc/redhat-release

CentOS release 7.3.1611 (AltArch)

客户端IP：192.168.8.7

环境：

[root@client-A ~]# uname -a

Linux client-A.ctos.zu 2.6.32-696.el6.i686 #1 SMP Tue Mar 21 18:53:30 UTC 2017 i686 i686 i386 GNU/Linux

[root@client-A ~]# cat /etc/redhat-release

CentOS release 6.9 (Final)

2.2、实验要求

NFS服务器

1、/home/share 目录可读写，并且不限制用户身份，共享给192.168.8.0/24网段不的所有主机；

2、/home/zhidata 这个目录仅共享给192.168.8.7这台主机，以供该主机上面的zhi这个用户来使用，

也就是说zhi在192.168.8.5和192.168.8.7上均有账号，且账号均为zhi；

3、/home/upload 这个目录做为192.168.8.0/24网段的数据上传目录，其中/home/upload

的用户和所属组为nfs-upload这个名字，它的UID和GID均为222；

4、/home/nfs  这个目录的属性为只读，可提供除了网段内的工作站外，向Internet也提供数据内容。

三、服务器端设置

1、 编辑/etc/exports内容

[root@server7 etc]# cat /etc/exports

/home/share  192.168.8.0/24(rw,no_root_squash)

/home/zhidata  192.168.8.7(rw)

/home/upload   192.168.8.0/24(rw,all_squash,anonuid=222,anongid=222)

/home/nfs     192.168.8.0/24(ro)  *(ro,all_squash)

2、按要求建立每个对应目录

    2.1、创建/home/share目录 任何人都可以在 /home/share内新增、修改文件，但

    仅有该文件/目录的建立者与root能够删除自己的目录或文件。

    [root@server7 etc]# mkdir -p  /home/share

    [root@server7 etc]# ll -d /home/share/

    drwxr-xr-x. 2 root root 6 9月   5 15:50 /home/share/

    [root@server7 etc]# chmod 1777  /home/share/

    [root@server7 etc]# ll -d /home/share/

    drwxrwxrwt. 2 root root 6 9月   5 15:50 /home/share/

    2.2、创建/home/nfs

    [root@server7 etc]# ll -d /home/nfs/

    drwxr-xr-x. 2 root root 6 9月   5 16:52 /home/nfs/

    2.3、创建/home/zhidata目录

    [root@server7 etc]# mkdir -v /home/zhidata

    mkdir: 已创建目录 "/home/zhidata"

    [root@server7 etc]# ll -d /home/zhidata/

    drwxr-xr-x. 2 root root 6 9月   5 16:57 /home/zhidata/

    [root@server7 etc]# useradd zhi

    root@server7 etc]# passwd zhi

    更改用户 zhi 的密码 。

    新的 密码：

    无效的密码： 密码少于 8 个字符

    重新输入新的 密码：

    passwd：所有的身份验证令牌已经成功更新。

    [root@server7 etc]# cat /etc/passwd | grep zhi

    zhi:x:1000:1000:zhi:/home/zhi:/bin/bash

    [root@server7 etc]# chmod 700 /home/zhidata/

    [root@server7 etc]# chown -R zhi:zhi /home/zhidata/

    [root@server7 etc]# ll -d /home/zhidata/

    drwx------. 2 zhi zhi 6 9月   5 16:57 /home/zhidata/

    2.4、创建/home/upload目录

#先建立对应账号与组名及UID

[root@server7 etc]# groupadd  -g 222 nfs-upload

[root@server7 etc]# useradd -g 222 -u 222 -M nfs-upload

[root@server7 etc]# cat /etc/passwd|grep nfs

rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin

nfsnobody:x:65534:65534:Anonymous NFS User:/var/lib/nfs:/sbin/nologin

nfs-upload:x:222:222::/home/nfs-upload:/bin/bash

＃创建目录，修改属主

[root@server7 etc]# mkdir /home/upload

[root@server7 etc]# chown -R nfs-upload:nfs-upload  /home/upload/

[root@server7 etc]# ll -d /home/upload/

drwxr-xr-x. 2 nfs-upload nfs-upload 6 9月   6 08:38 /home/upload/

2.5、重启NFS服务

[root@server7 etc]# systemctl restart  nfs

[root@server7 etc]# systemctl status  nfs

● nfs-server.service - NFS server and services

   Loaded: loaded (/usr/lib/systemd/system/nfs-server.serviceenabledvendor preset: disabled)

   Active: active (exited) since 三 2017-09-06 08:41:40 CST8s ago

  Process: 9171 ExecStopPost=/usr/sbin/exportfs -f (code=exited, status=0/SUCCESS)

  Process: 9169 ExecStopPost=/usr/sbin/exportfs -au (code=exited, status=0/SUCCESS)

  Process: 9168 ExecStop=/usr/sbin/rpc.nfsd 0 (code=exited, status=0/SUCCESS)

  Process: 9181 ExecStart=/usr/sbin/rpc.nfsd $RPCNFSDARGS (code=exited, status=0/SUCCESS)

  Process: 9180 ExecStartPre=/usr/sbin/exportfs -r (code=exited, status=0/SUCCESS)

 Main PID: 9181 (code=exited, status=0/SUCCESS)

   CGroup: /system.slice/nfs-server.service

9月 06 08:41:40 server7.ctos.zu systemd[1]: Starting NFS server and services...

9月 06 08:41:40 server7.ctos.zu systemd[1]: Started NFS server and services.

[root@server7 etc]# tail /var/log/messages

Sep  6 08:41:40 server7 systemd: Started NFS Mount Daemon.

Sep  6 08:41:40 server7 rpc.mountd[9178]: Version 1.3.0 starting

Sep  6 08:41:40 server7 systemd: Started NFSv4 ID-name mapping service.

Sep  6 08:41:40 server7 systemd: Starting NFS server and services...

Sep  6 08:41:40 server7 kernel: NFSD: starting 90-second grace period (net c0c932c0)

Sep  6 08:41:40 server7 systemd: Started NFS server and services.

Sep  6 08:41:40 server7 systemd: Starting Notify NFS peers of a restart...

Sep  6 08:41:40 server7 sm-notify[9198]: Version 1.3.0 starting

Sep  6 08:41:40 server7 sm-notify[9198]: Already notifying clientsExiting!

Sep  6 08:41:40 server7 systemd: Started Notify NFS peers of a restart.

2.6、查看NFS服务器共享出来目录

2.7、关闭防火墙、selinux

2.8查看配置

[root@server7 ~]# exportfs -v

/home/zhidata     192.168.8.7(rw,wdelay,root_squash,no_subtree_check,sec=sys,rw,secure,root_squash,no_all_squash)

/home/share       192.168.8.0/24(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,secure,no_root_squash,no_all_squash)

/home/upload      192.168.8.0/24(rw,wdelay,root_squash,all_squash,no_subtree_check,anonuid=222,anongid=222,sec=sys,rw,secure,root_squash,all_squash)

/home/nfs         192.168.8.0/24(ro,wdelay,root_squash,no_subtree_check,sec=sys,ro,secure,root_squash,no_all_squash)

/home/nfs         <world>(ro,wdelay,root_squash,all_squash,no_subtree_check,sec=sys,ro,secure,root_squash,all_squash)

四、客户端配置

4.1、客户端也要安装nfs-utils和rcpbind软件包

[root@client-A ~]# yum install nfs-utils rpcbind -y

4.2、启动RPC

[root@client-A ~]# service rpcbind start  /systemctl start rpcbind

Starting rpcbind:                                          [  OK  ]

[root@client-A ~]# service rpcbind status

rpcbind (pid  1926) is running...

[root@client-A ~]# chkconfig --list |grep rpcbind

4.3、客户端关闭防火墙、selinux

[root@client-A ~]# service iptables stop /systemctl stop firewalld

iptables: Setting chains to policy ACCEPT: filter          [  OK  ]

iptables: Flushing firewall rules:                         [  OK  ]

iptables: Unloading modules:                               [  OK  ]

4.4　测试网络

[root@client-A ~]# ping 192.168.8.5

PING 192.168.8.5 (192.168.8.5) 56(84) bytes of data.

64 bytes from 192.168.8.5: icmp_seq=1 ttl=64 time=2.16 ms

64 bytes from 192.168.8.5: icmp_seq=2 ttl=64 time=0.697 ms

64 bytes from 192.168.8.5: icmp_seq=3 ttl=64 time=0.346 ms

64 bytes from 192.168.8.5: icmp_seq=4 ttl=64 time=0.336 ms

64 bytes from 192.168.8.5: icmp_seq=5 ttl=64 time=0.335 ms

64 bytes from 192.168.8.5: icmp_seq=6 ttl=64 time=0.317 ms

64 bytes from 192.168.8.5: icmp_seq=7 ttl=64 time=0.512 ms

64 bytes from 192.168.8.5: icmp_seq=8 ttl=64 time=0.320 ms

^C

--- 192.168.8.5 ping statistics ---

8 packets transmitted, 8 received, 0% packet loss, time 7555ms

rtt min/avg/max/mdev = 0.317/0.629/2.169/0.595 ms

4.5 在客户端查看NFS服务器共享出来目录

[root@client-A ~]# showmount -e 192.168.8.5

Export list for 192.168.8.5:

/home/nfs     (everyone)

/home/upload  192.168.8.0/24

/home/share   192.168.8.0/24

/home/zhidata 192.168.8.7

4.6、挂载NFS服务器上/home/nfs目录到本地/opt/data目录下

#临时挂载

#永久挂载

编辑、/etc/fstab文件，新增如下条目：

192.168.8.5:/home/nfs  /opt/data/nfs4defaults0 0

更多信息参考 nfs参数详解

#查看信息

[root@client-A data] # df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

                      6.5G  644M  5.6G  11% /

tmpfs                 250M     0  250M   0% /dev/shm

/dev/sda1             477M   26M  426M   6% /boot

192.168.8.5:/home/nfs

                      8.0G  1.6G  6.5G  20% /opt/data

[root@client-A data]# mount

/dev/mapper/VolGroup-lv_root on / type ext4 (rw)

proc on /proc type proc (rw)

sysfs on /sys type sysfs (rw)

devpts on /dev/pts type devpts (rw,gid=5,mode=620)

tmpfs on /dev/shm type tmpfs (rw)

/dev/sda1 on /boot type ext4 (rw)

none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)

sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)

nfsd on /proc/fs/nfsd type nfsd (rw)

192.168.8.5:/home/nfs on /opt/data type nfs (rw,vers=4,addr=192.168.8.5,clientaddr=192.168.8.7)

#创建文件测试

[root@client-A data]# touch testabc

touch: cannot touch `testabc': Read-only file system

4.7挂载/home/upload 目录到客户端/opt/upload目录下

#挂载

[root@client-A data]# mkdir /opt/upload

[root@client-A data]# mount -t nfs  192.168.8.5:/home/upload   /opt/upload/

#查看挂载是否成功

[root@client-A data]# df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/mapper/VolGroup-lv_root

                      6.5G  644M  5.6G  11% /

tmpfs                 250M     0  250M   0% /dev/shm

/dev/sda1             477M   26M  426M   6% /boot

192.168.8.5:/home/nfs

                      8.0G  1.6G  6.5G  20% /opt/data

192.168.8.5:/home/upload

                      8.0G  1.6G  6.5G  20% /opt/upload

#客户端创建nfs-upload用户

[root@client-A ~]# groupadd  -g 222 nfs-upload

[root@client-A ~]# useradd -g 222 -u 222 -m nfs-upload

#测试，可以看到创建的文件及目录默认属主为nfs-upload属组为nfs-upload

[zhi@client-A upload]$ pwd

/opt/upload

[zhi@client-A upload]$ ll

total 0

#测试创建文件

[zhi@client-A upload]$ touch test123

测试创建目录

[zhi@client-A upload]$ mkdir  testdir

[zhi@client-A upload]$ ll -a

total 4

drwxr-xr-x  3 nfs-upload nfs-upload   36 Sep  6 10:28 .

drwxr-xr-x. 4 root       root       4096 Sep  6 18:22 ..

-rw-rw-r--  1 nfs-upload nfs-upload    0 Sep  6 10:28 test123

drwxrwxr-x  2 nfs-upload nfs-upload    6 Sep  6 10:28 testdir

# 在客户端用root用户创建文件测试

root@client-A upload]# touch testabc

[root@client-A upload]# ll

total 0

-rw-r--r-- 1 root       root       0 Sep  6 10:31 nfstest123

-rw-r--r-- 1 nfs-upload nfs-upload 0 Sep  6 10:32 testabc

drwxrwxr-x 2 nfs-upload nfs-upload 6 Sep  6 10:28 testdir

可以看到用root用户创建的文件属主仍是nfs-upload

#测试删除文件

[zhi@client-A upload]$ rm test123

[zhi@client-A upload]$ ll

total 0

drwxrwxr-x 2 nfs-upload nfs-upload 6 Sep  6 10:28 testdir

---