1 基础知识

1.1 简述和应用场景

  1. 简述
    NFS :网络文件系统(network file system),通过网络让不同的主机系统之间可以共享文件或目录,客户端通过挂载服务端目录到本地的方式访问服务端
  2. 应用场景:
    多台web集群通过负载均衡器对外提供访问时,将所有图片、附件、视频等存储在一个特定服务器上,避免了分散存储在web服务器上的数据同步问题

1.2 好处和原理

  1. 现共享存储好处:
    • 实现数据统一一致
    • 节省网站磁盘资源
    • 节省网站访问带宽
  2. 端口和RPC:
    NFS没有固定的对外端口,每次启动都会随机选择空闲端口,要让客户端能够通过网络访问NFS共享,就要用到RPC服务,RPC服务相当于中介,NFS每次启动都会向RPC通知端口信息,客户访问NFS共享也是先找RPC获取NFS的端口再以该端口访问NFS共享的资源
  3. RPC服务要先于NFS服务启动,NFS才能正常工作
    NFS共享存储服务的原理:
    nfs服务端创建共享存储目录
    nfs客户端创建远程挂载点目录
    nfs客户端进行远程挂载
    实现客户端数据信息统一一致

2 NFS服务部署

2.1 环境信息

2.1.1 系统信息

1
2
3
4
[root@xxx ~]# cat /etc/redhat-release 
CentOS release 6.9 (Final)
uname -r
2.6.32-696.el6.x86_64

2.1.2 服务器信息

服务器名 IP地地址 服务器用途
nfs01 192.168.1.41 nfs备份服务器
web01 192.168.1.7 web服务器
web02 192.168.1.8 web服务器
web03 192.168.1.9 web服务器

2.2 服务端部署

检查并安装NFS服务

1
2
3
4
rpm -aq|egrep "nfs-utils|rpcbind"
yum install nfs-utils rpcbind -y
rpm -aq|egrep "nfs-utils|rpcbind"
#检查这两个软件是否安装,安装完成后再次检查

2) 编辑nfs配置文件

1
2
3
cat >>/etc/exports <<"EOF"
/data 172.16.1.0/24(rw,sync)
EOF

该文件默认存在

3) 创建共享目录并授权

1
2
3
mkdir /data
chown -R nfsnobody.nfsnobody /data
# nfsnobody用户是安装nfs程序时自动创建的

启动rpc和NFS服务

1
2
/etc/init.d/rpcbind start
/etc/init.d/nfs start

需先启动rpc服务

5) 检查服务状况和共享目录是否可用

1
2
3
4
5
[root@xxx ~]# rpcinfo -p 172.16.1.31
#有rpc服务的111端口,nfs服务的2049端口,和很多mount端口,表示正确
[root@xxx ~]# showmount -e 10.0.0.31
Export list for 172.16.1.31:
/data 172.1.1.0/24

如果出现以上结果,表示服务端配置成功
最好在本地挂载一次,挂载成功在取消挂载,至少可以确认服务端配置正确,能够挂载

6) 设置开机自启动并检查

1
2
3
chkconfig nfs on
chkconfig rpcbind on
chkconfig --list|egrep "nfs|rpcbind"

2.3 客户端部署[3台一样的操作]

检查并安装NFS服务

1
2
rpm -aq|egrep "nfs-utils|rpcbind"
yum install nfs-utils rpcbind -y

进行共享目录挂载

1
2
3
4
5
[root@xxx ~]# showmount -e 172.16.1.31
[root@xxx ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@xxx ~]# df -h|tail -1
Filesystem Size Used Avail Use% Mounted on
172.16.1.31:/data 8.6G 1.9G 6.4G 23% /mnt

设置开机自启动挂载

1
echo " mount -t nfs 172.16.1.31:/date /mnt " >>/etc/rc.local

不要放入/etc/fatab做开机启动,因为fstab启动较早,那个时候网络服务还未启动,挂载会失败

4) 进行共享存储测试

说明:
在本机的mnt目录中创建的数据,在nfs和其他挂载了此目录的服务器上都可以看到,即已经实现数据共享存储

3 配置和进程等说明

3.1 NFS共享文件系统相关重要文件说明

1
2
3
4
5
/etc/exports			nfs服务主配置文件
/usr/sbin/showmount 查看nfs服务共享目录信息
/usr/sbin/rpcinfo 查看rpc服务中是否有房源注册信息
/var/lib/nfs/etab 用于查看nfs服务默认配置信息
/proc/mounts nfs客户端mount挂载参数(可以查看默认挂载参数信息)

3.2 NFS服务启动的进程说明

3.3 NFS配置文件说明:

常见配置和参数说明

1
2
3
[root@xxx ~]# cat /etc/exports
/date 172.16.1.0/24(rw,sync)
[目录] [客户端地址][权限]
  • 目录
    要共享的目录,使用绝对路径,需要属于nfsnobody用户,且注意读写权限
  • 客户端地址
    可以为单独的IP地址,主机名,域名,网段地址,*[所有]
  • 权限[与地址之间无空格],推荐使用红色权限
1
2
3
4
5
6
7
8
9
10
11
rw		读写;
ro 只读;
sync [默认]直接写入硬盘;
async 异步写入硬盘(先写入内存缓冲区)
all_squash 压缩所有用户的权限为压缩为匿名用户[nfsnobody]
no_all_squash [默认]不进行用户权限压缩
root_squash [默认]压缩root用户的权限为匿名用户[nfsnobody]
no_root_squash 不压缩root用户权限(危险,少用)
anonuid 匿名用户uid,默认即可
anongid 匿名用户gid,默认即可
注意:文章最后有详细上述几个参数关系图解

更多配置[一般不管]

1
2
[root@xxx ~]# cat /var/lib/nfs/etab
/data 172.16.1.0/24(rw,sync,wdelay,hide,nocrossmnt,secure,root_squash,no_all_squash,no_subtree_check,secure_locks,acl,anonuid=65534,anongid=65534,sec=sys,rw,root_squash,no_all_squash)

可以看到,除了我们配置在export文件中的参数,还有许多系统自己预定义的参数,如创建用户

3.4 NFS共享文件系统权限参数设置梳理

  1. NFS服务器/etc/exports设置需要开放可写入的权限,即服务器端的共享权限。
  2. NFS服务器实际要共享的NFS目录权限具有可写入w的权限
  3. 每台机器对应存在和NFS默认配置UID的相同UID 65534的nfsnobody用户
    (确保所有客户端的访问权限统一,否则每个机器需要同时建立相同UID的用户,并覆盖NFS的默认用户配置)

只有满足上述三个条件,多个NFS客户端才能具有查看、修改、删除其他任意NFS客户端上传文件的权限,这在大规模的集群环境中作为集群共享存储时尤为重要

3.5 常见问题

1
2
3
4
5
[root@xxx ~]# showmount -e server_ip
clnt_create: PRC: Program not registered
#服务端服务启动顺序有问题
clnt_create: PRC: Port mapper failure - Unable to receive: errno 111(Connetcion refused)
#防火墙问题或服务没有启动,或端口没有开启

3.6 各参数关系图解