1 查看挂载配置:

1
2
cat /var/lib/nfs/etab	查看NFS服务器端配置参数的细节
cat /proc/mounts 查看客户端mount的挂载参数细节

2 NFS客户端mount挂载参数说明

1
2
3
4
5
fg/bg		默认[fg],在客户端执行挂载时,可以选择在前台(fg)执行还是在后台(bg)执行
soft/hart 默认[hart]当网络和server出问题时,soft参数会在超时后停止挂载,hard参数会一直挂载直到成功(但可能造成客户端无响应,常配合intr参数使用)
intr 当hard挂载资源timeout后,若使用intr参数可在超时后终端挂载,防止NFS锁死
resize/wsize 读出和写入的区块大小,影响客户端与服务器段传输数据的缓冲存储量
proto=tcp 默认[tcp]传输使用的协议,跨internet建议tcp有较好的纠错能力,内网建议用udp提高性能

3 挂载模式建议:

追求极致:

1
mount -t nfs -o fg,hart,intr,resize=13107,wsize=131072 172.16.1.31:/date/ /mnt

简单易用:

1
2
mount -t nfs 172.16.1.31:/date/ /mnt
# 默认参数能满足大部分需求

4 mount -o可以使用的参数说明(红色默认值)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
ro/rw	 	■以只读/读写方式挂载
dev/nodev 是否保留装置文件的特殊功能,如分区和光驱的区别,建议一般nodev
sync/async ●直接同步写入磁盘,还是异步先写入内存再后续写入硬盘
auto/noauto 允许/不允许以–a选项进行自动挂载
exec/noexec ●是否具有执行文件的权限,如果挂载的用途是数据存储,建议noexec
suid/nosuid ●挂载的文件系统,是否取消suid这个权限
user/nouser 是否允许一般用户的挂载与卸载功能
dirsync ●目录更新时同步写入磁盘
remount 尝试重新挂载已经挂载了的文件系统
noatime ■访问文件时不更新文件inode中的时间戳,高并发环境可提高性能
nodiratime ■同上,不更新目录的访问时间戳atime
defaults 使用所有选项的默认值(auto、nouser、rw、suid)
loop 挂载“回旋设备”以及“ISO镜像文件”

●表示安全优化参数,■表示性能优化参数,安全和性能是对立的

remount参数很重要,在文件系统变为只读后,进入单用户模式修复时,要使用mount -o remount,rw /** 来重新挂载目录
以上参数有部分只在fatab中有效,sync至在ext234\fat\vfat\ufat中有效

5 企业生产环境下NFS优化挂载3种常见用法

1
2
3
4
5
6
7
8
9
10
11
1)默认挂载
mount -t nfs IP:目录 /挂载点
# 其实centos的默认挂载性能已经非常不错了
2)性能优化
# 减少更新访问时间戳产生的磁盘I/O
mount -t nfs -o noatime,nodiratime IP:目录 /挂载点
3)安全优化
# 进行执行和提权执行,防挂马
mount -t nfs -o nosuid,noexec,nodev IP:目录 /挂载点
4)安全和性能都优化
mount -t nfs -o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072 IP:目录 /挂载点

注意:本地文件系统挂载时不能加odiratime选项,会报错

6 NFS内核优化说明和建议

1
2
3
4
proc/sys/net/core/rmem_default	指定接收套接字的缓冲区默认大小(默:124928)
proc/sys/net/core/rmem_max 指定接收套接字的缓冲区的最大值(默:124928)
proc/sys/net/core/wmem_default 指定发送套接字的缓冲区默认大小(默:124928)
proc/sys/net/core/wmem_max 指定发送套接字的缓冲区的最大值(默:124928)

优化命令如下:

1
2
3
4
5
6
7
cat >>/etc/sysctl.conf<<EOF
net.core.wmem_dafault = 8388608
net.core.rmem_dafault = 8388608
net.core.wmem_max = 16777216
net.core.rmem_max = 16777216
EOF
sysctl -p

7 企业场景NFS共享存储优化小结

  1. 硬件:SAS/SSD硬盘,组RAID10,网卡千兆,多块网卡做bond
  2. NFS服务端配置优化:
1
/目录 ip网段(rw,sync,all_squash,anonuid=65535,anongid=65534)    
  1. NFS挂载客户端优化:
1
-o nosuid,noexec,nodev,noatime,nodiratime,intr,rsize=131072,wsize=131072
  1. NFS服务器内核优化:命令见上面,要执行sysctl -p使配置生效
  2. 大型网站可用分布式文件系统替换NFS,Moosefs(mfs)和FastDFS适合小文件系统,GlusterFS适合大文件系统

如果卸载的时候提示umount: /mnt: device is busy,需要退出挂载目录再进行挂载,如果是NFS server宕机了,则需要强制卸载,执行命令umount -lf /mnt

8 NFS系统的优缺点总结

优点:
1)简单,容易上手,容易掌握
2)数据直接可见,不想分布式文件系统数据不能直接看见
3)部署快速,维护简单方便且可控(满足要求的就是最好的)
4)可靠,数据可靠性高,经久耐用
5)服务非常稳定

缺点:
1)存在单点故障,可通过高负载和高可用方案弥补
2)大数据高并发下NFS效率和性能有限(但2千万/日PV以下都行,满足不了2千万那是架构太差)
3)FS数据是明文的,NFS本身不对数据完整性进行验证
4)多台客户机挂载一个NFS服务器时,连接管理维护麻烦,NFS服务器端出问题后,所有客户端都处于挂掉状态
5)耦合度高,一直存在连接,涉及同步(实时等待)和异步(解耦)概念,网站要尽量降低耦合度

建议:
对大中型网站(2000万/日PV以下)都有用武之地,在生产场景中,应该尽量多将数据访问往前退,将静态存储里面的资源通过CDN或缓存服务器提供服务,如果没有缓存服务或架构不好,存储服务器再多也扛不住,用户体验会很差,即使使用分布式文件系统也一样(CDN可以提供90-95%的数据访问服务,内存服务器3%,剩余的才是文件服务器提供的)

学习要求
会口述NFS服务器的网络原理、流程
会口述NFS的优化
会口述NFS的优缺点