侧边栏壁纸
博主头像
惬意小蜗牛博主等级

海内存知己,天涯若比邻!

  • 累计撰写 54 篇文章
  • 累计创建 143 个标签
  • 累计收到 57 条评论

目 录CONTENT

文章目录

Kubernetes 1.21.0 中部署 NFS-Subdir-External-Provisioner 为 NFS 提供动态分配卷

惬意小蜗牛
2021-07-26 / 0 评论 / 0 点赞 / 1,837 阅读 / 2,299 字 / 正在检测是否收录...

系统环境版本

  • 操作系统版本 CentOS 7.5
  • Docker 版本 Docker version 19.03.15, build 99e3ed8919
  • Kubernetes 版本 1.21.0
  • NFS-Subdir-External-Provisioner 版本 v4.0.0

参考文献

NFS Subdir External Provisioner 的 Github 地址

一、NFS-Subdir-External-Provisioner 介绍

存储组件 NFS subdir external provisioner 是一个存储资源自动调配器,它可用将现有的 NFS 服务器通过持久卷声明来支持 Kubernetes 持久卷的动态分配。自动新建的文件夹将被命名为 ${namespace}-${pvcName}-${pvName} ,由三个资源名称拼合而成。

此组件是对 nfs-client-provisioner 的扩展,nfs-client-provisioner 已经不提供更新,且 nfs-client-provisioner 的 Github 仓库已经迁移到 NFS-Subdir-External-Provisioner 的仓库。

二、搭建 NFS 服务器

1、搭建NFS服务(与k8s集群同一网段下的主机)

安装nfs服务

yum install -y nfs-utils rpcbind

创建共享挂载目录

mkdir -pv /nfs

编辑/etc/exports文件,将目录共享到k8s集群同一网段中

eg: 192.168.56.0/24 这个网段中

# 编辑 exports
vi /etc/exports
 
# 输入以下内容(格式:FS共享的目录 NFS客户端地址1(参数1,参数2,...) 客户端地址2(参数1,参数2,...))
# 如果设置为 /nfs *(rw,async,no_root_squash) 则对所以的 IP 都有效
/nfs 192.168.56.0/24(rw,no_root_squash)
  • 常用选项:
    • ro:客户端挂载后,其权限为只读,默认选项;
    • rw:读写权限;
    • sync:同时将数据写入到内存与硬盘中;
    • async:异步,优先将数据保存到内存,然后再写入硬盘;
    • Secure:要求请求源的端口小于1024
  • 用户映射:
    • root_squash:当NFS客户端使用root用户访问时,映射到NFS服务器的匿名用户;
    • no_root_squash:当NFS客户端使用root用户访问时,映射到NFS服务器的root用户;
    • all_squash:全部用户都映射为服务器端的匿名用户;
    • anonuid=UID:将客户端登录用户映射为此处指定的用户uid;
    • anongid=GID:将客户端登录用户映射为此处指定的用户gid
## 重启 rpcbind
systemctl restart rpcbind

#启动 nfs 并设为开机自启
systemctl start nfs && systemctl enable nfs

到此我们就成功启动 NFS Server,这里服务器 IP 为 192.168.56.4,NFS 目录为 /nfs。

三、部署 NFS-Subdir-External-Provisioner

现在的 Kubernetes 集群大部分是基于 RBAC 的权限控制,所以我们需要创建一个拥有一定权限的 ServiceAccount 与后面要部署的 NFS Subdir Externa Provisioner 组件绑定。

创建 ServiceAccount 及 RBAC 资源文件 nfs-rbac.yaml

注意: 请提前修改里面的 Namespace 名称为你要想部署 Namespace 空间。

apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
  namespace: kube-system

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
  resources: ["persistentvolumes"]
  verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
  resources: ["persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
  resources: ["storageclasses"]
  verbs: ["get", "list", "watch"]
- apiGroups: [""]
  resources: ["events"]
  verbs: ["create", "update", "patch"]

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: kube-system
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: kube-system
rules:
- apiGroups: [""]
  resources: ["endpoints"]
  verbs: ["get", "list", "watch", "create", "update", "patch"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: leader-locking-nfs-client-provisioner
  namespace: kube-system
subjects:
- kind: ServiceAccount
  name: nfs-client-provisioner
  namespace: kube-system
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io

部署 RBAC 资源

kubectl apply -f nfs-rbac.yaml

创建 NFS-Subdir-External-Provisioner 部署文件,这里将其部署到 kube-system 命令空间中。

创建一个用于部署的 Deployment 资源文件 nfs-provisioner-deploy.yaml,文件内容如下:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nfs-client-provisioner
  labels:
    app: nfs-client-provisioner
spec:
  replicas: 1
  strategy: 
    type: Recreate                   ## 设置升级策略为删除再创建(默认为滚动更新)
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
      - name: nfs-client-provisioner
        #image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
        image: registry.cn-beijing.aliyuncs.com/mydlq/nfs-subdir-external-provisioner:v4.0.0
        volumeMounts:
        - name: nfs-client-root
          mountPath: /persistentvolumes
        env:
        - name: PROVISIONER_NAME     ## Provisioner的名称,以后设置的storageclass要和这个保持一致
          value: nfs-client 
        - name: NFS_SERVER           ## NFS服务器地址,需和valumes参数中配置的保持一致
          value: 192.168.56.4
        - name: NFS_PATH             ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致
          value: /nfs
      volumes:
      - name: nfs-client-root
        nfs:
          server: 192.168.56.4       ## NFS服务器地址
          path: /nfs            ## NFS服务器数据存储目录

部署 NFS-Subdir-External-Provisioner

  • -f: 指定资源文件名称。

    kubectl apply -f nfs-provisioner-deploy.yaml -n kube-system
    

创建 NFS SotageClass 资源文件 nfs-storageclass.yaml

我们在创建 PVC 时经常需要指定 storageClassName 名称,这个参数配置的就是一个 StorageClass 资源名称,PVC 通过指定该参数来选择使用哪个 StorageClass,并与其关联的 Provisioner 组件来动态创建 PV 资源。所以,这里我们需要提前创建一个 Storagelcass 资源。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "false"  ## 是否设置为默认的 storageclass
provisioner: nfs-client                                   ## 动态卷分配者名称,必须和上面创建的"PROVISIONER_NAME"变量中设置的value一致
parameters:
  archiveOnDelete: "true"                                 ## 设置为 "false" 时删除 PVC 不会保留数据,"true"则保留数据
mountOptions: 
  - hard                                                  ## 指定为硬挂载方式
  - nfsvers=4                                             ## 指定 NFS 版本,这个需要根据 NFS Server 版本号设置

上面配置中 provisioner 参数用于声明 NFS 动态卷提供者的名称,该参数值要和上面部署 NFS-Subdir-External-Provisioner 部署文件中指定的 PROVISIONER_NAME value 参数保持一致,即设置为 nfs-client

部署 NFS StorageClass 资源

$ kubectl apply -f nfs-storageclass.yaml

创建用于测试的 PVC 资源 test-pvc.yaml

创建一个用于测试的 PVC 资源部署到 Kubernetes 中,这样可以测试 NFS-Subdir-External-Provisioner 是否能够自动创建 PV 与该 PVC 进行绑定。

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-pvc
spec:
  storageClassName: managed-nfs-storage    ## 需要与上面创建的 storageclass 的名称一致
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 1Mi

部署用于测试的 PVC 资源

kubectl apply -f test-pvc.yaml

观察是否自动创建 PV 并与 PVC 绑定

等待创建完成后观察 NFS-Subdir-External-Provisioner 是否会自动创建 PV 与该 PVC 进行绑定,可以执行下面命令

  • -o: 指定输出的资源内容的格式,一般会设置为为 yaml 格式。
[root@master01 nfs]# kubectl get pvc test-pvc -o yaml | grep phase
  phase: Bound
[root@master01 nfs]#

如果显示 phase 为 Bound,则说明已经创建 PV 且与 PVC 进行了绑定

查看相关资源

[root@master01 nfs]# kubectl get pvc -A
NAMESPACE   NAME       STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
default     test-pvc   Bound    pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3   1Mi        RWO            managed-nfs-storage   58m
[root@master01 nfs]# kubectl get pv -A
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM              STORAGECLASS          REASON   AGE
pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3   1Mi        RWO            Delete           Bound    default/test-pvc   managed-nfs-storage            58m
[root@master01 nfs]# kubectl get pods -A | grep nfs
kube-system            nfs-client-provisioner-75b5b4f779-92n5c      1/1     Running   0          60m
[root@master01 nfs]#

创建测试的 Pod 资源 test-pod.yaml

创建一个测试的 Pod 资源部署到 Kubernetes 中,这样就可以测试上面创建的 PVC 是否能够正常使用。

kind: Pod
apiVersion: v1
metadata:
  name: test-pod
spec:
  containers:
  - name: test-pod
    image: busybox:latest
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"  ## 创建一个名称为"SUCCESS"的文件
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-pvc

部署用于测试的 Pod 资源

  • -f: 指定资源文件名称。

    kubectl apply -f test-pod.yaml
    

进入 NFS Server 服务器验证是否存在测试文件

[root@deploy ~]# cd /nfs && ls -l | grep test-pvc
drwxrwxrwx 2 root root 21 4月  29 17:54 default-test-pvc-pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3
[root@deploy nfs]# cd default-test-pvc-pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3/
[root@deploy default-test-pvc-pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3]# ls -l
总用量 0
-rw-r--r-- 1 root root 0 4月  29 17:54 SUCCESS
[root@deploy default-test-pvc-pvc-a9e81ab0-a5db-4b94-9437-9478258ebce3]#

可以看到已经生成 SUCCESS 该文件,并且可知通过 NFS-Subdir-External-Provisioner 创建的目录命名方式为 namespace名称-pvc名称-pv名称,PV 名称是随机字符串,所以每次只要不删除 PVC,那么 Kubernetes 中的与存储绑定将不会丢失,要是删除 PVC 也就意味着删除了绑定的文件夹,下次就算重新创建相同名称的 PVC,生成的文件夹名称也不会一致,因为 PV 名是随机生成的字符串,而文件夹命名又跟 PV 有关,所以删除 PVC 需谨慎。

清理用于测试的资源

## 删除测试的 Pod 资源文件
$ kubectl delete -f test-pod.yaml 

## 删除测试的 PVC 资源文件
$ kubectl delete -f test-pvc.yaml
0

评论区