K8S 基于Rook搭建Ceph集群 云原生存储最佳实践
发布时间: 2024-1-23 文章作者: myluzh 分类名称: Kubernetes 朗读文章
0x00 关于Rook
Rook是专门为Kubernetes设计的云原生存储，所以它本身和由Rook创建的Ceph集群都是部署在Kubernetes平台上的，本案例安装的Rook为1.6的版本。
1、为所有主机添加磁盘
注意：在本案例中，是一台master，两台node，因为ceph集群的最小要求是三个节点，因此需要在包含master主机在内的三台主机都添加磁盘。所有主机添加一块100G的磁盘，以满足案例实验需求。
数据盘可以是一块硬盘sdb,也可以是硬盘的一个分区sdb2,或者是逻辑卷，但是这些都必须没有被格式过，没有指定文件系统类型。
可以使用lsblk -f 来确认数据盘有没有被文件系统格式化过。FSTYPE字段为空即代表未被文件系统格式化过。
Ceph OSD 在某些情况下(比如启用加密或指定元数据设备)依赖于 LVM(Logical Volume Manager)。如果没有安装 LVM2 软件包，则虽然 Rook 可以成功创建 Ceph OSD，但是当节点重新启动时，重新启动的节点上运行的 OSD pod 将无法启动。
Ceph 存储需要包含了 RBD 模块的 Linux 内核来支持。在使用 Kubernetes 环境中运行 Ceph 存储之前，需要在 Kubernetes 节点上运行 modprobe rbd 命令来测试当前内核中是否已经加载了 RBD 内核。
由于ceph集群默认最小三个节点，当前kubernetes也是三节点，1个master+2个worker,所以需要使用master节点来充当ceph节点，因此需要取消master节点上的污点，否是ceph相关pod无法调度到master节点，导致部署失败。
当然，如果worker节点足够则无需此操作。
（1）查看当前kubernetes环境中的污点
6、拉取镜像（若本地已有这些镜像，可以不执行此步骤）
（1）查看都需要哪些镜像
如果拉不下去可使用以下脚本，该脚本从阿里云镜像仓库拉取到本地，再用docker image tag命令修改为为原镜像名称，再删除从阿里云拉取的镜像。
1、部署ceph集群
此步骤需要较长的时间（5分钟）。总共需要启动25个pod，其中ceph-osd-prepare 是job，所以状态是Completed。
（1）部署ceph-tools
实现PVC的快照功能，需要snapshot控制器，在kubernetes1.19版本以上需要单独安装snapshot控制器。如果是1.19以下的版本，则不需要单独安装。
1、下载安装包
如果已经下载好离线包，上述三条可以不执行，直接使用离线包即可
1、部署dashboard
红色的svc是原有的dashboard，要把它删掉。绿色部分是我们部署dashboard的时候创建出来的。
块存储的使用一般是一个Pod挂载一个块存储，相当于一个服务器新挂了一个磁盘，只给一个应用使用，比如中间件服务MySQL、RabbitMQ、Redis等。
1、创建StorageClass和Ceph存储池
首先进入Ceph的代码目录，找到RBD目录的StorageClass配置，然后根据需求修改对应参数。此处主要修改的是副本数，在生产环境中，副本数至少为3，且不能超过OSD的数量。此处为实验环境，本案例设置为2。
4、挂载测试
（1）创建一个mysql服务使用该存储
因为MySQL的数据不允许多个MySQL实例连接同一个存储，所以—般只能用块存储。相当于新加了一块盘给MySQL使用。创建完成后可以查看创建的PVC和PV。
在之前的章节提到过StatfulSet用于有状态的应用部署，在实际使用时，可以很方便地利用StatfulSet创建—个Eureka集群、Redis集群或者其他集群。在使用StatfulSet创建应用时，会给每个Pod创建一个固定的标识符比如redis-0、 redis-1等。
根据StatfulSet的特性，可以很方便地组建—个集群，但是需要注意的是，受StatfulSet管理的Pod可能每个Pod都需要自己独立的存储，并非和其他Pod共享数据。比如创建—个Redis—主二从的主从架构，Redis主节点和两个从节点的数据肯定是不—致的，所以此时需要为每个Pod单独创建一个存储供其使用，可以使用StatfulSet独有的volumeClaimTemplates参数结合StorageClass为每个Pod动态创建PVC，这样每个Pod就有了自己独有的存储。接下来用一个简单的示例介绍volumeClaimTemplates的使用。
（1）编辑示例文件
name: www ##和volume的name类似，通过volumeMounts指定该名字挂载到pod
accessModes: [ "ReadWriteOnce" ] ##访问模式
storageClassName: "rook-ceph-block" ##StorageClass名字
resources：存储配置
超过terminationGracePeriodSeconds等待时间后， K8S 会强制结束老POD
（2）创建StatefulSet
0x06 共享型文件系统的使用
共享型文件系统一般用于多个Pod共享一个存储，比如用户上传的头像、需要被多个前端访问等。
1、创建共享型文件系统
与块存储类似，也需要创建共享型文件存储的pool。
（1）为共享型文件系统创建pool
由于文件存储需要使用metadata server存储元数据，因此创建完成后会启动mds容器，需要等待mds容器启动后才可以创建PV。
2、创建共享型文件系统的StorageClass
文件存储也需要一个StorageClass动态创建PV。
3、挂载测试
创建一个pod挂载测试
0x07 PVC扩容
1、扩容块存储
（1）查看当前容量
（1）查看之前创建的文件共享型PVC
PVC快照功能和使用云服务器或者虚拟机的快照功能类似，可以针对存储某—刻的状态进行一个快照，无论数据出现严重丢失或者其他情况，都可以回滚数据。
1、创建SnapshotClass
SnapshotClass是创建快照的类。
首先在之前创建的MySQL容器中创建一个文件夹，并创建一个文件。
（1）查看之前创建的MySQL
（1）使用快照恢复数据
storageClassName: rook-ceph-block 新建PVC的StorageClass
dataSource: 快照名称
storage: 20Gi 大小不能小于原来的值
（2）执行恢复动作
（1）创建容器
和虚拟机类似，PVC也支持克隆，可以基于某个PVC复制出一个一模一样数据的新的PVC。
1、创建克隆
dataSource的name是被克隆的PVC的名字，在此是mysql-pv-claim
StorageClassName是新建的PVC的StorageClass名称
Storage大小不能小于之前的PVC的大小
2、开始克隆
Rook 是一款云原生存储编排服务工具，Ceph 是一种广泛使用的开源分布式存储方案，通过 Rook 可以大大简化 Ceph 在 Kubernetes 集群中的部署和维护工作。 Rook 由云原生计算基金会（ CNCF ）孵化，且于2020 年 10 月正式进入毕业阶段。Rook 并不直接提供数据存储方案，而是集成了各种存储解决方案，并提供一种自管理、自扩容、自修复的云原生存储服务。社区官方资料显示， Rook 目前最新的稳定版本中，只有 Rook +Ceph 存储集成方案处于 stable 状态，版本升级较平滑。 Ceph 是一种广泛使用的开源分布式存储方案，通过 Rook 则可以大大简化 Ceph 在 Kubernetes 集群中的部署和维护工作。基于 Rook+Ceph 的存储方案，能为云原生环境提供文件、块及对象存储服务。 建立Ceph集群不仅需要大量的服务器资源，本身的复杂度也需要人力成本。但是在企业内部使用Kubemetes时，无论是在部署业务服务还是中间件服务，都能很明显地体会到Kubernetes的便利性和强大之处，所以我们在企业内部使用Kubernetes时，同时也会把中间件服务（比如MySQL、RabbitMQ、Zookeeper等）部署在Kubernetes集群中。 相对于生产环境，也需要保留它们的数据，但是非生产环境可能并没有现成的，存储平台供Kubernetes使用，新建一个平台供其使用也会浪费很多精力。为了解决非生产环境的数据持久化问题，很多公司都采用了NFS作为后端，但是一旦使用的容器较多或者存储的数据量比较大，就容易造成性能问题，并且NFS服务器一旦出现问题，整个数据可能会全部丢失,所以在非生产环境也需要一个高可用、分布式并且免运维的存储平台，于是Rook就诞生了。 Rook是一个自我管理的分布式存储编排系统，它本身并不是存储系统，Rook在存储和Kubernetes之间搭建了一个桥梁，使存储系统的搭建或者维护变得特别简单，Rook将分布式存储系统转变为自我管理、自我扩展、自我修复的存储服务。它让一些存储的操作比如部署、配置、扩容、升级、迁移、灾难恢复、监视和资源管理变得自动化，无须人工处理. 同时Rook支持CSI,可以利用CSI做一些PVC的，快照、扩容、克隆等操作。 有了Rook就可以快速地搭建一个Ceph存储系统，用来持久化一些必需的数据，不仅降低了运维复杂度，也能更加方便地体验Kubernetes带来的收益，同时也可以通过Rook来演示更多的Kubernetes存储的高级功能。0x01 Rook的安装
Rook是专门为Kubernetes设计的云原生存储，所以它本身和由Rook创建的Ceph集群都是部署在Kubernetes平台上的，本案例安装的Rook为1.6的版本。
1、为所有主机添加磁盘
注意：在本案例中，是一台master，两台node，因为ceph集群的最小要求是三个节点，因此需要在包含master主机在内的三台主机都添加磁盘。所有主机添加一块100G的磁盘，以满足案例实验需求。
数据盘可以是一块硬盘sdb,也可以是硬盘的一个分区sdb2,或者是逻辑卷，但是这些都必须没有被格式过，没有指定文件系统类型。
可以使用lsblk -f 来确认数据盘有没有被文件系统格式化过。FSTYPE字段为空即代表未被文件系统格式化过。
[root@k8s-master01 ~]# lsblk -f NAME FSTYPE LABEL UUID MOUNTPOINT sda ├─sda1 xfs 044b1541-8e8e-4125-841d-6f6924560626 /boot └─sda2 LVM2_member 6lY06E-Vy3I-Zh0n-E2b0-tpCo-xhZa-Tfo7oc ├─centos-root xfs cd294525-be55-48fd-8e57-3aa02042c071 / └─centos-swap swap 6a621974-19d7-4d23-a7f1-91cc8eaaa169 sdb # 如上所示，sdb可以作为ceph的数据盘。2、保证所有安装ceph的节点都安装了lvm2
Ceph OSD 在某些情况下(比如启用加密或指定元数据设备)依赖于 LVM(Logical Volume Manager)。如果没有安装 LVM2 软件包，则虽然 Rook 可以成功创建 Ceph OSD，但是当节点重新启动时，重新启动的节点上运行的 OSD pod 将无法启动。
yum -y install lvm2 [root@k8s-master ~]# yum list installed | grep lvm2 lvm2.x86_64 7:2.02.187-6.el7_9.5 @updates lvm2-libs.x86_64 7:2.02.187-6.el7_9.5 @updates3、加载rbd内核
Ceph 存储需要包含了 RBD 模块的 Linux 内核来支持。在使用 Kubernetes 环境中运行 Ceph 存储之前，需要在 Kubernetes 节点上运行 modprobe rbd 命令来测试当前内核中是否已经加载了 RBD 内核。
[root@k8s-master ~]# modprobe rbd [root@k8s-master ~]# lsmod | grep rbd rbd 118784 0 libceph 483328 1 rbd4、取消master污点
由于ceph集群默认最小三个节点，当前kubernetes也是三节点，1个master+2个worker,所以需要使用master节点来充当ceph节点，因此需要取消master节点上的污点，否是ceph相关pod无法调度到master节点，导致部署失败。
当然，如果worker节点足够则无需此操作。
（1）查看当前kubernetes环境中的污点
[root@k8s-master ~]# kubectl get no -o yaml | grep taint -A 5
taints:
- effect: NoSchedule
key: node-role.kubernetes.io/master
status:
addresses:
- address: 192.168.10.101
（2）取消master节点的污点
# 此命令能够取消所有设备的污点 [root@k8s-master ~]# kubectl taint nodes --all node-role.kubernetes.io/master-5、下载v1.11.5版本的Rook源码：
# 加速链接 https://dl.itho.cn/k8s/rook/v1.11.5.zip [root@k8s-master01 rook]# wget https://github.com/rook/rook/archive/refs/tags/v1.11.5.zip [root@k8s-master01 rook]# unzip v1.11.5.zip备注：v1.11.5的版本可以支持kubernetes:v1.21.0以上的版本，本案例已经下载过，直接使用离线文件
6、拉取镜像（若本地已有这些镜像，可以不执行此步骤）
（1）查看都需要哪些镜像
[root@k8s-master01 rook]# cd rook-1.11.5/deploy/examples/ # 查看部署所需要的镜像提前拉取 [root@k8s-master01 examples]# cat images.txt quay.io/ceph/ceph:v17.2.6 quay.io/cephcsi/cephcsi:v3.8.0 quay.io/csiaddons/k8s-sidecar:v0.5.0 registry.k8s.io/sig-storage/csi-attacher:v4.1.0 registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.7.0 registry.k8s.io/sig-storage/csi-provisioner:v3.4.0 registry.k8s.io/sig-storage/csi-resizer:v1.7.0 registry.k8s.io/sig-storage/csi-snapshotter:v6.2.1 rook/ceph:v1.11.5（2）用docker pull拉取上边的所有镜像
[root@k8s-master examples]#docker pull xxxx（3）如果无法拉取，则采用如下方法拉取 所有节点都拉取
如果拉不下去可使用以下脚本，该脚本从阿里云镜像仓库拉取到本地，再用docker image tag命令修改为为原镜像名称，再删除从阿里云拉取的镜像。
[root@k8s-master examples]# vim ceph-images.sh
#!/bash/bin
image_list=(
csi-node-driver-registrar:v2.7.0
csi-attacher:v4.1.0
csi-snapshotter:v6.2.1
csi-resizer:v1.7.0
csi-provisioner:v3.4.0
)
registry_mirror="registry.aliyuncs.com/it00021hot"
google_gcr="registry.k8s.io/sig-storage"
for image in ${image_list[*]}
do
docker image pull ${registry_mirror}/${image}
docker image tag ${registry_mirror}/${image} ${google_gcr}/${image}
docker image rm ${registry_mirror}/${image}
echo "${registry_mirror}/${image} ${google_gcr}/${image} downloaded."
done
docker pull quay.io/ceph/ceph:v17.2.6
docker pull quay.io/cephcsi/cephcsi:v3.8.0
docker pull quay.io/csiaddons/k8s-sidecar:v0.5.0
docker pull rook/ceph:v1.11.5
echo all ok
#执行脚本进行拉取
[root@k8s-master examples]# bash ceph-images.sh
7、部署rook operator[root@k8s-master examples]# kubectl create -f crds.yaml -f common.yaml -f operator.yaml [root@k8s-master examples]# kubectl -n rook-ceph get pod NAME READY STATUS RESTARTS AGE rook-ceph-operator-6c54c49f5f-swn5h 1/1 Running 0 5m20s0x02 部署ceph集群
1、部署ceph集群
此步骤需要较长的时间（5分钟）。总共需要启动25个pod，其中ceph-osd-prepare 是job，所以状态是Completed。
[root@k8s-master examples]# kubectl create -f cluster.yamlcluster.yaml 可以自定义节点跟磁盘设备
[root@k8s-master examples]# vi cluster.yaml
# 修改下面部分
useAllNodes: false # 关闭使用所有Node
useAllDevices: false # 关闭使用所有设备
# 自定义
nodes:
- name: "172.16.10.20"
devices:
- name: "sdb"
- name: "172.16.10.21"
devices:
- name: "sdb"
- name: "172.16.10.22"
devices:
- name: "sdb"
2、部署ceph工具（1）部署ceph-tools
[root@k8s-master ~]# cd rook/deploy/examples/ [root@k8s-master examples]# kubectl apply -f toolbox.yaml（2）查看pod
[root@k8s-master examples]# kubectl get pod -n rook-ceph | grep tools # 会多出一个名为rook-ceph-tools的pod NAME READY STATUS RESTARTS AGE rook-ceph-tools-598b59df89-gjfvz 1/1 Running 0 29s（3）登录rook-ceph-tools
# kubectl exec -it rook-ceph-tools-598b59df89-gjfvz -n rook-ceph -- bash（4）查看ceph集群状态
bash-4.4$ ceph -s cluster: id: 7cd53c0e-4691-4550-8c7a-b2ce7ded9bfe health: HEALTH_OK services: mon: 3 daemons, quorum a,b,c (age 13m) mgr: a(active, since 12m), standbys: b osd: 3 osds: 3 up (since 13m), 3 in (since 13m) data: pools: 1 pools, 1 pgs objects: 2 objects, 449 KiB usage: 63 MiB used, 180 GiB / 180 GiB avail pgs: 1 active+clean（5）查看osd目录树
bash-4.4$ ceph osd tree ID CLASS WEIGHT TYPE NAME STATUS REWEIGHT PRI-AFF -1 0.17578 root default -7 0.05859 host k8s-master 2 hdd 0.05859 osd.2 up 1.00000 1.00000 -3 0.05859 host k8s-node01 0 hdd 0.05859 osd.0 up 1.00000 1.00000 -5 0.05859 host k8s-node02 1 hdd 0.05859 osd.1 up 1.00000 1.00000（6）查看osd存储状态
bash-4.4$ ceph osd status ID HOST USED AVAIL WR OPS WR DATA RD OPS RD DATA STATE 0 k8s-node01 21.0M 59.9G 0 0 0 0 exists,up 1 k8s-node02 21.0M 59.9G 0 0 0 0 exists,up 2 k8s-master 20.6M 59.9G 0 0 0 0 exists,up（7）列出osd存储池
bash-4.4$ ceph osd pool ls .mgr0x03 安装snapshot控制器
实现PVC的快照功能，需要snapshot控制器，在kubernetes1.19版本以上需要单独安装snapshot控制器。如果是1.19以下的版本，则不需要单独安装。
1、下载安装包
如果已经下载好离线包，上述三条可以不执行，直接使用离线包即可
[root@k8s-master ~]# git clone https://github.com/dotbalo/k8s-ha-install.git [root@k8s-master ~]# cd k8s-ha-install/ [root@k8s-master k8s-ha-install]# git checkout manual-installation-v1.20.x2、部署
[root@k8s-master k8s-ha-install]# kubectl create -f snapshotter/ -n kube-system [root@k8s-master k8s-ha-install]# kubectl get pod -n kube-system -l app=snapshot-controller NAME READY STATUS RESTARTS AGE snapshot-controller-0 1/1 Running 0 4m11s0x04 部署ceph-dashboard
1、部署dashboard
[root@k8s-master ~]# cd rook/deploy/examples/ [root@k8s-master examples]# kubectl create -f dashboard-external-https.yaml2、查看svc
红色的svc是原有的dashboard，要把它删掉。绿色部分是我们部署dashboard的时候创建出来的。
[root@k8s-master examples]# kubectl get svc -n rook-ceph NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE rook-ceph-mgr ClusterIP 10.107.221.122 <none> 9283/TCP 43m rook-ceph-mgr-dashboard ClusterIP 10.101.196.95 <none> 8443/TCP 43m rook-ceph-mgr-dashboard-external-https NodePort 10.111.32.176 <none> 8443:31540/TCP 14s rook-ceph-mon-a ClusterIP 10.102.236.97 <none> 6789/TCP,3300/TCP 52m rook-ceph-mon-b ClusterIP 10.107.235.178 <none> 6789/TCP,3300/TCP 51m rook-ceph-mon-c ClusterIP 10.98.200.63 <none> 6789/TCP,3300/TCP 49m3、删除原有的svc
[root@k8s-master examples]# kubectl delete svc/rook-ceph-mgr-dashboard -n rook-ceph4、获取ceph-dashboard的登录密码
[root@k8s-master examples]# kubectl -n rook-ceph get secret rook-ceph-dashboard-password -o jsonpath="{['data']['password']}"|base64 --decode && echo
lVSYe1`Ne*6%Mzf@;dzf
# 账号：admin 密码：lVSYe1`Ne*6%Mzf@;dzf
5、登录ceph-dashboard
[root@k8s-master examples]# kubectl get svc -n rook-ceph NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE rook-ceph-mgr ClusterIP 10.107.221.122 <none> 9283/TCP 43m rook-ceph-mgr-dashboard-external-https NodePort 10.111.32.176 <none> 8443:31540/TCP 14s rook-ceph-mon-a ClusterIP 10.102.236.97 <none> 6789/TCP,3300/TCP 52m rook-ceph-mon-b ClusterIP 10.107.235.178 <none> 6789/TCP,3300/TCP 51m rook-ceph-mon-c ClusterIP 10.98.200.63 <none> 6789/TCP,3300/TCP 49m #访问地址 https://192.168.10.101:31540/0x05 ceph块存储的使用
块存储的使用一般是一个Pod挂载一个块存储，相当于一个服务器新挂了一个磁盘，只给一个应用使用，比如中间件服务MySQL、RabbitMQ、Redis等。
1、创建StorageClass和Ceph存储池
首先进入Ceph的代码目录，找到RBD目录的StorageClass配置，然后根据需求修改对应参数。此处主要修改的是副本数，在生产环境中，副本数至少为3，且不能超过OSD的数量。此处为实验环境，本案例设置为2。
[root@k8s-master01 ~]# cd /root/rook/deploy/examples/csi/rbd [root@k8s-master01 rbd]# vim storageclass.yaml replicated: size: 22、创建StorageClass和存储池
[root@k8s-master01 rbd]# kubectl create -f storageclass.yaml -n rook-ceph cephblockpool.ceph.rook.io/replicapool created storageclass.storage.k8s.io/rook-ceph-block created3、查看创建结果
[root@k8s-master01 rbd]# kubectl get cephblockpool -n rook-ceph NAME PHASE replicapool Ready [root@k8s-master01 rbd]# kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE rook-ceph-block rook-ceph.rbd.csi.ceph.com Delete Immediate true 68s注意：这里创建的StorageClass的名字为rook-ceph-block，在创建PVC的时候指定这个名字，即可让PVC和这个存储关联起来。
4、挂载测试
（1）创建一个mysql服务使用该存储
[root@k8s-master ~]# cd /root/rook/deploy/examples
# rook自带了一个MySQL的测试样例，如下所示
[root@k8s-master examples]# vim mysql.yaml
apiVersion: v1
kind: Service
metadata:
name: wordpress-mysql
labels:
app: wordpress
spec:
ports:
- port: 3306
selector:
app: wordpress
tier: mysql
clusterIP: None
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mysql-pv-claim ## PVC的名字
labels:
app: wordpress
spec:
storageClassName: rook-ceph-block ## 此处要的名字要关联前面创建的StorageClass
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 10Gi ## 实验环境设置的可以小一点
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: wordpress-mysql
labels:
app: wordpress
tier: mysql
spec:
selector:
matchLabels:
app: wordpress
tier: mysql
strategy:
type: Recreate
template:
metadata:
labels:
app: wordpress
tier: mysql
spec:
containers:
- image: mysql:5.6
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: changeme
ports:
- containerPort: 3306
name: mysql
volumeMounts:
- name: mysql-persistent-storage
mountPath: /var/lib/mysql
volumes:
- name: mysql-persistent-storage
persistentVolumeClaim:
claimName: mysql-pv-claim ## 对应前面的PVC名字
备注：
在这个文件中有一段PVC的配置，该PVC会连接刚才创建的StorageClass，然后动态创建PV供Pod使用，之后如果有其他的存储需求，只需要创建PVC指定storageClassName为刚才创建的StorageClass名称即可连接到Rook的Ceph。如果是StatefulSet，只需要将volumeTemplateClaim里面的Claim名称改为StorageClass名称即可动态地为每个Pod创建一个单独的PV。
# 创建测试 [root@k8s-master examples]# kubectl create -f mysql.yaml（2）查看创建的PVC跟PV
因为MySQL的数据不允许多个MySQL实例连接同一个存储，所以—般只能用块存储。相当于新加了一块盘给MySQL使用。创建完成后可以查看创建的PVC和PV。
[root@k8s-master examples]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 20Gi RWO rook-ceph-block 12m [root@k8s-master examples]# kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 10Gi RWO Delete Bound default/mysql-pv-claim rook-ceph-block 12m（3）查看pod中的卷
[root@k8s-master ~]# kubectl get pod NAME READY STATUS RESTARTS AGE wordpress-mysql-79966d6c5b-htnbl 1/1 Running 0 12m [root@k8s-master ~]# kubectl exec -it wordpress-mysql-79966d6c5b-htnbl -- df -Th Filesystem Type Size Used Avail Use% Mounted on overlay overlay 194G 18G 177G 10% / tmpfs tmpfs 64M 0 64M 0% /dev tmpfs tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/mapper/centos-root xfs 194G 18G 177G 10% /etc/hosts shm tmpfs 64M 0 64M 0% /dev/shm /dev/rbd0 ext4 9.8G 116M 9.7G 2% /var/lib/mysql tmpfs tmpfs 3.7G 12K 3.7G 1% /run/secrets/kubernetes.io/serviceaccount tmpfs tmpfs 1.9G 0 1.9G 0% /proc/acpi tmpfs tmpfs 1.9G 0 1.9G 0% /proc/scsi tmpfs tmpfs 1.9G 0 1.9G 0% /sys/firmware5、StatfulSet volumeClaimTemplates
在之前的章节提到过StatfulSet用于有状态的应用部署，在实际使用时，可以很方便地利用StatfulSet创建—个Eureka集群、Redis集群或者其他集群。在使用StatfulSet创建应用时，会给每个Pod创建一个固定的标识符比如redis-0、 redis-1等。
根据StatfulSet的特性，可以很方便地组建—个集群，但是需要注意的是，受StatfulSet管理的Pod可能每个Pod都需要自己独立的存储，并非和其他Pod共享数据。比如创建—个Redis—主二从的主从架构，Redis主节点和两个从节点的数据肯定是不—致的，所以此时需要为每个Pod单独创建一个存储供其使用，可以使用StatfulSet独有的volumeClaimTemplates参数结合StorageClass为每个Pod动态创建PVC，这样每个Pod就有了自己独有的存储。接下来用一个简单的示例介绍volumeClaimTemplates的使用。
（1）编辑示例文件
# volumeClaimTemplates没有提供样例文件，需要自己编辑
[root@k8s-master examples]# vim volumeClaimTemplates.yaml
apiVersion: v1
kind: Service
metadata:
name: nginx
labels:
app: nginx
spec:
ports:
- port: 80
name: web
clusterIP: None
selector:
app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
name: web
spec:
selector:
matchLabels:
app: nginx # has to match .spec.template.metadata.labels
serviceName: "nginx"
replicas: 3 # by default is 1
template:
metadata:
labels:
app: nginx # has to match .spec.selector.matchLabels
spec:
terminationGracePeriodSeconds: 10
containers:
- name: nginx
image: nginx:1.7.9
ports:
- containerPort: 80
name: web
volumeMounts:
- name: www
mountPath: /usr/share/nginx/html
volumeClaimTemplates:
- metadata:
name: www
spec:
accessModes: [ "ReadWriteOnce" ]
storageClassName: "rook-ceph-block"
resources:
requests:
storage: 1Gi
备注：name: www ##和volume的name类似，通过volumeMounts指定该名字挂载到pod
accessModes: [ "ReadWriteOnce" ] ##访问模式
storageClassName: "rook-ceph-block" ##StorageClass名字
resources：存储配置
超过terminationGracePeriodSeconds等待时间后， K8S 会强制结束老POD
（2）创建StatefulSet
[root@k8s-master examples]# kubectl create -f volumeClaimTemplates.yaml [root@k8s-master examples]# kubectl get pod -l app=nginx NAME READY STATUS RESTARTS AGE web-0 1/1 Running 0 38s web-1 1/1 Running 0 29s web-2 1/1 Running 0 9s [root@k8s-master examples]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 20Gi RWO rook-ceph-block 53m www-web-0 Bound pvc-57c8626d-a370-4345-abf3-d212465b5635 1Gi RWO rook-ceph-block 2m14s www-web-1 Bound pvc-4ea4b53f-acab-4731-aa7d-bb4470c35c42 1Gi RWO rook-ceph-block 53s www-web-2 Bound pvc-a1037092-dfaa-47bd-b7f9-8f7be2248611 1Gi RWO rook-ceph-block 33s此时,3个Pod分别有了自己的存储数据互不共享.在使用StatefulSet建立Redis、MySQL、RabbitMQ集群时，如果需要持久化数据，就需要使用volumeClaimTemplates参数为每个Pod提供存储。
0x06 共享型文件系统的使用
共享型文件系统一般用于多个Pod共享一个存储，比如用户上传的头像、需要被多个前端访问等。
1、创建共享型文件系统
与块存储类似，也需要创建共享型文件存储的pool。
（1）为共享型文件系统创建pool
[root@k8s-master ~]# cd /root/rook/deploy/examples [root@k8s-master examples]# kubectl create -f filesystem.yaml ...（2）查看pod启动状态
由于文件存储需要使用metadata server存储元数据，因此创建完成后会启动mds容器，需要等待mds容器启动后才可以创建PV。
[root@k8s-master examples]# kubectl get pod -n rook-ceph -l app=rook-ceph-mds NAME READY STATUS RESTARTS AGE rook-ceph-mds-myfs-a-d4bfd947f-t8cjc 2/2 Running 0 6m26s rook-ceph-mds-myfs-b-85798855d6-sjx5d 2/2 Running 0 6m25s（3）在Ceph dashboard查看
2、创建共享型文件系统的StorageClass
文件存储也需要一个StorageClass动态创建PV。
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/cephfs [root@k8s-master cephfs]# kubectl create -f storageclass.yaml之后将PVC的storageClassName设置成rook-cephfs即可创建共享文件类型的存储（指向块存储的StorageClass即为创建块存储），可以供多个Pod共享数据。
3、挂载测试
创建一个pod挂载测试
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/cephfs
# rook提供了此测试样例
[root@k8s-master cephfs]# cat kube-registry.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: cephfs-pvc
namespace: kube-system
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 1Gi
storageClassName: rook-cephfs
---
apiVersion: apps/v1
kind: Deployment
metadata:
name: kube-registry
namespace: kube-system
labels:
k8s-app: kube-registry
kubernetes.io/cluster-service: "true"
spec:
replicas: 3
selector:
matchLabels:
k8s-app: kube-registry
template:
metadata:
labels:
k8s-app: kube-registry
kubernetes.io/cluster-service: "true"
spec:
containers:
- name: registry
image: registry:2
imagePullPolicy: Always
resources:
limits:
cpu: 100m
memory: 100Mi
env:
# Configuration reference: https://docs.docker.com/registry/configuration/
- name: REGISTRY_HTTP_ADDR
value: :5000
- name: REGISTRY_HTTP_SECRET
value: "Ple4seCh4ngeThisN0tAVerySecretV4lue"
- name: REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY
value: /var/lib/registry
volumeMounts:
- name: image-store
mountPath: /var/lib/registry
ports:
- containerPort: 5000
name: registry
protocol: TCP
livenessProbe:
httpGet:
path: /
port: registry
readinessProbe:
httpGet:
path: /
port: registry
volumes:
- name: image-store
persistentVolumeClaim:
claimName: cephfs-pvc
readOnly: false
[root@k8s-master cephfs]# kubectl create -f kube-registry.yaml
[root@k8s-master cephfs]# kubectl get pod -n kube-system -l k8s-app=kube-registry
NAME READY STATUS RESTARTS AGE
kube-registry-5b677b6c87-fxltv 1/1 Running 0 2m30s
kube-registry-5b677b6c87-lhkfr 1/1 Running 0 2m30s
kube-registry-5b677b6c87-sbzs4 1/1 Running 0 2m30s
[root@k8s-master cephfs]# kubectl get pvc -n kube-system
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
cephfs-pvc Bound pvc-d025b469-3d30-4a45-b7bb-e62ab8bf21e8 1Gi RWX rook-cephfs 2m56s
此时一共创建了3个Pod，这3个Pod共用一个存储，并都挂载到了/var/lib/registry，该目录中的数据由3个容器共享。0x07 PVC扩容
1、扩容块存储
（1）查看当前容量
[root@k8s-master ~]# kubectl get pvc | grep mysql-pv NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 10Gi RWO rook-ceph-block 78m（2）扩容
[root@k8s-master ~]# kubectl edit pvc mysql-pv-claim
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
annotations:
pv.kubernetes.io/bind-completed: "yes"
pv.kubernetes.io/bound-by-controller: "yes"
volume.beta.kubernetes.io/storage-provisioner: rook-ceph.rbd.csi.ceph.com
volume.kubernetes.io/storage-provisioner: rook-ceph.rbd.csi.ceph.com
creationTimestamp: "2023-07-23T00:52:41Z"
finalizers:
- kubernetes.io/pvc-protection
labels:
app: wordpress
name: mysql-pv-claim
namespace: default
resourceVersion: "34451"
uid: d8ae6350-186a-4deb-b301-ed7a7a71e9b8
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 15Gi ## 这里修改为15G，原来是10G，总共分配的大小
storageClassName: rook-ceph-block
volumeMode: Filesystem
volumeName: pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8
status:
accessModes:
- ReadWriteOnce
capacity:
storage:15Gi ## 这里修改为15G，原来是10G，允许访问的大小
phase: Bound
（3）查看PVC修改结果
# 扩容有一定的延迟，等待一小会，即可看到扩容结果。 [root@k8s-master ~]# kubectl get pvc | grep mysql NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 15Gi RWO rook-ceph-block 89m（4）查看PV扩容结果
[root@k8s-master ~]# kubectl get pv | grep mysql NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 15Gi RWO Delete Bound default/mysql-pv-claim rook-ceph-block 90m（5）查看容器中的扩容结果
[root@k8s-master ~]# kubectl exec -it wordpress-mysql-79966d6c5b-wltpq -- df -Th Filesystem Type Size Used Avail Use% Mounted on /dev/rbd0 ext4 15G 116M 30G 1% /var/lib/mysql2、扩容文件共享型PVC
（1）查看之前创建的文件共享型PVC
[root@k8s-master ~]# kubectl get pvc -n kube-system NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE cephfs-pvc Bound pvc-d025b469-3d30-4a45-b7bb-e62ab8bf21e8 1Gi RWX rook-cephfs 25m（2）修改大小
# 之前是1G，此处改为2G
[root@k8s-master ~]# kubectl edit pvc cephfs-pvc -n kube-system
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
annotations:
pv.kubernetes.io/bind-completed: "yes"
pv.kubernetes.io/bound-by-controller: "yes"
volume.beta.kubernetes.io/storage-provisioner: rook-ceph.cephfs.csi.ceph.com
volume.kubernetes.io/storage-provisioner: rook-ceph.cephfs.csi.ceph.com
creationTimestamp: "2023-07-23T02:04:49Z"
finalizers:
- kubernetes.io/pvc-protection
name: cephfs-pvc
namespace: kube-system
resourceVersion: "42320"
uid: d025b469-3d30-4a45-b7bb-e62ab8bf21e8
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi ## 提供的大小
storageClassName: rook-cephfs
volumeMode: Filesystem
volumeName: pvc-d025b469-3d30-4a45-b7bb-e62ab8bf21e8
status:
accessModes:
- ReadWriteMany
capacity:
storage: 2Gi ## 允许访问的大小
phase: Bound
（3）查看修改后的PVC大小
[root@k8s-master ~]# kubectl get pvc -n kube-system NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE cephfs-pvc Bound pvc-d025b469-3d30-4a45-b7bb-e62ab8bf21e8 2Gi RWX rook-cephfs 29m（4）查看修改后的PV的大小
[root@k8s-master ~]# kubectl get pv NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE pvc-d025b469-3d30-4a45-b7bb-e62ab8bf21e8 2Gi RWX Delete Bound kube-system/cephfs-pvc rook-cephfs 31m（5）查看容器中的扩容结果
[root@k8s-master ~]# kubectl exec -it kube-registry-5b677b6c87-sbzs4 -n kube-system -- df -Th Filesystem Type Size Used Available Use% Mounted on 10.98.200.63:6789,10.102.236.97:6789,10.107.235.178:6789:/volumes/csi/csi-vol-04cde2de-7b3a-44fb-a41a-785d9c7c13e1/53f34b26-8568-4308-be57-6053276a5f99 ceph 2.0G 0 2.0G 0% /var/lib/registry0x08 PVC快照
PVC快照功能和使用云服务器或者虚拟机的快照功能类似，可以针对存储某—刻的状态进行一个快照，无论数据出现严重丢失或者其他情况，都可以回滚数据。
1、创建SnapshotClass
SnapshotClass是创建快照的类。
[root@k8s-master ~]# cd /root/rook/deploy/examples/csi/rbd [root@k8s-master rbd]# kubectl create -f snapshotclass.yaml2、创建快照
首先在之前创建的MySQL容器中创建一个文件夹，并创建一个文件。
（1）查看之前创建的MySQL
[root@k8s-master rbd]# kubectl get pod NAME READY STATUS RESTARTS AGE web-0 1/1 Running 0 95m web-1 1/1 Running 0 94m web-2 1/1 Running 0 94m wordpress-mysql-79966d6c5b-wltpq 1/1 Running 0 148m（2）登录MySQL容器创建测试用文件
[root@k8s-master rbd]# kubectl exec -it wordpress-mysql-79966d6c5b-wltpq -- bash root@wordpress-mysql-79966d6c5b-wltpq:/# ls bin boot dev docker-entrypoint-initdb.d entrypoint.sh etc home lib lib64 media mnt opt proc root run sbin srv sys tmp usr var root@wordpress-mysql-79966d6c5b-wltpq:/# cd /var/lib/mysql root@wordpress-mysql-79966d6c5b-wltpq:/var/lib/mysql# mkdir test_snapshot root@wordpress-mysql-79966d6c5b-wltpq:/var/lib/mysql# cd test_snapshot/ root@wordpress-mysql-79966d6c5b-wltpq:/var/lib/mysql/test_snapshot# echo "test for snapshot">test_snapshot01.txt（3）修改snapshot.yaml文件
# 指定为哪个PVC创建快照 [root@k8s-master rbd]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-d8ae6350-186a-4deb-b301-ed7a7a71e9b8 15Gi RWO rook-ceph-block 152m www-web-0 Bound pvc-57c8626d-a370-4345-abf3-d212465b5635 1Gi RWO rook-ceph-block 100m www-web-1 Bound pvc-4ea4b53f-acab-4731-aa7d-bb4470c35c42 1Gi RWO rook-ceph-block 99m www-web-2 Bound pvc-a1037092-dfaa-47bd-b7f9-8f7be2248611 1Gi RWO rook-ceph-block 98m [root@k8s-master rbd]# vim snapshot.yaml --- apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: rbd-pvc-snapshot spec: volumeSnapshotClassName: csi-rbdplugin-snapclass source: persistentVolumeClaimName: mysql-pv-claim ##修改为需要做快照的PVC（4）创建快照
[root@k8s-master rbd]# kubectl create -f snapshot.yaml（5）查看快照结果
[root@k8s-master rbd]# kubectl get volumesnapshot NAME READYTOUSE SOURCEPVC SOURCESNAPSHOTCONTENT RESTORESIZE SNAPSHOTCLASS SNAPSHOTCONTENT CREATIONTIME AGE rbd-pvc-snapshot true mysql-pv-claim 15Gi csi-rbdplugin-snapclass snapcontent-1f6a8a49-1f78-4def-a998-f4353a964fb3 18s 18s3、恢复快照
（1）使用快照恢复数据
[root@k8s-master rbd]# vim pvc-restore.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: rbd-pvc-restore
spec:
storageClassName: rook-ceph-block
dataSource:
name: rbd-pvc-snapshot ##快照名称
kind: VolumeSnapshot
apiGroup: snapshot.storage.k8s.io
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
备注：storageClassName: rook-ceph-block 新建PVC的StorageClass
dataSource: 快照名称
storage: 20Gi 大小不能小于原来的值
（2）执行恢复动作
[root@k8s-master rbd]# kubectl create -f pvc-restore.yaml（3）查看结果
[root@k8s-master rbd]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-6dd87050-6019-4775-bfe3-7ad4ce54f2e0 15Gi RWO rook-ceph-block 40m rbd-pvc-restore Bound pvc-e3fc4194-ee54-4682-954e-496d5d4c92f1 20Gi RWO rook-ceph-block 4s www-web-0 Bound pvc-2a48771c-32f0-4702-b44d-f3e89832aaab 1Gi RWO rook-ceph-block 37m www-web-1 Bound pvc-260ba446-9525-4245-aa54-aca7ac56bb8d 1Gi RWO rook-ceph-block 36m www-web-2 Bound pvc-d7d1ba74-0236-4cf3-b7eb-3b4d23e931dc 1Gi RWO rook-ceph-block 36m4、检查快照的数据
（1）创建容器
# 创建一个容器，挂载用快照恢复的PVC，并查看里面我们创建的文件，
[root@k8s-master rbd]# vim restore-check-snapshot-rbd.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: check-snapshot-restore
spec:
selector:
matchLabels:
app: check
strategy:
type: Recreate
template:
metadata:
labels:
app: check
spec:
containers:
- image: alpine:3.8
name: check
command:
- sh
- -c
- sleep 36000
volumeMounts:
- name: check-mysql-persistent-storage
mountPath: /mnt
volumes:
- name: check-mysql-persistent-storage
persistentVolumeClaim:
claimName: rbd-pvc-restore
[root@k8s-master rbd]# kubectl create -f restore-check-snapshot-rbd.yaml
（2）查看结果
[root@k8s-master rbd]# kubectl get pod NAME READY STATUS RESTARTS AGE check-snapshot-restore-6df758bdd6-srjg2 1/1 Running 0 38s web-0 1/1 Running 0 40m web-1 1/1 Running 0 40m web-2 1/1 Running 0 40m wordpress-mysql-79966d6c5b-28kjn 1/1 Running 0 43m [root@k8s-master rbd]# kubectl exec -it check-snapshot-restore-6df758bdd6-srjg2 -- sh / # cat /mnt/test_snapshot/test_snapshot01.txt test for snapshot0x09 PVC克隆
和虚拟机类似，PVC也支持克隆，可以基于某个PVC复制出一个一模一样数据的新的PVC。
1、创建克隆
[root@k8s-master rbd]# pwd
/root/rook/deploy/examples/csi/rbd
[root@k8s-master rbd]# vim pvc-clone.yaml
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: rbd-pvc-clone
spec:
storageClassName: rook-ceph-block
dataSource:
name: mysql-pv-claim ## 指定要克隆的PVC的名字
kind: PersistentVolumeClaim
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 15Gi ## 设置克隆大小
注意：dataSource的name是被克隆的PVC的名字，在此是mysql-pv-claim
StorageClassName是新建的PVC的StorageClass名称
Storage大小不能小于之前的PVC的大小
2、开始克隆
[root@k8s-master rbd]# kubectl create -f pvc-clone.yaml [root@k8s-master rbd]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE mysql-pv-claim Bound pvc-6dd87050-6019-4775-bfe3-7ad4ce54f2e0 15Gi RWO rook-ceph-block 49m rbd-pvc-clone Bound pvc-ba6a9657-394a-42c3-8382-6d2178493649 15Gi RWO rook-ceph-block 37s rbd-pvc-restore Bound pvc-e3fc4194-ee54-4682-954e-496d5d4c92f1 20Gi RWO rook-ceph-block 9m29s www-web-0 Bound pvc-2a48771c-32f0-4702-b44d-f3e89832aaab 1Gi RWO rook-ceph-block 46m www-web-1 Bound pvc-260ba446-9525-4245-aa54-aca7ac56bb8d 1Gi RWO rook-ceph-block 46m www-web-2 Bound pvc-d7d1ba74-0236-4cf3-b7eb-3b4d23e931dc 1Gi RWO rook-ceph-block 46m
搜索内容
热门文章
- DS918+，DS3617xs黑群晖洗白码
- VMware vCenter vSphere ESXi 7.0 许可证&下载链接
- 黑群晖各版本引导下载
- Kali Liunx下msfvenom利用方法
- python base64加解密脚本（可变换码表）
- Kali Liunx字典生成工具Crunch,Cupp,Cewl
- 解决VM虚拟机Kali Liunx连不上网
- JIS-CTF-VulnUpload-CTF01靶机渗透测试笔记
最新文章
- Prometheus 自动发现 K8S Ingress 实现黑盒监控
- Prometheus 在 K8S 集群中自动发现常用角色（Role）的解释
- K8S 使用Local Path Storage（本地路径存储）
- Alertmanager 企业微信告警配置 自定义告警模板
- Alertmanager 邮件告警配置
- K8S部署Elasticsearch集群（Elasticsearch Operator）[ECK]
- Prometheus blackbox-exporter自定义User-Agent
- Prometheus Blackbox（黑盒监控）
最新评论
- ID：冬天里的火
可以，现在弄k8s 的越来越多了，确实都...
友情链接
日期存档
- 2024年11月(6)
- 2024年10月(8)
- 2024年9月(6)
- 2024年8月(2)
- 2024年7月(7)
- 2024年6月(1)
- 2024年5月(6)
- 2024年4月(1)
- 2024年3月(3)
- 2024年2月(6)
- 2024年1月(11)
- 2023年12月(13)
- 2023年11月(13)
- 2023年10月(8)
- 2023年9月(11)
- 2023年8月(4)
- 2023年7月(18)
- 2023年6月(16)
- 2023年5月(16)
- 2023年4月(4)
- 2023年3月(7)
- 2023年2月(26)
- 2023年1月(10)
- 2022年12月(7)
- 2022年11月(2)
- 2022年10月(5)
- 2022年9月(8)
- 2022年8月(9)
- 2022年7月(4)
- 2022年6月(3)
- 2022年5月(3)
- 2022年4月(3)
- 2022年3月(7)
- 2022年2月(1)
- 2022年1月(2)
- 2021年12月(6)
- 2021年11月(3)
- 2021年10月(5)
- 2021年9月(8)
- 2021年8月(3)
- 2021年7月(3)
- 2021年6月(3)
- 2021年5月(3)
- 2021年4月(4)
- 2021年3月(3)
- 2021年2月(1)
- 2021年1月(1)
- 2020年12月(8)
- 2020年11月(6)
- 2020年10月(1)
- 2020年9月(3)
- 2020年8月(1)
- 2020年7月(5)
- 2020年6月(1)
- 2020年5月(2)
- 2020年4月(7)
- 2020年3月(20)
- 2020年2月(12)
- 2020年1月(3)
- 2010年10月(3)
发表评论