Myluzh Blog

在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：

(1)一台或多台机器，操作系统 CentOS7.x-86_x6

(2)硬件配置: 2GB 或更多 RAM，2个 CPU 或更多 CPU，硬盘 30GB 或更多

(3)集群中所有机器之间网络互通

(4)可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点

(5)禁止 swap 分区

组件版本：k8s组件版本v1.19.16  etcd版本3.3.10

 0x01 操作系统初始化

#关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

#关闭selinux
setenforce 0
sed -i --follow-symlinks 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux

#关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

#根据规划设置master、worker节点主机名
hostnamectl set-hostname <hostname>

#添加 hosts（所有节点）
cat >> /etc/hosts << EOF
172.16.10.20 master
172.16.10.21 node1
172.16.10.22 node2
EOF

#将桥接的 IPv4 流量传递到 iptables 的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

#时间同步
yum install ntpdate -y
ntpdate time.windows.com

#重启系统
reboot

cfssl：证书签发的工具命令

cfssljson：将 cfssl 生成的证书（json 格式）变为文件承载式证书

cfssl-certinfo：验证证书的信息，"cfssl-certinfo -cert <证书名称>" 可查看证书的信息

[root@master cfssl]# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.4/cfssl_1.6.4_linux_amd64
[root@master cfssl]# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.4/cfssljson_1.6.4_linux_amd64
[root@master cfssl]# wget https://github.com/cloudflare/cfssl/releases/download/v1.6.4/cfssl-certinfo_1.6.4_linux_amd64
[root@master cfssl]# mv cfssl_1.6.4_linux_amd64  /usr/local/bin/cfssl
[root@master cfssl]# mv cfssl-certinfo_1.6.4_linux_amd64 /usr/local/bin/cfssl-certinfo
[root@master cfssl]# mv cfssljson_1.6.4_linux_amd64 /usr/local/bin/cfssljson
[root@master cfssl]# chmod +x /usr/local/bin/cfssl*

[root@master cfssl]# cfssl version
Version: 1.6.4
Runtime: go1.18

[root@master tls]# vim etcd-cert.sh 
#!/bin/bash
#配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
 
#ca-config.json：可以定义多个 profiles，分别指定不同的过期时间、使用场景等参数；
#后续在签名证书时会使用某个 profile；此实例只有一个 www 模板。
#expiry：指定了证书的有效期，87600h 为10年，如果用默认值一年的话，证书到期后集群会立即宕掉
#signing：表示该证书可用于签名其它证书；生成的 ca.pem 证书中 CA=TRUE；
#key encipherment：表示使用非对称密钥加密，如 RSA 加密；
#server auth：表示client可以用该 CA 对 server 提供的证书进行验证；
#client auth：表示server可以用该 CA 对 client 提供的证书进行验证；
#注意标点符号，最后一个字段一般是没有逗号的。
 
 
#-----------------------
#生成CA证书和私钥（根证书和私钥）
#特别说明： cfssl和openssl有一些区别，openssl需要先生成私钥，然后用私钥生成请求文件，最后生成签名的证书和私钥等，但是cfssl可以直接得到请求文件。
cat > ca-csr.json <<EOF
{
    "CN": "etcd",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF
 
#CN：Common Name，浏览器使用该字段验证网站或机构是否合法，一般写的是域名 
#key：指定了加密算法，一般使用rsa（size：2048）
#C：Country，国家
#ST：State，州，省
#L：Locality，地区,城市
#O: Organization Name，组织名称，公司名称
#OU: Organization Unit Name，组织单位名称，公司部门
 
cfssl gencert -initca ca-csr.json | cfssljson -bare ca
 
#生成的文件：
#ca-key.pem：根证书私钥
#ca.pem：根证书
#ca.csr：根证书签发请求文件
 
#cfssl gencert -initca <CSRJSON>：使用 CSRJSON 文件生成生成新的证书和私钥。如果不添加管道符号，会直接把所有证书内容输出到屏幕。
#注意：CSRJSON 文件用的是相对路径，所以 cfssl 的时候需要 csr 文件的路径下执行，也可以指定为绝对路径。
#cfssljson 将 cfssl 生成的证书（json格式）变为文件承载式证书，-bare 用于命名生成的证书文件。
 
 
#-----------------------
#生成 etcd 服务器证书和私钥
cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "172.16.10.20",
    "172.16.10.21",
    "172.16.10.22"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF
 
#hosts：将所有 etcd 集群节点添加到 host 列表，需要指定所有 etcd 集群的节点 ip 或主机名不能使用网段，新增 etcd 服务器需要重新签发证书。
 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server
 
#生成的文件：
#server.csr：服务器的证书请求文件
#server-key.pem：服务器的私钥
#server.pem：服务器的数字签名证书
 
#-config：引用证书生成策略文件 ca-config.json
#-profile：指定证书生成策略文件中的的使用场景，比如 ca-config.json 中的 www

[root@master tls]# chmod +x etcd-cert.sh 
[root@master tls]# ./etcd-cert.sh 
2023/08/03 16:28:28 [INFO] generating a new CA key and certificate from CSR
2023/08/03 16:28:28 [INFO] generate received request
2023/08/03 16:28:28 [INFO] received CSR
2023/08/03 16:28:28 [INFO] generating key: rsa-2048
2023/08/03 16:28:28 [INFO] encoded CSR
2023/08/03 16:28:28 [INFO] signed certificate with serial number 442349761323356321932576259337510906605338046512
2023/08/03 16:28:29 [INFO] generate received request
2023/08/03 16:28:29 [INFO] received CSR
2023/08/03 16:28:29 [INFO] generating key: rsa-2048
2023/08/03 16:28:29 [INFO] encoded CSR
2023/08/03 16:28:29 [INFO] signed certificate with serial number 325559447336514670942780577130249921031133567715
[root@master tls]# ls
ca-config.json  ca-csr.json  ca.pem        server.csr       server-key.pem
ca.csr          ca-key.pem   etcd-cert.sh  server-csr.json  server.pem

[root@master etcd]# wget https://github.com/etcd-io/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz
[root@master etcd]# tar -zxvf etcd-v3.3.10-linux-amd64.tar.gz
[root@master etcd]# ls etcd-v3.3.10-linux-amd64
Documentation  etcdctl  README-etcdctl.md  README.md
etcd           etcdutl  README-etcdutl.md  READMEv2-etcdctl.md

//创建用于存放 etcd 配置文件、命令文件、证书的目录
[root@master etcd]# mkdir -p /opt/etcd/{cfg,bin,ssl}
//复制可执行文件
[root@master etcd]# mv ./etcd-v3.3.10-linux-amd64/etcd /opt/etcd/bin/
[root@master etcd]# mv ./etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
//把证书文件复制过去
[root@master k8s2install]# cp ./tls/{ca.pem,server.pem,server-key.pem} /opt/etcd/ssl/

#!/bin/bash
# example: ./etcd.sh etcd01 172.16.10.20 etcd02=https://172.16.10.11:2380,etcd03=https://172.16.10.12:2380
 
#创建etcd配置文件/opt/etcd/cfg/etcd
ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3
 
WORK_DIR=/opt/etcd
 
cat > $WORK_DIR/cfg/etcd  <<EOF
#[Member]
ETCD_NAME="${ETCD_NAME}"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF
 
#Member:成员配置
#ETCD_NAME：节点名称，集群中唯一。成员名字，集群中必须具备唯一性，如etcd01
#ETCD_DATA_DIR：数据目录。指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定-wal-dir，还会存储WAL文件；如果不指定会用缺省目录
#ETCD_LISTEN_PEER_URLS：集群通信监听地址。用于监听其他member发送信息的地址。ip为全0代表监听本机所有接口
#ETCD_LISTEN_CLIENT_URLS：客户端访问监听地址。用于监听etcd客户发送信息的地址。ip为全0代表监听本机所有接口
 
#Clustering：集群配置
#ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址。其他member使用，其他member通过该地址与本member交互信息。一定要保证从其他member能可访问该地址。静态配置方式下，该参数的value一定要同时在--initial-cluster参数中存在
#ETCD_ADVERTISE_CLIENT_URLS：客户端通告地址。etcd客户端使用，客户端通过该地址与本member交互信息。一定要保证从客户侧能可访问该地址
#ETCD_INITIAL_CLUSTER：集群节点地址。本member使用。描述集群中所有节点的信息，本member根据此信息去联系其他member
#ETCD_INITIAL_CLUSTER_TOKEN：集群Token。用于区分不同集群。本地如有多个集群要设为不同
#ETCD_INITIAL_CLUSTER_STATE：加入集群的当前状态，new是新集群，existing表示加入已有集群。
 
 
#创建etcd.service服务管理文件
cat > /usr/lib/systemd/system/etcd.service <<EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
 
[Service]
Type=notify
EnvironmentFile=${WORK_DIR}/cfg/etcd
ExecStart=${WORK_DIR}/bin/etcd \
--name=\${ETCD_NAME} \
--data-dir=\${ETCD_DATA_DIR} \
--listen-peer-urls=\${ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${ETCD_ADVERTISE_CLIENT_URLS} \
--initial-advertise-peer-urls=\${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${ETCD_INITIAL_CLUSTER_TOKEN} \
--initial-cluster-state=new \
--cert-file=${WORK_DIR}/ssl/server.pem \
--key-file=${WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${WORK_DIR}/ssl/ca.pem \
--peer-cert-file=${WORK_DIR}/ssl/server.pem \
--peer-key-file=${WORK_DIR}/ssl/server-key.pem \
--peer-trusted-ca-file=${WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target
EOF
 
#--listen-client-urls：用于指定etcd和客户端的连接端口
#--advertise-client-urls：用于指定etcd服务器之间通讯的端口，etcd有要求，如果--listen-client-urls被设置了，那么就必须同时设置--advertise-client-urls，所以即使设置和默认相同，也必须显式设置
#--peer开头的配置项用于指定集群内部TLS相关证书（peer 证书），这里全部都使用同一套证书认证
#不带--peer开头的的参数是指定 etcd 服务器TLS相关证书（server 证书），这里全部都使用同一套证书认证
 
 
systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd

[root@master k8s2install]# ./etcd.sh etcd01 172.16.10.20 etcd02=https://172.16.10.21:2380,etcd03=https://172.16.10.22:2380

[root@master cfg]# scp -r /opt/etcd root@172.16.10.21:/opt/etcd
[root@master cfg]# scp -r /opt/etcd root@172.16.10.22:/opt/etcd

[root@master cfg]# scp /usr/lib/systemd/system/etcd.service root@172.16.10.21:/usr/lib/systemd/system/
[root@master cfg]# scp /usr/lib/systemd/system/etcd.service root@172.16.10.22:/usr/lib/systemd/system/

###node1主机 etcd配置文件 注意配置etcd名字为etcd02
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://172.16.10.21:2380"
ETCD_LISTEN_CLIENT_URLS="https://172.16.10.21:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://172.16.10.21:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://172.16.10.21:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://172.16.10.20:2380,etcd02=https://172.16.10.21:2380,etcd03=https://172.16.10.22:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

###node2主机 etcd配置文件 注意配置etcd名字为etcd03
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://172.16.10.22:2380"
ETCD_LISTEN_CLIENT_URLS="https://172.16.10.22:2379"
 
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://172.16.10.22:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://172.16.10.22:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://172.16.10.20:2380,etcd02=https://172.16.10.21:2380,etcd03=https://172.16.10.22:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

#所有etcd节点都需要运行
systemctl daemon-reload 
systemctl enable etcd
systemctl start etcd

#将etcd执行命令软链接到PATH路径
[root@master]# ln -s /opt/etcd/bin/etcd* /usr/local/bin

[root@master bin]# ./etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://172.16.10.20:2379,https://172.16.10.21:2379,https://172.16.10.22:2379" cluster-health
member b15ab296f41fb90 is healthy: got healthy result from https://172.16.10.20:2379
member 3cbbaf77904c6153 is healthy: got healthy result from https://172.16.10.22:2379
member 8eb7652b6bd99c30 is healthy: got healthy result from https://172.16.10.21:2379
cluster is healthy

[root@master ssl]# export ETCDCTL_API=3
[root@master ssl]# etcdctl --write-out=table endpoint status
#换回 v2 版本
[root@master ssl]# export ETCDCTL_API=2

编写k8s-cert.sh（记得修改脚本里面的ip，把所有master跟node节点ip都写到hosts字段里）

#!/bin/bash
#配置证书生成策略，让 CA 软件知道颁发有什么功能的证书，生成用来签发其他组件证书的根证书
cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF
 
#生成CA证书和私钥（根证书和私钥）
cat > ca-csr.json <<EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
      	    "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF
 
cfssl gencert -initca ca-csr.json | cfssljson -bare ca -
 
 
#-----------------------
#生成 apiserver 的证书和私钥（apiserver和其它k8s组件通信使用）
#hosts中将所有可能作为 apiserver 的 ip 添加进去，后面 keepalived 使用的 VIP 也要加入
cat > apiserver-csr.json <<EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local",
      "172.16.10.20",
      "172.16.10.21",
      "172.16.10.22"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF
 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes apiserver-csr.json | cfssljson -bare apiserver
 
 
#-----------------------
#生成 kubectl 的证书和私钥，具有admin权限
cat > admin-csr.json <<EOF
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF
 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
 
 
#-----------------------
#生成 kube-proxy 的证书和私钥
cat > kube-proxy-csr.json <<EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

[root@master k8s2install]# chmod +x k8s-cert.sh
[root@master k8s2install]# ./k8s-cert.sh
[root@master k8s2install]# mv *.pem /opt/kubernetes/ssl/

[root@master k8s2install]# wget https://dl.k8s.io/v1.19.16/kubernetes-server-linux-amd64.tar.gz
[root@master k8s2install]# tar -zxvf kubernetes-server-linux-amd64.tar.gz
[root@master k8s2install]# mkdir -p /opt/kubernetes/{cfg,bin,ssl}
[root@master k8s2install]# mv ./kubernetes/server/bin/* /opt/kubernetes/bin/

[root@master k8s2install]# vim apiserver.sh 
#!/bin/bash
#example: apiserver.sh 172.16.10.20 https://172.16.10.20:2379,https://172.16.10.21:2379,https://172.16.10.22:2379
#创建 kube-apiserver 启动参数配置文件
MASTER_ADDRESS=$1
ETCD_SERVERS=$2
 
cat >/opt/kubernetes/cfg/kube-apiserver <<EOF
KUBE_APISERVER_OPTS="--logtostderr=true \\
--v=4 \\
--etcd-servers=${ETCD_SERVERS} \\
--bind-address=${MASTER_ADDRESS} \\
--secure-port=6443 \\
--advertise-address=${MASTER_ADDRESS} \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--kubelet-https=true \\
--enable-bootstrap-token-auth \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-50000 \\
--tls-cert-file=/opt/kubernetes/ssl/apiserver.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/apiserver-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem"
EOF
 
#--logtostderr=true：输出日志到标准错误控制台，不输出到文件
#--v=4：指定输出日志的级别，v=4为调试级别详细输出
#--etcd-servers：指定etcd服务器列表（格式：//ip:port），逗号分隔
#--bind-address：指定 HTTPS 安全接口的监听地址，默认值0.0.0.0
#--secure-port：指定 HTTPS 安全接口的监听端口，默认值6443
#--advertise-address：通过该 ip 地址向集群其他节点公布 api server 的信息，必须能够被其他节点访问
#--allow-privileged=true：允许拥有系统特权的容器运行，默认值false
#--service-cluster-ip-range：指定 Service Cluster IP 地址段
#--enable-admission-plugins：kuberneres集群的准入控制机制，各控制模块以插件的形式依次生效，集群时必须包含ServiceAccount，运行在认证（Authentication）、授权（Authorization）之后，Admission Control是权限认证链上的最后一环， 对请求API资源对象进行修改和校验
#--authorization-mode：在安全端口使用RBAC,Node授权模式，未通过授权的请求拒绝，默认值AlwaysAllow。RBAC是用户通过角色与权限进行关联的模式；Node模式（节点授权）是一种特殊用途的授权模式，专门授权由kubelet发出的API请求，在进行认证时，先通过用户名、用户分组验证是否是集群中的Node节点，只有是Node节点的请求才能使用Node模式授权
#--kubelet-https=true：kubelet通信使用https，默认值true
#--enable-bootstrap-token-auth：在apiserver上启用Bootstrap Token 认证
#--token-auth-file=/opt/kubernetes/cfg/token.csv：指定Token认证文件路径
#--service-node-port-range：指定 NodePort 的端口范围，默认值30000-32767
 
 
#创建 kube-apiserver.service 服务管理文件
cat >/usr/lib/systemd/system/kube-apiserver.service <<EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
 
[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-apiserver
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF
 
systemctl daemon-reload
systemctl enable kube-apiserver
systemctl restart kube-apiserver

[root@master k8s2install]# cat scheduler.sh 
#!/bin/bash
#创建 kube-scheduler 启动参数配置文件
MASTER_ADDRESS=$1
 
cat >/opt/kubernetes/cfg/kube-scheduler <<EOF
KUBE_SCHEDULER_OPTS="--logtostderr=true \\
--v=4 \\
--master=${MASTER_ADDRESS}:8080 \\
--leader-elect=true"
EOF
 
#--master：监听 apiserver 的地址和8080端口
#--leader-elect=true：启动 leader 选举
#k8s中Controller-Manager和Scheduler的选主逻辑：k8s中的etcd是整个集群所有状态信息的存储，涉及数据的读写和多个etcd之间数据的同步，对数据的一致性要求严格，所以使用较复杂的 raft 算法来选择用于提交数据的主节点。而 apiserver 作为集群入口，本身是无状态的web服务器，多个 apiserver 服务之间直接负载请求并不需要做选主。Controller-Manager 和 Scheduler 作为任务类型的组件，比如 controller-manager 内置的 k8s 各种资源对象的控制器实时的 watch apiserver 获取对象最新的变化事件做期望状态和实际状态调整，调度器watch未绑定节点的pod做节点选择，显然多个这些任务同时工作是完全没有必要的，所以 controller-manager 和 scheduler 也是需要选主的，但是选主逻辑和 etcd 不一样的，这里只需要保证从多个 controller-manager 和 scheduler 之间选出一个 leader 进入工作状态即可，而无需考虑它们之间的数据一致和同步。
 
 
#创建 kube-scheduler.service 服务管理文件
cat >/usr/lib/systemd/system/kube-scheduler.service <<EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
 
[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-scheduler
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF
 
systemctl daemon-reload
systemctl enable kube-scheduler
systemctl restart kube-scheduler

[root@master k8s2install]# vim controller-manager.sh 
#!/bin/bash
#创建 kube-controller-manager 启动参数配置文件
MASTER_ADDRESS=$1
 
cat >/opt/kubernetes/cfg/kube-controller-manager <<EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=true \\
--v=4 \\
--master=${MASTER_ADDRESS}:8080 \\
--leader-elect=true \\
--address=127.0.0.1 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-name=kubernetes \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF
 
#--cluster-name=kubernetes：集群名称，与CA证书里的CN匹配
#--cluster-signing-cert-file：指定签名的CA机构根证书，用来签名为 TLS BootStrapping 创建的证书和私钥
#--root-ca-file：指定根CA证书文件路径，用来对 kube-apiserver 证书进行校验，指定该参数后，才会在 Pod 容器的 ServiceAccount 中放置该 CA 证书文件
#--experimental-cluster-signing-duration：设置为 TLS BootStrapping 签署的证书有效时间为10年，默认为1年
 
 
#创建 kube-controller-manager.service 服务管理文件
cat >/usr/lib/systemd/system/kube-controller-manager.service <<EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
 
[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-controller-manager
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF
 
systemctl daemon-reload
systemctl enable kube-controller-manager
systemctl restart kube-controller-manager

[root@master k8s2install]# vim token.sh 
#!/bin/bash
#获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格
BOOTSTRAP_TOKEN=$(head -c 16 /dev/urandom | od -An -t x | tr -d ' ')
#生成token.csv文件，按照Token序列号，用户名，UID，用户组的格式生成
cat > /opt/kubernetes/cfg/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"sysytem:kubelet-bootstrap"
EOF

[root@master k8s2install]# ln -s /opt/kubernetes/bin/kube* /usr/local/bin
[root@master k8s2install]# chmod +x *.sh
[root@master k8s2install]# ./token.sh 
[root@master k8s2install]# cat /opt/kubernetes/cfg/token.csv 
c6d7575767cbda27020900034965cdef,kubelet-bootstrap,10001,"sysytem:kubelet-bootstrap"
[root@master k8s2install]# ./apiserver.sh 172.16.10.20 https://172.16.10.20:2379,https://172.16.10.21:2379,https://172.16.10.22:2379
[root@master k8s2install]# ./controller-manager.sh 127.0.0.1
[root@master k8s2install]# ./scheduler.sh 127.0.0.1

#检查服务是否正常
[root@master k8s2install]# systemctl status kube-apiserver.service
[root@master k8s2install]# systemctl status kube-scheduler.service 
[root@master k8s2install]# systemctl status kube-controller-manager.service

#检查进程是否启动成功（k8s 通过 kube-apiserver 这个进程提供服务，该进程运行在单个 master 节点上。默认有两个端口 6443 和 8080 新版本为 58080）
[root@master k8s2install]# ps -aux | grep kube-apiserver

#检查 6443 端口（安全端口 6443 用于接收 HTTPS 请求，用于基于 Token 文件或客户端证书等认证）
[root@master k8s2install]# netstat -natp | grep 6443

#检查 8080 端口（本地端口 8080 用于接收 HTTP 请求，非认证或授权的 HTTP 请求通过该端口访问 API Server）
[root@master k8s2install]# netstat -natp | grep 8080

# 查看版本信息（必须保证 apiserver 启动正常，不然无法查询到 server 的版本信息）
[root@master k8s2install]# kubectl version

#查看master节点状态
[root@master k8s2install]# kubectl get componentstatus

[root@node1 ~]# docker --version
Docker version 24.0.2, build cb74dfc
[root@node2 ~]# docker --version
Docker version 24.0.2, build cb74dfc

2.把 kubelet、kube-proxy 拷贝到 node 节点

# node1与node2操作
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
# 在master节点操作
[root@master]# cd /opt/kubernetes/bin/
[root@master bin]# scp kubelet kube-proxy root@172.16.10.21:/opt/kubernetes/bin/
[root@master bin]# scp kubelet kube-proxy root@172.16.10.22:/opt/kubernetes/bin/

[root@master ~]# mkdir -p /k8s/kubeconfig
[root@master ~]# cd /k8s/kubeconfig/
[root@master kubeconfig]# vim kubeconfig.sh
#!/bin/bash
#example: kubeconfig 172.16.10.20 /opt/kubernetes/ssl
#创建bootstrap.kubeconfig文件
#该文件中内置了 token.csv 中用户的 Token，以及 apiserver CA 证书；kubelet 首次启动会加载此文件，使用 apiserver CA 证书建立与 apiserver 的 TLS 通讯，使用其中的用户 Token 作为身份标识向 apiserver 发起 CSR 请求
 
BOOTSTRAP_TOKEN=$(awk -F ',' '{print $1}' /opt/kubernetes/cfg/token.csv)
APISERVER=$1
SSL_DIR=$2
 
export KUBE_APISERVER="https://$APISERVER:6443"
 
# 设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
#--embed-certs=true：表示将ca.pem证书写入到生成的bootstrap.kubeconfig文件中
 
# 设置客户端认证参数，kubelet 使用 bootstrap token 认证
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
 
# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig
 
# 使用上下文参数生成 bootstrap.kubeconfig 文件
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig
 
#----------------------
 
#创建kube-proxy.kubeconfig文件
# 设置集群参数
kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig
 
# 设置客户端认证参数，kube-proxy 使用 TLS 证书认证
kubectl config set-credentials kube-proxy \
  --client-certificate=$SSL_DIR/kube-proxy.pem \
  --client-key=$SSL_DIR/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig
 
# 设置上下文参数
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig
 
# 使用上下文参数生成 kube-proxy.kubeconfig 文件
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfi

[root@master kubeconfig]# chmod +x *.sh
[root@master kubeconfig]# ./kubeconfig.sh 172.16.10.20 /opt/kubernetes/ssl
[root@master kubeconfig]# ls
bootstrap.kubeconfig  kubeconfig.sh  kube-proxy.kubeconfig

[root@master kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@172.16.10.21:/opt/kubernetes/cfg/
[root@master kubeconfig]# scp bootstrap.kubeconfig kube-proxy.kubeconfig root@172.16.10.22:/opt/kubernetes/cfg/

[root@master]# cd /opt
[root@master opt]# kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
clusterrolebinding.rbac.authorization.k8s.io/kubelet-bootstrap created
#查看角色
[root@master opt]# kubectl get clusterroles | grep system:node-bootstrapper
system:node-bootstrapper
#查看已授权角色
[root@master opt]# kubectl get clusterrolebinding

[root@node1 opt]# vim kubelet.sh 
#!/bin/bash
 
NODE_ADDRESS=$1
DNS_SERVER_IP=${2:-"10.0.0.2"}
 
#创建 kubelet 启动参数配置文件
cat >/opt/kubernetes/cfg/kubelet <<EOF
KUBELET_OPTS="--logtostderr=true \\
--v=4 \\
--hostname-override=${NODE_ADDRESS} \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet.config \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google-containers/pause-amd64:3.0"
EOF
 
#--hostname-override：指定kubelet节点在集群中显示的主机名或IP地址，默认使用主机hostname；kube-proxy和kubelet的此项参数设置必须完全一致
#--kubeconfig：指定kubelet.kubeconfig文件位置，用于如何连接到apiserver，里面含有kubelet证书，master授权完成后会在node节点上生成 kubelet.kubeconfig 文件
#--bootstrap-kubeconfig：指定连接 apiserver 的 bootstrap.kubeconfig 文件
#--config：指定kubelet配置文件的路径，启动kubelet时将从此文件加载其配置
#--cert-dir：指定master颁发的客户端证书和密钥保存位置
#--pod-infra-container-image：指定Pod基础容器（Pause容器）的镜像。Pod启动的时候都会启动一个这样的容器，每个pod之间相互通信需要Pause的支持，启动Pause需要Pause基础镜像
 
 
#----------------------
#创建kubelet配置文件（该文件实际上就是一个yml文件，语法非常严格，不能出现tab键，冒号后面必须要有空格，每行结尾也不能有空格）
cat >/opt/kubernetes/cfg/kubelet.config <<EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: ${NODE_ADDRESS}
port: 10250
readOnlyPort: 10255
#cgroupDriver: cgroupfs
cgroupDriver: systemd
clusterDNS:
- ${DNS_SERVER_IP} 
clusterDomain: cluster.local.
failSwapOn: false
authentication:
  anonymous:
    enabled: true
EOF
 
#PS：当命令行参数与此配置文件（kubelet.config）有相同的值时，就会覆盖配置文件中的该值。
 
 
#----------------------
#创建 kubelet.service 服务管理文件
cat >/usr/lib/systemd/system/kubelet.service <<EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
Requires=docker.service
 
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
KillMode=process
 
[Install]
WantedBy=multi-user.target
EOF
 
systemctl daemon-reload
systemctl enable kubelet
systemctl restart kubelet

8.node1启动kubelet服务

#使用 kubelet.sh 脚本启动 kubelet 服务
[root@node1 ~]# cd /opt
[root@node1 opt]# chmod +x *.sh
[root@node1 opt]# ./kubelet.sh 172.16.10.21
#检查 kubelet 服务启动
[root@node1b opt]# systemctl status kubelet
[root@node1 opt]# ps aux | grep kubelet

9.master批准csr请求

#在node查看当前 ssl 目录（此时还没有生成证书，因为 master 还未对此申请做批准操作）
[root@node1 opt]# ls /opt/kubernetes/ssl/
kubelet-client.key.tmp  kubelet.crt  kubelet.key
#master查看CSR请求（有来自于 kubelet-bootstrap 的申请，处于待办状态）
[root@master opt]# kubectl get csr
NAME                                                      REQUESTOR           CONDITION
node-csr-RgINW7X95wIEBXEcYRTeF-9y9JOYEdr892izU43Fstw      kubelet-bootstrap   Pending
#通过CSR请求
[root@master opt]# kubectl certificate approve node-csr-RgINW7X95wIEBXEcYRTeF-9y9JOYEdr892izU43Fstw
certificatesigningrequest.certificates.k8s.io/node-csr-RgINW7X95wIEBXEcYRTeF-9y9JOYEdr892izU43Fstw approved
#再次查看CSR请求状态
[root@master opt]# kubectl get csr
NAME                                                      REQUESTOR           CONDITION
node-csr-RgINW7X95wIEBXEcYRTeF-9y9JOYEdr892izU43Fstw      kubelet-bootstrap   Approved,Issued

10.node1编写proxy.sh脚本

[root@node1 opt]# vi proxy.sh 
#!/bin/bash
 
NODE_ADDRESS=$1
 
#创建 kube-proxy 启动参数配置文件
cat >/opt/kubernetes/cfg/kube-proxy <<EOF
KUBE_PROXY_OPTS="--logtostderr=true \\
--v=4 \\
--hostname-override=${NODE_ADDRESS} \\
--cluster-cidr=10.88.0.0/16 \\
--proxy-mode=ipvs \\
--kubeconfig=/opt/kubernetes/cfg/kube-proxy.kubeconfig"
EOF
 
#--hostnameOverride: 参数值必须与 kubelet 的值一致，否则 kube-proxy 启动后会找不到该 Node，从而不会创建任何 ipvs 规则
#--cluster-cidr：指定 Pod 网络使用的聚合网段，Pod 使用的网段和 apiserver 中指定的 service 的 cluster ip 网段不是同一个网段。 kube-proxy 根据 --cluster-cidr 判断集群内部和外部流量，指定 --cluster-cidr 选项后 kube-proxy 才会对访问 Service IP 的请求做 SNAT，即来自非 Pod 网络的流量被当成外部流量，访问 Service 时需要做 SNAT。
#--proxy-mode：指定流量调度模式为 ipvs 模式
#--kubeconfig: 指定连接 apiserver 的 kubeconfig 文件	
 
 
#----------------------
#创建 kube-proxy.service 服务管理文件
cat >/usr/lib/systemd/system/kube-proxy.service <<EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
 
[Service]
EnvironmentFile=-/opt/kubernetes/cfg/kube-proxy
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
 
[Install]
WantedBy=multi-user.target
EOF
 
systemctl daemon-reload
systemctl enable kube-proxy
systemctl restart kube-proxy

11.node1运行kube-proxy

[root@node1 opt]# ./proxy.sh 172.16.10.21
[root@node1 opt]# systemctl status kube-proxy

12.一样的操作配置node2的kubelet跟kube-proxy

把kubelet.sh proxy.sh 复制到node2 opt中

[root@node1 opt]# scp *.sh root@172.16.10.22:/opt

13.node2运行kubelet.sh proxy.sh

#运行后需要去master批准csr请求
[root@node2 opt]# ./kubelet.sh 172.16.10.22
[root@node2 opt]# ./proxy.sh 172.16.10.22

1.安装cni插件

[root@master ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
#这里需要把"Network"里面的ip段，改成kupeoxy配置ip段一样，我前面kubeproxy --cluster-cidr=10.88.0.0/16 所以这里也要改成一样。
[root@master ~]# vim kube-flannel.yml 
[root@master ~]# kubectl apply -f kube-flannel.yml 
#查看cni状态有没有问题
kubectl get pod -o wide -A

#安装cni报错 看日志 提示权限不足
[root@master kubeconfig]# kubectl logs  kube-flannel-ds-dwqnp -n kube-flannel
Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( pods/log kube-flannel-ds-dwqnp)
#给匿名用户cluster-admin权限
[root@master kubeconfig]# kubectl create clusterrolebinding system:anonymous   --clusterrole=cluster-admin   --user=system:anonymous
clusterrolebinding.rbac.authorization.k8s.io/system:anonymous created

journalctl -n 20000 -u kubelet | grep cni
#发现缺少plugin报错
Aug 16 14:13:00 master kubelet[27393]: : [failed to find plugin "portmap" in path [/opt/cni/bin]]
#直接下载cni-plugins包，全部解压到/opt/cni/bin里面
cd /opt/cni/bin
wget https://github.com/containernetworking/plugins/releases/download/v0.9.1/cni-plugins-linux-amd64-v0.9.1.tgz
tar -zxvf cni-plugins-linux-amd64-v0.9.1.tgz ./
#重新部署cni插件
kubectl delete -f kube-flannel.yml 
kubectl apply -f kube-flannel.yml 

#把cni删干净
ip link delete flannel.1
ip link delete weave
find / -name cni
find / -name weave
rm -rf /etc/cni
rm -rf /var/lib/cni
rm -rf /opt/cni
rm -rf /var/lib/weave
find / -name cni
find / -name weave

0x08 最后

1.建议master也装上kubelet跟kube-proxy不然会有很多问题，可以给master打污点来解决pod不允许在master跑。

# 给maste节点打roles标签
kubectl label node 172.16.10.20 node-role.kubernetes.io/master=master
# 给master节点打污点
kubectl taint nodes 172.16.10.20 node-role.kubernetes.io/master=true:NoSchedule

2.其他一些命令

#查看最全所有pod信息包括ip
kubectl get pod -o wide -A

#重载所有关于k8s服务
systemctl daemon-reload
systemctl restart kubelet
systemctl restart kube-proxy
systemctl restart kube-apiserver
systemctl restart kube-controller-manager
systemctl restart kube-scheduler

#创建admin上下文
kubectl config set-cluster kubernetes --certificate-authority=/opt/kubernetes/ssl/ca.crt --embed-certs=true --server=https://172.16.10.20:6443 --kubeconfig=admin.kubeconfig
kubectl config set-credentials admin --client-certificate=/opt/kubernetes/ssl/admin.pem --client-key=/opt/kubernetes/ssl/admin-key.pem --embed-certs=true --kubeconfig=admin.kubeconfig
kubectl config set-context admin --cluster=kubernetes --user=admin --kubeconfig=admin.kubeconfig
kubectl config use-context admin --kubeconfig=admin.kubeconfig
#把admin.kubeconfig设置为默认
mkdir -p $HOME/.kube/
cp admin.kubeconfig $HOME/.kube/config
chmod 600 /root/.kube/config
#查看当前上下文
kubectl config current-context