46 篇文章带有标签 “kubernetes”

认证机制

API 服务器接收的请求经过认证插件列表，当遇到第一个成功返回用户名、用户ID和组信息给 API 服务器后，将停止剩余的认证调用，进入授权阶段。

ServiceAccount

镜像拉取密钥

向 ServiceAccount 中添加 imagePullSecrets，可以不必对每个 Pod 单独添加 imagePullSecrets。

创建 docker-registry Secret

kubectl create secret docker-registry mydockerhubsecret \
  --docker-username=myusername \
  --docker-password=mypassword \
  --docker-email=myemail

编写 ServiceAccount YAML 文件（sa-image-pull-secret.yaml）

apiVersion: v1
kind: ServiceAccount
metadata:
  name: image-pull-secret
imagePullSecrets:
- name: mydockerhubsecret

创建 ServiceAccount 对象

kubectl apply -f sa-image-pull-secret.yaml

编写 Pod YAML 文件（private-serviceacc

在删除标签的时候不小心删除了节点。

$ kubectl delete nodes ln6 server-type-
node "ln6" deleted
Error from server (NotFound): nodes "server-type-" not found

主节点

在 Master 节点创建加入节点用的 Token

kubeadm token create --print-join-command
W0706 08:09:27.126498  609025 configset.go:202] WARNING: kubeadm cannot validate component configs for API groups [kubelet.config.k8s.io kubeproxy.config.k8s.io]
kubeadm join 172.16.33.157:6443 --token xxx.yyyyyy     --discovery-token-ca-cert-hash sha256:zzzzzzzzzzzzzzzzzzzzzz

工作节点（被删除的）

登录 root 用户

su - root

重置 # kubeadm reset [reset] WARNING: Changes made to this host by &#3

ConfigMap

向容器传递命令行参数

在 Docker 中定义命令与参数

下面是 Dockerfile 中的指令 ENTRYPOINT 和 CMD。

指令	解释
ENTRYPOINT	容器启动时调用的命令
CMD	传递给 ENTRYPOINT 指定命令的参数

构建带参数的程序（date:args）

编写脚本 date.sh

#!/bin/sh
INTERVAL=$1
while :
do
  echo $(date)
  sleep $INTERVAL
done

编写 Dockerfile

FROM busybox
ADD date.sh /date.sh
RUN chmod +x /date.sh
ENTRYPOINT ["/date.sh"]
CMD ["1"]

参数默认值为 1，在运行容器可以设置参数覆盖默认值。

构建镜像

docker build -t wangjunjian/date:args .

在 Docker 中覆盖命令和参数

使用 Docker 运行镜像来设置命令和参数

docker run [--entrypoint=] <image> [arg1, arg2, arg3]

启动镜像 $ docker run wangjunjian/date:args Tue Aug 3 13:08:04 UTC 2021 Tue Aug 3

通过卷在容器之间共享数据

Build [Date HTML Generator] Image

编写 HTML 生成器（date-html-generator.sh）

#!/bin/sh
mkdir /var/htdocs
while :
do
  echo $(date +'%Y-%m-%d %H:%M:%S') Writing to /var/htdocs/index.html
  echo $(date +'%Y-%m-%d %H:%M:%S') > /var/htdocs/index.html
  sleep 1
done

• %Y : 完整年份 (0000-9999)
• %m : 月份 (01-12)
• %d : 日 (01-31)
• %H : 小时(00-23)
• %M : 分钟(00-59)
• %S : 秒(00-60)

编写 Dockerfile

FROM busybox
ADD date-html-generator.sh /bin/date-html-generator.sh
RUN chmod +x /bin/date-html-generator.sh
ENTRYPOINT /bin/date-html-generator.sh

生成 date-html-generator 镜像 docker build -t wangjunjian/date-htm

节点亲和性（nodeAffinity）

实现 nodeSelector 一样的功能

编写 YAML 文件（kubia.yaml）

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kubia
  labels:
    app: kubia
spec:
  selector:
    matchLabels:
      app: kubia
  replicas: 4
  template:
    metadata:
      labels:
        app: kubia
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: node-type
                operator: In
                values:
                - inference
      containers:
      - name: kubia
        image: wangjunjian/kubia:latest
        ports:
        - containerPort: 8080

• requiredDuringSchedulingIgnoredDuringExecution 必须
• preferredDuringSchedulingIgnoredDuringExecution 优先

污点

通过给节点添加污点，可以拒绝 Pod 调度到节点上。

污点样式

<key>=[value]:<effect>

• value 可以为空
• effect
  • NoSchedule, Pod 必须添加容忍度才能调度到这个节点。
  • PreferNoSchedule, 没有可调度的节点，Pod 会调度到这个节点。（宽松版 NoSchedule）
  • NoExecute, 不仅影响调度，也影响运行的 Pod，没有这个污点容忍度的运行 Pod 都会从这个节点删除。

例子

dedicated=foo:PreferNoSchedule
node-role.kubernetes.io/master:NoSchedule
node.kubernetes.io/unreachable:NoExecute
node.kubernetes.io/unreachable:NoSchedule

增加

kubectl taint node ln6 key1=value1:NoSchedule
# 增加多个
kubectl taint node ln6 key1=value1:NoSchedule key1=value1:PreferNoSchedule

一个 key 可以有多个 effect

删除 kubectl taint node ln6 key1=value1:NoSchedule- # 使用 key

Service

为一组功能相同的 Pod 提供固定地址的访问。

集群内部的服务

在集群内部运行多个 Pod 服务。

创建服务

先部署之前的 kubia Deployment (kubia.yaml)

apiVersion: apps/v1
kind: Deployment
metadata:
  name: kubia
  labels:
    app: kubia
spec:
  selector:
    matchLabels:
      app: kubia
  replicas: 2
  template:
    metadata:
      labels:
        app: kubia
    spec:
      containers:
      - name: kubia
        image: wangjunjian/kubia:latest
        ports:
        - containerPort: 8080

创建 Deployment 对象

$ kubectl apply -f kubia.yaml 
deployment.apps/kubia created

• 使用 YAML 文件

apiVersion: v1
kind: Service
metadata:
  name: kubia
  labels:
    app: kubia
spec:
  ports:
  - port: 80
    targetPort: 8080
  selector:
    app: kubia

创建 Service 对象 $ kubectl

基于一个公共的模板运行多个Jobs。 你可以用这种方法来并行执行批处理任务。

使用 Shell 脚本

创建 Job 模板（job-tmpl.yaml）

apiVersion: batch/v1
kind: Job
metadata:
  name: process-item-$ITEM
  labels:
    jobgroup: jobexample
spec:
  template:
    metadata:
      name: jobexample
      labels:
        jobgroup: jobexample
    spec:
      containers:
      - name: c
        image: busybox
        command: ["sh", "-c", "echo Processing item $ITEM && sleep 5"]
      restartPolicy: Never

$ITEM 是占位符，在使用的时候进行替换。

基于模板生成多个 Job YAML

mkdir ./jobs
for i in apple banana cherry
do
  cat job-tmpl.yaml | sed "s/\$ITEM/$i/" > ./jobs/job-$i.yaml
done

查看 jobs 目录，可以看到下面的结果。

Job

用于处理离线业务的，运行完成后就终止执行。

运行一个 Pod 对象

编写 Job 的 YAML 文件（job-pi.yaml）

bc 命令是 Linux 里的“计算器”；-l 表示使用标准数学库；a(1) 是调用数学库中的 arctangent 函数，计算 atan(1)。

tan(π/4) = 1。所以，4*atan(1)正好就是π，也就是 3.1415926…。

apiVersion: batch/v1
kind: Job
metadata:
  name: pi
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: pi
        image: alpine
        command: ["sh", "-c", "echo 'scale=6000; 4*a(1)' | bc -l"]

• restartPolicy: Pod 内所有容器的重启策略。对于 Job 重启策略只能是 OnFailure 和 Never，默认是 Always。
  • OnFailure
  • Never
  • Always(default)

创建 Job 对象

$ kubectl apply -f job-pi.yaml 
job.batch/pi created

DaemonSet

确保每个节点运行一个 Pod。

使用场景

• 日志收集
• 资源监控
• 网络代理

编写 DaemonSet 的YAML文件（kubia-ds.yaml）

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: kubia
spec:
  selector:
    matchLabels:
      app: kubia
  template:
    metadata:
      labels:
        app: kubia 
    spec:
      containers:
      - name: kubia 
        image: wangjunjian/kubia:latest 
        ports:
        - containerPort: 8080

创建 DaemonSet 对象

$ kubectl apply -f kubia-ds.yaml 
daemonset.apps/kubia created

查看 DaemonSet 对象

ds 是 DaemonSet 的缩写

$ kubectl get ds
NAME    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE
kubia   3         3         2       3            2           <none>          22s

查看 Pod 对象 $ kubectl get pods -o wide NAME READY STATUS RESTARTS

ReplicationController

保证 Pod 对象始终处于期望的运行状态。不管 Pod 因何种原因消失（节点从集群消失或pod从节点中逐出）。

控制器的协调流程

LOOP

1. 通过标签选择器匹配 Pod
2. 比较匹配的数量与期望的副本数量

• 少了。使用当前的模板创建 Pod
• 多了。删除超出数量的 Pod
• 等于。

ReplicationController 的三个主要部分

• selector, 标签选择器
• replicas, 副本个数
• template, Pod 模板

编写 ReplicationController 的YAML文件（kubia-rc.yaml） apiVersion: v1 kind: ReplicationController metadata: name: kubia spec: selector: app: kubia replicas: 2 template: metadata: labels: app: kubia spec: containers: - name: kubia image: wangjunjian/kubia:latest ports: - containerPort: 8080 ★ 可以不指定标签选择器（selector），它会自动根据 Pod 模板中的标签设置。

名字空间

名字空间将对象分割成独立的组，为对象名字提供了作用域，名字在不同的名字空间可以是相同的。名字空间对正在运行的对象不提供任何隔离，名字空间之间是否提供网络隔离取决于 Kubernetes 所使用的网络解决方案。

查看当前集群中的所有名字空间

$ kubectl get namespaces 

NAME                   STATUS   AGE
default                Active   379d
kube-node-lease        Active   379d
kube-public            Active   379d
kube-system            Active   379d
kubernetes-dashboard   Active   377d

创建名字空间

• 使用命令

$ kubectl create namespace kubia
namespace/kubia created

• 编写 YAML 文件（kubia-namespace.yaml）

apiVersion: v1
kind: Namespace
metadata:
  name: kubia

$ kubectl apply -f kubia-namespace.yaml 
namespace/kubia created

查看新创建的名字空间，ns 是 namespace 的缩写。

$ kubectl get ns kubia
NAME    STATUS   AGE
kubia   Active   35s

注解

注解也是键值对，和标签类似，但没有对象的选择器来进行分组筛选，它可以容纳更多的内容（总共不超过256KB），主要用于工具的使用。Kubernetes 会将一些注解自动添加到对象。

增加（key=value）

添加域名（gouchicao.com）前缀这种格式的注解键是避免键冲突的一个好方法。

$ kubectl annotate pod kubia-manual gouchicao.com/someannotation="test"
pod/kubia-manual annotated

需要增加多个注解只需要使用空格进行分隔即可。

$ kubectl annotate pod kubia-manual key1=value1 key2=value2

查看 获取完整的 YAML 描述（-o yaml） $ kubectl get pod kubia-manual -o yaml apiVersion: v1 kind: Pod metadata: annotations: gouchicao.com/someannotation: test kubectl.kubernetes.

标签

标签是键值对的形式，用于组织 Kubernetes 资源，为对象进行分组。只要标签的 key 在资源内是唯一的，一个资源便可以拥有多个标签。

通过添加两个标签将 Pod 组织为两个维度（基于应用的横向维度和基于版本的纵向维度）

编写带标签的 Pod YAML文件(kubia-manual-labels.yaml)

apiVersion: v1
kind: Pod
metadata:
  name: kubia-manual-v2
  labels:
    app: sc
    rel: stable
spec:
  containers:
  - image: wangjunjian/kubia
    name: kubia
    ports:
    - containerPort: 8080
      protocol: TCP

创建带标签的 Pod

$ kubectl apply -f kubia-manual-labels.yaml
pod/kubia-manual-v2 created

查看 Pod 的标签（--show-labels） $ kubectl get pods --show-labels NAME READY STATUS RESTARTS AGE LABELS kubia-864465c9d-744qc 1/1 Running 0 5d3h app=kubia,pod-template-hash=864465c9d

通过端口转发（port-forward）可以连接到 Pod，方便测试和调试服务。

创建 Pod

编写 Pod YAML文件(kubia-manual.yaml)

apiVersion: v1
kind: Pod
metadata:
  name: kubia-manual
spec:
  containers:
  - image: wangjunjian/kubia
    name: kubia
    ports:
    - containerPort: 8080
      protocol: TCP

创建 Pod

$ kubectl apply -f kubia-manual.yaml 
pod/kubia-manual created

查看 Pod

$ kubectl get pod kubia-manual

NAME           READY   STATUS    RESTARTS   AGE
kubia-manual   1/1     Running   0          77s

查看 Pod 的完整描述

• YAML 格式

$ kubectl get pod kubia-manual -o yaml

• JSON 格式

$ kubectl get pod kubia-manual -o json

日志查看

logs 是查看容器的日志，Pod 只有一个容器时，可以忽略容器名。

$ kubectl logs kubia-manual 
Kubia server starting...

Kubernetes 对象

在 Kubernetes 系统中，Kubernetes 对象是持久化的实体。 Kubernetes 使用这些实体去表示整个集群的状态。

• apiVersion - 创建该对象所使用的 Kubernetes API 的版本
• kind - 想要创建的对象的类别
• metadata - 帮助唯一性标识对象的一些数据，包括一个 name 字符串、UID 和可选的 namespace
• spec - 对象规约，描述你希望对象所具有的特征：期望状态（Desired State）。
• status - 对象状态，描述了对象的 当前状态（Current State），它是由 Kubernetes 系统和组件 设置并更新的。在任何时刻，Kubernetes 控制平面 都一直积极地管理着对象的实际状态，以使之与期望状态相匹配。

查看 Pod 对象的完整描述 $ kubectl get pod kubia-864465c9d-744qc -o yaml apiVersion: v1 kind: Pod metadata: creationTimestamp: "2021-06-24T00:13:37Z" generateName: kubia-864465c9d- labels: app: kubia pod-template-hash: 864465c9d nam

基于Node构建应用

app.js

const http = require('http');
const os = require('os');

console.log("Kubia server starting...");

var handler = function(request, response) {
  console.log("Received request from " + request.connection.remoteAddress);
  response.writeHead(200);
  response.end("You've hit " + os.hostname() + "\n");
};

var www = http.createServer(handler);
www.listen(8080);

Dockerfile

FROM node:16-slim
ADD app.js /app.js
ENTRYPOINT ["node", "app.js"]

构建

docker build -t wangjunjian/kubia .

运行 docker run -d -p 8080:8080 wangjun

查看集群节点

kubectl get nodes

NAME   STATUS   ROLES    AGE    VERSION
gpu1   Ready    <none>   227d   v1.18.3
gpu2   Ready    <none>   31d    v1.18.3
ln1    Ready    master   370d   v1.18.3
ln2    Ready    <none>   370d   v1.18.3
ln3    Ready    <none>   370d   v1.18.3

驱逐节点 kubectl drain gpu2 --delete-local-data --ignore-daemonsets --force node/gpu2 already cordoned WARNING: ignoring DaemonSet-managed Pods: default/dcgm-exporter-1617245566-6gvdw, kube-system/kube-proxy-jhfh5, kube-system/nvidia-device-plugin-daemonset-spflp, kube-system/weave-net-ktsbp, monitoring/kube-prometheus-stack-prometheus-node-exporter-dpnzx, rook-ceph/csi-ce

证书一年过期了

kubectl get nodes

Unable to connect to the server: x509: certificate has expired or is not yet valid

查看API服务器的证书日期

• 方法1

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text|grep -A2 'Validity'

        Validity
            Not Before: Jun 16 06:09:07 2020 GMT
            Not After : Jun 16 06:09:07 2021 GMT

• 方法2

openssl x509 -in /etc/kubernetes/pki/apiserver.crt -noout -text|grep ' Not '

            Not Before: Jun 16 06:09:07 2020 GMT
            Not After : Jun 16 06:09:07 2021 GMT

重新配置证书 sudo kubeadm alpha certs renew all [renew] Reading configuration from the cluster...

构建应用

Scheduler Extender

git clone https://github.com/AliyunContainerService/gpushare-scheduler-extender.git && cd gpushare-scheduler-extender
docker build -t gouchicao/gpushare-scheduler-extender .

Device Plugin

git clone https://github.com/AliyunContainerService/gpushare-device-plugin.git && cd gpushare-device-plugin
docker build -t gouchicao/gpushare-device-plugin .

Kubectl Extension

wget https://github.com/AliyunContainerService/gpushare-device-plugin/releases/download/v0.3.0/kubectl-inspect-gpushare

安装 在控制平面中部署 GPU 共享调度程序扩展器 cd /etc/kubernetes sudo wget https://raw.