当前位置 博文首页 > 李国宝:利用容器逃逸实现远程登录k8s集群节点

    李国宝:利用容器逃逸实现远程登录k8s集群节点

    作者:李国宝 时间:2021-01-22 00:05

    某天,

    某鱼说要吃瞄,

    于是......

    李国宝:边缘计算k8s集群SuperEdge初体验
    ?
    zhuanlan.zhihu.com
    图标

    照着上一篇文章来说,我这边边缘计算集群有一堆节点。

    每个节点都在不同的网络环境下。

    他们的共同点都是可以访问内网,

    部分是某云学生主机,

    部分是跑在家庭网络环境下的虚拟机,

    甚至假设中还有一些是树莓派之类的机器。

    所以他们另一个共同点是,基本都没有公网IP。

    这样一来,我要实现远程登录到某些节点搞事的时候,

    只有内网穿透这一条路子了。

    使用frp进行内网穿透 - 少数派
    ?
    sspai.com
    图标
    https://github.com/fatedier/frp
    ?
    github.com

    内网穿透倒没什么,在公司使用这货长期跑了两年垮大洋穿透也很稳定。

    只是...

    只是...

    只是...

    要一台台机器配置一次,要维护一个稳定的公网服务器作为桥接。

    就是...麻烦了点。

    然后想了下。

    当前的kube superedge边缘计算集群本身就实现了4层和7层的内网穿透,

    理论上直接使用它的能力也可以做到远程登录的。

    于是开始研究了一下怎么实现在只有kubectl环境的机器上,

    直接登录k8s容器集群的node节点。

    搜了一波之后首先发现的是这个项目。

    A kubectl plugin to SSH into Kubernetes nodes using a SSH jump host Pod
    ?
    github.com
    看描述和需求来说,完全符合我的要求。

    $ kubectl krew install ssh-jump
    照着教程配置好插件,装好环境之后实践了一下。

    ....

    一切都好,就是连不上去。

    蛋疼了...

    接着又找了一波,发现了一个Redhat老哥的博客。

    A consistent, provider-agnostic way to SSH into any Kubernetes node

    完美。

    我想要的就是这个。

    看了下插件代码。luksa/kubectl-plugins看了下插件代码。

    https://github.com/luksa/kubectl-plugins/blob/master/kubectl-ssh
    ?
    github.com

    #!/usr/bin/env bash
    
    set -e
    
    ssh_node() {
      node=$1
      if [ "$node" = "" ]; then
        node=$(kubectl get node -o name | sed 's/node\///' | tr '\n' ' ')
        node=${node::-1}
    
        if [[ "$node" =~ " " ]]; then
          echo "Node name must be specified. Choose one of: [$node]"
          exit 1
        else
          echo "Single-node cluster detected. Defaulting to node $node"
        fi
      fi
    
      pod=$(
        kubectl create -o name -f - <<EOF
    apiVersion: v1
    kind: Pod
    metadata:
      generateName: ssh-node-
      labels:
        plugin: ssh-node
    spec:
      nodeName: $node
      containers:
      - name: ssh-node
        image: busybox
        imagePullPolicy: IfNotPresent
        command: ["chroot", "/host"]
        tty: true
        stdin: true
        stdinOnce: true
        securityContext:
          privileged: true
        volumeMounts:
        - name: host
          mountPath: /host
      volumes:
      - name: host
        hostPath:
          path: /
      hostNetwork: true
      hostIPC: true
      hostPID: true
      restartPolicy: Never
    EOF
      )
    
      deletePod() {
        kubectl delete $pod --wait=false
      }
      trap deletePod EXIT
    
      echo "Created $pod"
      echo "Waiting for container to start..."
      kubectl wait --for=condition=Ready $pod >/dev/null
      kubectl attach -it $pod -c ssh-node
    
    }
    
    ssh_pod() {
      # TODO: improve this
      if [ "$1" == "" ]; then
        echo "Pod name must be specified."
        exit 1
      fi
      kubectl exec -it "$@" bash || (
        echo "Running bash in pod failed; trying with sh"
        kubectl exec -it "$@" sh
      )
    }
    
    print_usage() {
      echo "Provider-agnostic way of opening a remote shell to a Kubernetes node."
      echo
      echo "Enables you to access a node even when it doesn't run an SSH server or"
      echo "when you don't have the required credentials. Also, the way you log in"
      echo "is always the same, regardless of what provides the Kubernetes cluster"
      echo "(e.g. Minikube, Kind, Docker Desktop, GKE, AKS, EKS, ...)"
      echo
      echo "You must have cluster-admin rights to use this plugin."
      echo
      echo "The primary focus of this plugin is to provide access to nodes, but it"
      echo "also provides a quick way of running a shell inside a pod."
      echo
      echo "Examples: "
      echo "  # Open a shell to node of a single-node cluster (e.g. Docker Desktop)"
      echo "  kubectl ssh node"
      echo
      echo "  # Open a shell to node of a multi-node cluster (e.g. GKE)"
      echo "  kubectl ssh node my-worker-node-1"
      echo
      echo "  # Open a shell to a pod"
      echo "  kubectl ssh pod my-pod"
      echo
      echo "Usage:"
      echo "  kubectl ssh node [nodeName]"
      echo "  kubectl ssh pod [podName] [-n namespace] [-c container]"
      exit 0
    }
    
    if [ "$1" == "--help" ]; then
      print_usage
    fi
    
    if [[ "$1" == node/* ]]; then
      ssh_node ${1:5}
    elif [ "$1" == "node" ]; then
      ssh_node $2
    elif [[ "$1" == pod/* ]]; then
      ssh_pod "$@"
    elif [ "$1" == "pod" ]; then
      shift
      ssh_pod "$@"
    else
      print_usage
    fi
    
    
    

    认真看了一下这个脚本。

    直呼人才啊。

    果然是玩Linux的老哥啊。

    牛逼啊。

    太牛逼了。

    太有趣了。

    额。

    讲人话。

    这个脚本使用busybox镜像启动了容器实例,

    通过chroot到 /host + 把宿主机所有文件挂在到容器实例的方式,

    实现了在容器实例直接对宿主机系统一对一“Copy”(可能表达不太准确),

    进而实现直接在这个容器实例中操作宿主机的所有资源。

    是的,所有资源。

    是的,所有资源。

    是的,所有资源。

    着这里直接能看到其他程序的进程,

    免密码直接操作其他用户的数据。

    所谓,

    这就是容器逃逸。

    然后....

    我们的目的确实也达到了。

    通过这种方式确实可以直接实现登录任意一台k8s node节点,

    再也不需要密码和授权。

    总结。

    很好玩。

    不明镜像确实有风险。

    这个世界一直都不太安全。

    参考资料:

    docker 容器逃逸漏洞(CVE-2020-15257)风险通告

    容器逃逸技术概览 - DockOne.io

    rambo1412:容器逃逸技术概览

    下一篇:没有了