Featured image of post 在 PVE 容器上部署 k3s + rancher

在 PVE 容器上部署 k3s + rancher

我的家庭服务器方案

折腾历程

目的本来是实操 k8s 的，部署时搞了一堆花里胡哨的，虽然因为复杂度与资源消耗原因放弃了这套方案~~（=白折腾）~~，但对理解 k8s 的组成部分帮助很大。

曾经的解决方案：

  • 部署工具：kubeadm
  • 容器运行时 CRI： cri-o
  • 容器底层交互接口 OCI ：crun
  • 容器网络 CNI： cilium

不过部署完这套，小鸡性能吃紧，遂换到了 k3s。

但将 k3s 作为 HomeServer 使用一段时间后，手写各种 depolyment yaml 很是折磨，远不比 docker-compose 方便，维护工作反而变麻烦了，一度想放弃折腾。

不过心底还是想坚持用 k8s (大概是跟风吧），痛点不过是手写 yaml，命令行看日志等等琐碎操作，这些问题 rancher 都可以解决。不过写一些 k8s 的 yaml 后再用 webui 会很容易上手。

也有其它的 management，不过 rancher 比较流行，虽然很重。轻量一点的也有一个 GitHub - skooner-k8s.，没啥资源的家庭服务器感觉可以考虑。

LXC 前置条件

1. LXC 的权限

设置容器 /proc /sys 读写权限、cgroup 权限等

1
2
3
4

vim /etc/pve/lxc/{lxc id}.conf

# 放开权限
unprivileged: 0

1
2
3
4

lxc.apparmor.profile: unconfined
lxc.cgroup.devices.allow: a
lxc.cap.drop:
lxc.mount.auto: "proc:rw sys:rw"

2. 为容器创建 /dev/kmsg

容器一般不存在 /dev/kmsg 内核日志，k3s 大概会向此“文件”输出消息，所以需要保证容器启动后存在这个文件，容器里存在一个 /dev/console，可以用这个“文件”作替身用。

  • 自动创建 /dev/kmsg
1

vim /usr/local/bin/conf-kmsg.sh

1
2
3
4
5

#!/bin/sh -e
if [ ! -e /dev/kmsg ]; then
        ln -s /dev/console /dev/kmsg
fi
mount --make-rshared /
  • 创建 systemd 开机执行脚本
1

vim /etc/systemd/system/conf-kmsg.service

1
2
3
4
5
6
7
8
9

[Unit]
Description=Make sure /dev/kmsg exists
[Service]
Type=simple
RemainAfterExit=yes
ExecStart=/usr/local/bin/conf-kmsg.sh
TimeoutStartSec=0
[Install]
WantedBy=default.target
  • 启用生效
1
2
3

chmod +x /usr/local/bin/conf-kmsg.sh
systemctl daemon-reload
systemctl enable --now conf-kmsg

安装 k3s

  • 从官方中国源安装，默认装最新版
  • 注意版本号，要与 rancher 兼容
1

curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | INSTALL_K3S_MIRROR=cn INSTALL_K3S_VERSION=v1.28.7+k3s1 sh -s - server

需要安装 rancher 支持的 k3s/k8s 版本。k3s 版本列表：K3s； rancher 兼容表： Rancher Manager v2.8.3 | SUSE

安装 Rancher

1. 安装 Helm

1
2
3

curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3
chmod 700 get_helm.sh
./get_helm.sh

为了使用 Helm，需要 Kubeconfig 环境变量

1
2
3
4
5
6
7

cat >> /etc/profile << EOF
export KUBECONFIG=/etc/rancher/k3s/k3s.yaml
EOF
source /etc/profile

# 验证一下
helm list -A

2. Helm 添加仓库

1

helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

国内可以用镜像： https://rancher-mirror.rancher.cn/server-charts/stable ，版本可能落后。

3. 为 Rancher 创建命名空间

你需要定义一个 Kubernetes 命名空间，用于安装由 Chart 创建的资源。这个命名空间的名称为  cattle-system：

1

kubectl create namespace cattle-system

4. rancher 默认需要 SSL 相关配置

需要安装 cert-manager

1

kubectl apply -f https://github.com/cert-manager/cert-manager/releases/download/v1.13.1/cert-manager.crds.yaml

5. 部署 rancher

部署后需要通过 hostname 访问 rancher，如果没有 DNS 服务器，应该可以通过修改 hosts 文件映射 ip 访问。

1

helm install rancher rancher-stable/rancher --namespace cattle-system --set hostname=rancher.my.org --set bootstrapPassword=admin --version 2.8.3

最后部署一个 NEO4J 熟悉一下 rancher（可选）

  • 新建个持久化卷资源
    • PersistentVolumes
      • HostPath 类型
  • 再新建个持久化卷请求声明
    • PersistentVolumeClaims
      • 选择刚才建立的 PV

  • 新增 Deployments
    • 为 Pod 指定 PVC
    • 容器镜像：neo4j:5.19.0
    • 配置下 Service
      • 简单点就先 NodePort 了，后面在配 Ingress
    • 加个环境变量
      • NEO4J_AUTH=user/pwd

  • 可以查看日志、服务状态，启动成功后。
    • 访问 Neo4j http://ip:30075 (nodeport 监听的端口)