Узлы Kubernetes недоступны и не могут подключиться к локальной сети после установки cilium.

Небольшое введение. Я довольно новичок в kubernetes, поэтому немного груб с этим. Позвольте мне обрисовать мою проблему.

TLDR: после установки cilium в kubernetes я не могу получить доступ к любой другой машине в моих локальных сетях.

У меня есть две подсети:

10.0.0.0/24 > Для всех остальных моих виртуальных машин (DNS, Ansible)

10.8.0.0/24 > Для моего кластера K8s

У меня получилось 3 ноды, 1 контроллер и 2 рабочих. и это в основном для тестирования и экспериментов с ним.

Я инициализировал кластер, используя

      kubeadm init --skip-phases=addon/kube-proxy (I also wanted to use cilium for the proxy)

После этого единственное, что я настраиваю, — это Helm, чтобы я мог легко получить пакет ресничек.

В этой настройке без ресничек я могу нормально подключиться ко всему. DNS, Ansible без проблем.

После установки реснички через Helm используйте следующие значения:

      - name: helm install cilium
  kubernetes.core.helm:
    name: cilium
    chart_ref: cilium/cilium 
    chart_version: 1.11.5
    release_namespace: kube-system
    values:
      k8sServiceHost: 10.8.0.1
      k8sServicePort: 6443
      kubeProxyReplacement: strict

Я больше не могу подключаться к своим узлам с любой другой машины, и мои узлы не могут связаться ни с чем в моей локальной подсети 10.0.0.0/24, например.

когда я пытаюсь выполнить NSlookup

      nslookup google.com 10.0.0.1
;; connection timed out; no servers could be reached

Однако когда я делаю это с IP-адресом за пределами диапазона 10.0.0.0/8

      nslookup google.com 8.8.8.8
Server:         8.8.8.8
Address:        8.8.8.8#53

Non-authoritative answer:
Name:   google.com
Address: 142.250.179.174
Name:   google.com
Address: 2a00:1450:400e:802::200e

это работает мгновенно

Кажется, что все службы работают нормально при использовании

когда используешь:

      Cilium status 

Когда я смотрю на все услуги, они тоже в порядке.

          /¯¯\
 /¯¯\__/¯¯\    Cilium:         OK
 \__/¯¯\__/    Operator:       OK
 /¯¯\__/¯¯\    Hubble:         disabled
 \__/¯¯\__/    ClusterMesh:    disabled
    \__/

DaemonSet         cilium             Desired: 3, Ready: 3/3, Available: 3/3
Deployment        cilium-operator    Desired: 2, Ready: 2/2, Available: 2/2
Containers:       cilium             Running: 3
                  cilium-operator    Running: 2
Cluster Pods:     3/3 managed by Cilium
Image versions    cilium             quay.io/cilium/cilium:v1.11.5@sha256:79e66c3c2677e9ecc3fd5b2ed8e4ea7e49cf99ed6ee181f2ef43400c4db5eef0: 3
                  cilium-operator    quay.io/cilium/operator-generic:v1.11.5@sha256:8ace281328b27d4216218c604d720b9a63a8aec2bd1996057c79ab0168f9d6d8: 2

      kube-system   cilium-2xhvn                                       1/1     Running   0               78m   10.8.0.3     kube-worker02   <none>           <none>
kube-system   cilium-hk8f7                                       1/1     Running   1 (2m23s ago)   78m   10.8.0.1     kube-master00   <none>           <none>
kube-system   cilium-m26jx                                       1/1     Running   0               78m   10.8.0.2     kube-worker01   <none>           <none>
kube-system   cilium-operator-5484444455-4g7pz                   1/1     Running   1 (2m29s ago)   78m   10.8.0.3     kube-worker02   <none>           <none>
kube-system   cilium-operator-5484444455-9v5dv                   1/1     Running   1 (2m24s ago)   78m   10.8.0.2     kube-worker01   <none>           <none>
kube-system   coredns-6d4b75cb6d-v6gzl                           1/1     Running   1 (2m23s ago)   80m   10.0.0.106   kube-master00   <none>           <none>
kube-system   coredns-6d4b75cb6d-w42pk                           1/1     Running   1 (2m23s ago)   80m   10.0.0.28    kube-master00   <none>           <none>
kube-system   etcd-kube-master00                                 1/1     Running   1 (2m23s ago)   80m   10.8.0.1     kube-master00   <none>           <none>
kube-system   kube-apiserver-kube-master00                       1/1     Running   1 (2m23s ago)   80m   10.8.0.1     kube-master00   <none>           <none>
kube-system   kube-controller-manager-kube-master00              1/1     Running   1 (2m23s ago)   80m   10.8.0.1     kube-master00   <none>           <none>
kube-system   kube-scheduler-kube-master00                       1/1     Running   1 (2m23s ago)   80m   10.8.0.1     kube-master00   <none>           <none>

Я не знаю, почему IP-адреса основного DNS такие. Я думаю, что это происходит автоматически из сети модуля, я не знаю точных настроек, чтобы указать другую подсеть.

У меня такое ощущение, что это как-то связано с маршрутами, что он странным образом маршрутизируется внутри, поскольку cilium также использует диапазоны в пределах 10.0.0.0/8, но я понятия не имею, как это проверить или исправить.... и я все портил Я пытаюсь снова и снова, но, похоже, происходит то же самое, поэтому я прошу помощи!