目錄
- 0. 前言
- 1、背景
- 2、 配置如下
- 3、集群信息如下
- 4、 問題
- 5、解決方案
- 總結
0. 前言
本文主要針對的是：不在同一內網且機器的公網IP并未顯示的綁定在機器網卡上（也就是云主機，比如阿里云、騰訊云等等）出現的pod之間無法訪問的問題，如果不是的話就可以撤退了，節約時間~~
1、背景
我有閑置的騰訊云兩臺服務器，最近想搭建個k8s集群玩玩，于是按照b站某教程搭建，出現了網絡問題，具體如下。
2、 配置如下
公網ip已打碼，畢竟還在使用，見諒
master節點叫：k8s-master-q，worker節點叫：k8s-master
3、集群信息如下
應用部署在了 worker節點的pod上
4、 問題
master節點：curl 10.244.1.3(podIP) 、curl 10.96.6.212都沒法連通，且：在瀏覽器輸入：http://master公網IP:30002/也無法訪問
worker：恰恰相反
翻遍整個網絡，沒找到解決方案，或者說自己沒深刻理解k8s，無法根據關鍵信息搜索，也不知道問題發生的原因，導致一直沒找解決方案，困擾好幾天。經過不懈努力，偶然間發現了問題的關鍵，便是 master節點與worker節點不在同一內網內。
什么意思？其實也就是對k8s集群內網絡轉發模型的不了解，即下圖：
這是k8s的flannel網絡模型，具體原理與工作流程參考大佬博客，我也是看到這篇博客才得到解決
Kuberbetes Pod間無法通信問題處理
大概原因就是，數據包從節點A發給節點B的，但使用的目的IP卻是節點B的內網IP，而節點A和B并不在同一內網，并無法直接訪問，這就導致了數據包中途丟包而無法連接。
可以看下自己的節點是否是使用的內網IP
[root@k8s-master-q ~]# kubectl describe nodes k8s-master
可以發現，在flannel網絡模型中，使用的都是各自節點的內網IP, 又不在同一網段，確實無法訪問。
5、解決方案
目前看來，我只找到了上面博主寫的方案，其他方案未知，即將 IP改為 公網IP。
# master節點操作 # 修改為使用公網ip # kubectl annotate node k8s-master-q flannel.alpha.coreos.com/public-ip-overwrite=各節點公網ip --overwrite [root@k8s-master-q ~]# kubectl annotate node k8s-master flannel.alpha.coreos.com/public-ip-overwrite=1.12.xxx.xxxx --overwrite node/k8s-master annotated [root@k8s-master-q ~]# kubectl annotate node k8s-master-q flannel.alpha.coreos.com/public-ip-overwrite=43.139.xxx.xxxx --overwrite node/k8s-master-q annotated # 還需要配置內網ip轉發到外網ip(內網IP是指服務器硬件本身的內網ip，不是flannel分配的) # 因為flannel重啟后會重新構建iptables規則，有可能把這幾條就移除掉了，重啟應用后如果不能訪問，需要重新執行 # iptables -t nat -A OUTPUT -d 私網ip -j DNAT --to-destination 公網ip [root@k8s-master-q ~]# iptables -t nat -A OUTPUT -d 10.0.12.13 -j DNAT --to-destination 43.139.xxx.xxx # worker 節點操作， 同樣改變iptables規則 [root@k8s-master ~]# iptables -t nat -A OUTPUT -d 10.0.12.2 -j DNAT --to-destination 1.12.xxx.xxx # 之后重啟相關應用，master節點和worker節點都需要操作 # 重啟應用 systemctl stop kubelet systemctl stop docker systemctl stop docker iptables --flush iptables -tnat --flush systemctl start kubelet systemctl start docker
更改之后再次查詢：
master節點和worker節點都已經改了，等待一會即可解決。
參考文章如下：
https://blog.csdn.net/a437936609/article/details/122325282
https://cloud.tencent.com/developer/article/1819134
