海外雲在線 海外雲在線 立即諮詢

AWS帳號認證辦理 Kubernetes 故障排除指南:常見問題與診斷方法

亞馬遜雲AWS / 2026-10-21 16:02:57

# Kubernetes 故障排除指南:常見問題與診斷方法

Kubernetes 出問題時,最怕的不是報錯,而是沒有排查順序:Pod 一直起不來、Service 無法訪問、節點突然 NotReady、Ingress 轉發失敗、DNS 解析時好時壞。這篇文章不講概念,直接給你一套可落地的排障方法,幫你從現象出發,快速定位到節點、網路、資源、存儲或配置層面的根因。

---

AWS帳號認證辦理 ## 一、先判斷:使用者搜尋這個主題時,真正想解決什麼問題?

AWS帳號認證辦理 當使用者搜尋「Kubernetes 故障排除指南:常見問題與診斷方法」時,通常不是想看理論,而是在處理以下幾類問題:

1. **Pod 無法正常啟動**:例如 Pending、CrashLoopBackOff、ImagePullBackOff。
2. **服務不通**:Pod 正常,但 Service、NodePort、Ingress 無法訪問。
3. **節點異常**:Node 顯示 NotReady,或 kubelet 失聯。
4. **網路故障**:Pod 間互通失敗、DNS 解析失敗、CNI 插件異常。
5. **資源問題**:CPU、記憶體、磁碟不足導致調度失敗或服務不穩定。
6. **存儲掛載失敗**:PVC Pending、VolumeMount 失敗、磁碟無法附加。
7. **控制面元件異常**:API Server、Controller Manager、Scheduler、etcd 出問題。

也就是說,使用者需要的是:

AWS帳號認證辦理 - 一套**從哪裡開始查**的順序
- 對應場景的**命令列操作方法**
- 常見報錯的**修復思路**
- 避免重複踩坑的**最佳實踐**

---

## 二、Kubernetes 故障排查的標準順序

在正式處理問題前,先遵循這個順序,不要一開始就修改 YAML 或重建叢集。

### 1. 先看資源狀態

```bash
kubectl get pods -A -o wide
kubectl get svc -A
kubectl get deploy -A
kubectl get nodes -o wide
kubectl get events -A --sort-by=.metadata.creationTimestamp
```

這一步的目的是先判斷故障範圍:

- 只有單個 Pod 異常
- 某個 Namespace 全部異常
- 某個節點上的工作負載異常
- 整個叢集網路或 DNS 異常

### 2. 再看具體描述資訊

```bash
kubectl describe pod -n
kubectl describe node
kubectl describe svc -n
```

`describe` 通常可以直接看到:

- 調度失敗原因
- 掛載失敗原因
- 探針失敗原因
- 映像拉取失敗原因
- 安全組、網路、標籤選擇器問題

### 3. 查看日誌

```bash
kubectl logs -n
kubectl logs -n --previous
```

如果容器反覆重啟,`--previous` 特別重要。

### 4. 查看控制面與節點服務

如果是節點或全域故障,登入節點進一步檢查:

```bash
systemctl status kubelet
journalctl -u kubelet -xe
crictl ps -a
crictl logs
```

如果你使用 containerd,也可以檢查:

```bash
ctr -n k8s.io containers ls
ctr -n k8s.io tasks ls
```

---

## 三、Pod 一直是 Pending:怎麼查

`Pending` 代表 Pod 還沒成功調度或所需資源尚未就緒。

### 1. 先看 describe

```bash
kubectl describe pod -n
```

重點關注 `Events` 區段,常見報錯包括:

#### 情況 A:資源不足

常見訊息:

- `0/3 nodes are available: 3 Insufficient cpu`
- `0/3 nodes are available: 2 Insufficient memory`

處理方法:

1. 查看節點可用資源:

```bash
kubectl top nodes
kubectl describe node
```

2. 檢查 Pod requests/limits 是否設太高:

```bash
kubectl get pod -n -o yaml
```

3. 降低 requests,或擴容節點池。

#### 情況 B:節點選擇器不匹配

例如:

- `node(s) didn't match node selector`
- `node(s) had taint that the pod didn't tolerate`

處理方法:

```bash
kubectl get nodes --show-labels
kubectl describe pod -n
```

確認:

- `nodeSelector` 是否寫錯
- `affinity` 條件是否過於嚴格
- 是否需要加上 `tolerations`

#### 情況 C:PVC 尚未綁定

常見訊息:

- `pod has unbound immediate PersistentVolumeClaims`

處理方法:

```bash
kubectl get pvc -A
kubectl describe pvc -n
kubectl get storageclass
```

排查方向:

- StorageClass 是否存在
- provisioner 是否正常
- 可用磁碟或雲硬碟配額是否足夠

---

## 四、Pod 處於 CrashLoopBackOff:怎麼快速定位

這是最常見的生產故障之一。Pod 能啟動,但主進程很快退出,然後不斷重啟。

### 排查步驟

#### 1. 看容器日誌

```bash
kubectl logs -n
kubectl logs -n --previous
```

常見原因:

- 啟動命令錯誤
- 環境變數缺失
- 配置文件掛載錯誤
- 資料庫連接失敗
- 應用埠被寫錯
- 應用啟動後立即崩潰

AWS帳號認證辦理 #### 2. 看 Pod 事件

```bash
kubectl describe pod -n
```

如果出現:

- `Back-off restarting failed container`
- `Liveness probe failed`
- `Readiness probe failed`

說明除了應用本身,也要查健康檢查設定。

#### 3. 檢查探針配置

錯誤的健康檢查會讓本來正常的應用反覆被重啟。

重點核對:

- `path` 是否正確
- `port` 是否正確
- `initialDelaySeconds` 是否太短
- `timeoutSeconds` 是否太小
- `failureThreshold` 是否過低

例如應用啟動需要 40 秒,而 liveness probe 在第 10 秒就開始檢查,很容易誤判。

### 修復建議

- 先暫時移除 liveness probe 驗證是否為探針導致
- 延長 `initialDelaySeconds`
- 使用 `startupProbe` 避免慢啟動應用被提前重啟

---

## 五、ImagePullBackOff / ErrImagePull:映像拉取失敗

### 常見原因

1. 映像名稱或標籤寫錯
2. 私有倉庫帳密錯誤
3. 節點無法訪問映像倉庫
4. DNS 解析失敗
5. 倉庫 TLS 證書異常

AWS帳號認證辦理 ### 排查命令

```bash
kubectl describe pod -n
```

常見報錯:

- `pull access denied`
- `manifest unknown`
- `no basic auth credentials`
- `dial tcp: lookup registry... no such host`

AWS帳號認證辦理 ### 修復方法

#### 1. 確認映像名稱

檢查 Deployment 或 Pod YAML:

```bash
kubectl get deploy -n -o yaml
```

#### 2. 檢查 imagePullSecrets

```bash
kubectl get secrets -n
kubectl describe sa default -n
```

如需重新建立:

```bash
kubectl create secret docker-registry regcred \
--docker-server= \
--docker-username= \
--docker-password= \
--docker-email= \
-n
```

#### 3. 在節點上測試網路

登入工作節點後測試:

```bash
nslookup
curl -vk https://
```

如果你是雲上節點,還要檢查:

- 公網 IP 是否配置
- NAT 閘道是否可用
- 安全組/防火牆是否允許出站 443

---

## 六、Node 顯示 NotReady:節點故障怎麼處理

### 1. 先看節點狀態

```bash
kubectl get nodes
kubectl describe node
```

關注 Conditions:

- Ready
- MemoryPressure
- DiskPressure
- PIDPressure
- NetworkUnavailable

### 2. 登入節點檢查 kubelet

```bash
systemctl status kubelet
journalctl -u kubelet -n 200 --no-pager
```

AWS帳號認證辦理 ### 3. 檢查容器執行時

```bash
systemctl status containerd
crictl info
crictl ps -a
```

### 4. 檢查磁碟空間

```bash
df -h
journalctl --disk-usage
```

如果磁碟滿了,kubelet 很可能無法正常工作,Pod 也可能無法建立。

### 常見根因

#### 情況 A:kubelet 憑證或配置異常

排查:

```bash
ls -l /var/lib/kubelet/
cat /var/lib/kubelet/config.yaml
```

#### 情況 B:節點與 API Server 網路不通

測試:

```bash
curl -k https://:6443/healthz
```

如果不通,要檢查:

- 雲安全組是否放行 6443
- 節點本機防火牆是否攔截
- 路由表是否錯誤

#### 情況 C:CNI 插件故障

表現為 Node Ready 不穩定,Pod 網路建立失敗。

可查看:

```bash
ls /etc/cni/net.d/
ls /opt/cni/bin/
kubectl get pods -n kube-system -o wide
```

---

## 七、Service 無法訪問:從哪幾步開始查

Pod 是 Running,不代表 Service 一定能通。大多數情況卡在標籤、Endpoints 或網路規則。

### 標準排查流程

#### 1. 看 Service 定義

```bash
kubectl get svc -n -o wide
kubectl describe svc -n
```

重點核對:

AWS帳號認證辦理 - `selector` 是否正確
- `port` 和 `targetPort` 是否一致
- Service 類型是否為 ClusterIP / NodePort / LoadBalancer

#### 2. 看 Endpoints

```bash
kubectl get endpoints -n
```

如果 Endpoints 是空的,通常代表:

- Pod 標籤不匹配
- Pod 雖然啟動,但 readiness probe 未通過

#### 3. 確認 Pod 內服務埠是否真的在監聽

進入 Pod:

```bash
kubectl exec -it -n -- sh
```

然後檢查:

```bash
netstat -lntp
ss -lntp
```

#### 4. 用臨時 Pod 測試 Service 解析與訪問

```bash
kubectl run test-client --rm -it --image=busybox --restart=Never -- sh
```

測試:

```bash
nslookup ..svc.cluster.local
wget -qO- http://..svc.cluster.local:
```

### 常見問題

#### 問題 1:selector 寫錯

Deployment 標籤:

AWS帳號認證辦理 ```yaml
labels:
app: web
```

Service selector 卻寫成:

```yaml
selector:
app: website
```

結果就是沒有 Endpoints。

#### 問題 2:targetPort 不對

AWS帳號認證辦理 例如容器實際監聽 8080,但 Service targetPort 配成 80。

AWS帳號認證辦理 #### 問題 3:readiness probe 未通過

這時 Pod 雖是 Running,但不會加入 Endpoints。

---

## 八、Ingress 無法轉發:怎麼定位是控制器問題還是後端問題

Ingress 問題常常不是 Ingress 本身,而是後端 Service 或 Ingress Controller 有異常。

### 排查步驟

#### 1. 確認 Ingress 資源是否生效

```bash
kubectl get ingress -A
kubectl describe ingress -n
```

檢查:

- host 是否正確
- path 是否正確
- backend service 名稱與埠是否正確
- ingressClassName 是否匹配

#### 2. 查看 Ingress Controller 狀態

```bash
kubectl get pods -n ingress-nginx
kubectl logs -n ingress-nginx
```

#### 3. 驗證對應 Service 是否正常

```bash
kubectl get svc -n
kubectl get endpoints -n
```

#### 4. 檢查外部連線

如果是 LoadBalancer 類型,還要檢查:

- 公網 IP 是否已分配
- 雲控制台負載平衡健康檢查是否正常
- 安全組是否放行 80/443
- 節點防火牆是否放行對應 NodePort

AWS帳號認證辦理 ### 常見故障

- DNS 已解析到舊 IP
- Ingress host 配錯
- TLS secret 不存在
- 後端 Service 無 Endpoints
- Controller 未監聽該 IngressClass

AWS帳號認證辦理 ---

## 九、Pod 之間網路不通:優先查 CNI 和 NetworkPolicy

### 1. 先用 Pod 測試互通

建立測試 Pod:

```bash
kubectl run net-test --rm -it --image=busybox --restart=Never -- sh
```

測試另一個 Pod IP:

```bash
ping
wget -qO- http://:
```

### 2. 檢查 CNI 元件

```bash
kubectl get pods -n kube-system -o wide
```

視你的環境而定,重點看:

- calico-node
- cilium
- flannel
- weave-net

如果這些 Pod 異常,Pod 網路通常會不穩定。

### 3. 檢查 NetworkPolicy

```bash
kubectl get networkpolicy -A
kubectl describe networkpolicy -n
```

很多情況不是網路壞了,而是策略把流量擋住了。

### 4. 節點路由與防火牆

登入節點後檢查:

```bash
ip route
iptables -L -n
iptables -t nat -L -n
```

如果節點自行啟用了 firewalld/ufw,可能會覆蓋 CNI 規則。

AWS帳號認證辦理 ---

## 十、CoreDNS 異常:Service 名稱無法解析

### 症狀

- Pod 可直接連 Pod IP,但無法解析 Service 名稱
- `nslookup kubernetes.default` 失敗
- 部分 Namespace 可解析,部分不可解析

### 排查步驟

#### 1. 檢查 CoreDNS Pod

```bash
kubectl get pods -n kube-system -l k8s-app=kube-dns
kubectl logs -n kube-system -l k8s-app=kube-dns
```

#### 2. 進入業務 Pod 查看 resolv.conf

```bash
kubectl exec -it -n -- cat /etc/resolv.conf
```

確認:

- nameserver 是否指向 Cluster DNS IP
- search domain 是否正確

#### 3. 測試 DNS

```bash
kubectl run dns-test --rm -it --image=busybox --restart=Never -- sh
nslookup kubernetes.default
nslookup ..svc.cluster.local
```

AWS帳號認證辦理 ### 常見原因

- CoreDNS Pod 未啟動
- CoreDNS 上游轉發配置錯誤
- CNI 導致 Pod 到 DNS Service 不通
- NodeLocal DNS Cache 配置異常
- kube-proxy 規則異常

---

## 十一、PVC Pending 或 Volume 掛載失敗

存儲問題在資料庫、日誌服務、狀態型應用中特別常見。

### 1. 檢查 PVC

```bash
kubectl get pvc -A
kubectl describe pvc -n
```

### 2. 檢查 PV 與 StorageClass

```bash
kubectl get pv
kubectl get storageclass
```

### 3. 查看 Pod 事件

```bash
kubectl describe pod -n
```

常見報錯:

- `FailedMount`
- `Unable to attach or mount volumes`
- `timed out waiting for the condition`

### 常見原因

#### 情況 A:StorageClass 寫錯

PVC 指定了不存在的 StorageClass。

#### 情況 B:雲磁碟配額不足

尤其在雲環境中,需要同步檢查:

- 雲硬碟數量上限
- 可用區資源是否充足
- 節點與磁碟是否處於同一可用區

#### 情況 C:多節點同時掛載限制

例如某些磁碟只支援單節點讀寫,若 Pod 被調度到其他節點,會出現附加失敗。

---

## 十二、kubectl 連不上叢集:先查憑證、網路、API Server

### 常見報錯

- `The connection to the server was refused`
- `Unable to connect to the server`
- `x509: certificate has expired`
- `You must be logged in to the server`

### 排查步驟

#### 1. 檢查 kubeconfig

```bash
kubectl config get-contexts
kubectl config current-context
kubectl cluster-info
```

#### 2. 測試 API Server 連通性

```bash
curl -k https://:6443/healthz
```

#### 3. 檢查憑證有效期

AWS帳號認證辦理 在控制平面節點:

```bash
kubeadm certs check-expiration
```

#### 4. 檢查 API Server Pod

如果是 kubeadm 叢集:

```bash
kubectl get pods -n kube-system
crictl ps | grep kube-apiserver
crictl logs
```

### 修復思路

- kubeconfig 指向錯誤叢集:切換 context
- API Server 不通:檢查安全組、路由、防火牆
- 憑證過期:更新控制面與 kubelet 憑證
- 本機 DNS 錯誤:用 API Server IP 直接驗證

---

## 十三、資源不足導致服務異常:CPU、記憶體、磁碟三類都要查

### 1. 查看節點與 Pod 使用率

```bash
kubectl top nodes
kubectl top pods -A
```

### 2. 檢查是否 OOMKilled

```bash
kubectl describe pod -n
```

如果看到:

- `Reason: OOMKilled`

說明容器記憶體限制太低,或程式存在記憶體洩漏。

### 3. 檢查磁碟空間與 inode

```bash
df -h
df -i
```

如果 inode 滿了,即使磁碟空間看似還有剩,也可能無法寫檔。

### 修復建議

- 調整 requests/limits
- 避免把 limits 設得過低
- 給 JVM、Python、Node.js 程式預留足夠記憶體
- 清理節點上的舊映像與容器日誌

可執行:

```bash
crictl rmi --prune
journalctl --vacuum-time=3d
```

---

## 十四、實戰排查範例:Service 不通,但 Pod 是 Running

這類問題非常典型,下面給你一個實際排查流程。

### 現象

AWS帳號認證辦理 - Deployment 3 個 Pod 全部 Running
- Service 已建立
- 但從叢集內 `curl service-name` 失敗

### 排查

#### 第一步:看 Service

```bash
kubectl get svc web -n prod
kubectl describe svc web -n prod
```

發現 selector 為:

```yaml
app: web
```

#### 第二步:看 Pod 標籤

```bash
kubectl get pods -n prod --show-labels
```

實際 Pod 標籤是:

```yaml
app: website
```

#### 第三步:看 Endpoints

```bash
kubectl get endpoints web -n prod
```

結果為空。

### 根因

Service selector 與 Pod labels 不一致。

### 修復

修改 Service:

```bash
kubectl edit svc web -n prod
```

將 selector 改為:

```yaml
app: website
```

### 驗證

```bash
kubectl get endpoints web -n prod
kubectl run curl-test --rm -it --image=busybox --restart=Never -- sh
wget -qO- http://web.prod.svc.cluster.local
```

恢復正常。

---

## 十五、故障排查時最容易忽略的 8 個點

1. **只看 Pod 狀態,不看 Events**
Running 不代表服務可用,Events 往往有更關鍵的訊息。

2. **忽略 readiness probe**
很多 Service 無流量,不是 Pod 壞了,而是沒通過 readiness。

3. **只查應用,不查節點**
節點磁碟滿、kubelet 異常、容器執行時故障都會影響業務 Pod。

4. **Ingress 問題只看 Ingress YAML**
後端 Service 無 Endpoints 更常見。

AWS帳號認證辦理 5. **忘記查 NetworkPolicy**
尤其在多租戶 Namespace 中,策略攔截是高頻問題。

6. **忽略雲網路配置**
公網 IP、私網路由、安全組、防火牆規則都會影響 Kubernetes 對外能力。

7. **排障時直接重建 Pod**
會清掉重要現場資訊,先保存 logs、events、describe 結果。

8. **未區分是單 Pod 問題還是整體叢集問題**
一開始就要先界定範圍,避免浪費時間。

---

## 十六、建議保存的一套常用診斷命令

你可以把下面這組命令當成日常排障清單:

```bash
kubectl get pods -A -o wide
kubectl get svc -A
kubectl get ingress -A
kubectl get nodes -o wide
kubectl get events -A --sort-by=.metadata.creationTimestamp
kubectl describe pod -n
kubectl logs -n --previous
kubectl get endpoints -n
kubectl get pvc -A
kubectl top nodes
kubectl top pods -A
systemctl status kubelet
journalctl -u kubelet -n 200 --no-pager
crictl ps -a
```

如果你是雲上叢集,另外補充檢查:

- 安全組入站/出站規則
- 負載平衡健康檢查
- 公網 IP/NAT 是否正常
- 磁碟是否與節點在同一可用區
- VPC 路由與子網 ACL

---

## 十七、最後總結:Kubernetes 排障不是靠猜,而是靠順序

Kubernetes 故障排查最有效的方法,不是遇到問題就重啟,而是按層次往下查:

1. **先看資源狀態**:Pod、Node、Service、Events
2. **再看描述與日誌**:`describe`、`logs`
3. **再縮小範圍**:應用、Service、網路、節點、存儲
4. **必要時登入節點**:查 kubelet、containerd、磁碟、iptables
5. **最後再改配置**:避免盲目修改造成二次故障

如果你正在處理的是以下場景,可以直接套用本文對應章節:

- Pod 啟動不了:看第 3、4、5 節
- Node NotReady:看第 6 節
- Service 或 Ingress 不通:看第 7、8 節
- Pod 網路與 DNS 問題:看第 9、10 節
- PVC 或掛載失敗:看第 11 節
- kubectl 連不上:看第 12 節
- 資源不足或 OOM:看第 13 節

實際運維中,最重要的不是記住所有錯誤,而是建立固定的診斷流程。只要順序正確,大多數 Kubernetes 問題都能在較短時間內定位並修復。

Telegram售前客服
客服ID
@cloudcup
联系
Telegram售后客服
客服ID
@yanhuacloud
联系