Pod terjebak dalam status Pengakhiran

Saya mencoba untuk menghapus ReplicationControllerdengan 12 pod dan saya dapat melihat bahwa beberapa pod terjebak dalam Terminatingstatus.

Cluster Kubernetes saya terdiri dari satu node bidang kontrol dan tiga node pekerja yang diinstal pada mesin virtual Ubuntu.

Apa yang bisa menjadi alasan untuk masalah ini?

NAME        READY     STATUS        RESTARTS   AGE
pod-186o2   1/1       Terminating   0          2h
pod-4b6qc   1/1       Terminating   0          2h
pod-8xl86   1/1       Terminating   0          1h
pod-d6htc   1/1       Terminating   0          1h
pod-vlzov   1/1       Terminating   0          1h

Anda dapat menggunakan perintah berikut untuk menghapus POD dengan paksa.

kubectl delete pod <PODNAME> --grace-period=0 --force --namespace <NAMESPACE>

Hapus paksa pod:

kubectl delete pod --grace-period=0 --force --namespace <NAMESPACE> <PODNAME>

The --forcebendera adalah wajib.

Hapus blok finalizers dari resource (pod, deployment, ds dll ...) yaml:

"finalizers": [
  "foregroundDeletion"
]

Jawaban praktis - Anda selalu dapat menghapus pod pemberhentian dengan menjalankan:

kubectl delete pod NAME --grace-period=0

Jawaban historis - Ada masalah dalam versi 1.1 di mana kadang-kadang polong terdampar di negara Pengakhiran jika node mereka dihapus dari cluster.

Saya menemukan perintah ini lebih mudah:

for p in $(kubectl get pods | grep Terminating | awk '{print $1}'); do kubectl delete pod $p --grace-period=0 --force;done

Ini akan menghapus semua pod di Terminating status di namespace default.

Dalam kasus saya --forceopsi tidak bekerja. Saya masih bisa melihat podnya! Itu macet dalam mode Terminating / Unknown. Jadi setelah berlari

kubectl delete pods <pod> -n redis --grace-period=0 --force

Saya berlari

kubectl patch pod <pod> -p '{"metadata":{"finalizers":null}}'

Jika --grace-period=0tidak berfungsi maka Anda dapat melakukan:

kubectl delete pods <pod> --grace-period=0 --force

Saya menemukan ini baru-baru ini ketika menghapus namespace rook ceph - macet dalam keadaan Pengakhiran.

Satu-satunya hal yang membantu adalah menghapus kubernetes finalizer dengan langsung memanggil api k8s dengan curl seperti yang disarankan di sini .

• kubectl get namespace rook-ceph -o json > tmp.json
• hapus finalizer kubernetes di tmp.json(biarkan array kosong "finalizers": [])
• jalankan kubectl proxydi terminal lain untuk tujuan auth dan jalankan mengikuti permintaan curl ke port kembali
• curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json 127.0.0.1:8001/k8s/clusters/c-mzplp/api/v1/namespaces/rook-ceph/finalize
• namespace hilang

Detail rook ceph teardown di sini .

Pertanyaan aslinya adalah " Apa yang bisa menjadi alasan untuk masalah ini? " Dan jawabannya dibahas di https://github.com/kubernetes/kubernetes/issues/51835 & https://github.com/kubernetes/kubernetes/issues / 65569 & lihat https://www.bountysource.com/issues/33241128-unable-to-remove-a-stopped-container-device-or-resource-busy

Ini disebabkan oleh docker mount bocor ke beberapa namespace lainnya.

Anda dapat masuk ke host pod untuk menyelidiki.

minikube ssh
docker container ps | grep <id>
docker container stop <id> 

Saya menemukan ini baru-baru ini untuk membebaskan sumber daya di kluster saya. di sini adalah perintah untuk menghapus semuanya.

kubectl get pods --all-namespaces | grep Terminating | while read line; do 
pod_name=$(echo $line | awk '{print $2}' ) name_space=$(echo $line | awk 
'{print $1}' ); kubectl delete pods $pod_name -n $name_space --grace-period=0 --force; 
done

semoga ini membantu seseorang yang membaca ini