SpitfireYük Testi ve APMYenilikler

Altyapı izleme: OpenShift (Beta)

OpenShift cluster'larında Kubernetes veri kaynağı yalnız OpenShift'te olanı da gösterir: ClusterVersion ve güncellemeler, ClusterOperator'lar, route'lar ve sertifikaları, project'ler, DeploymentConfig'ler ve build'ler, MachineConfigPool'lar ve cluster monitoring'in çalan alert'leri. Tower OpenShift API'yi 60 saniyede bir, yalnız get, list ve watch yetkisi olan bir service account token'ı ile okur; cluster'da hiçbir şey değişmez.

Not

Bu görünüm Beta: kayıtlı OpenShift API yanıtlarına karşı test edildi, canlı bir cluster'da henüz denenmedi.

Sayfa: Tüm entegrasyonlar Spitfire'da: /admin/integrations#cloud → Kubernetes kaynağınızın satırında Panel → Cluster görünümü.

Hızlı kurulum

  1. Kubernetes komutunu, oc ya da kubectl ile cluster'a giriş yapılmış bir terminalde çalıştırın, soruları yanıtlayın.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/kubernetes.sh?t=<token>" -o /tmp/sf-kubernetes.sh && bash /tmp/sf-kubernetes.sh
  1. Betik Bu cluster OpenShift. OpenShift görünümü de açılsın mı? diye sorar; E yanıtlayın (ya da Enter). Aşağıdaki erişimi uygular, token'ı ve API'nin CA'sını cluster'dan okuyup şifreli kaydeder.
  2. OK: ... satırını görünce bitti. OpenShift bölümü ~1 dk içinde cluster görünümünde çıkar.

Elle kurulum

1–5. adımları oc ile cluster'a cluster admin olarak giriş yapılmış bir makinede çalıştırın.

  1. Cluster'ın OpenShift olduğunu kontrol edin.
bash
oc api-resources --api-group=config.openshift.io -o name | grep -q clusterversions && echo 'OK: OpenShift'
  1. Salt okunur erişimi oluşturun: spitfire namespace'i, ClusterRole spitfire-openshift, service account ve token Secret'ı, cluster monitoring alert'leri için binding ve Spitfire'ın Collector'ı ile Tower'ı için nonroot-v2 SCC (10001 kullanıcısıyla çalışırlar; varsayılan restricted-v2 SCC bunu reddeder).
bash
oc create namespace spitfire --dry-run=client -o yaml | oc apply -f - && oc apply -f - <<'EOF'
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata: {name: spitfire-openshift}
rules:
  - apiGroups: [config.openshift.io]
    resources: [clusterversions, clusteroperators]
    verbs: [get, list, watch]
  - apiGroups: [route.openshift.io]
    resources: [routes]
    verbs: [get, list, watch]
  - apiGroups: [project.openshift.io]
    resources: [projects]
    verbs: [get, list, watch]
  - apiGroups: [""]
    resources: [namespaces]
    verbs: [get, list, watch]
  - apiGroups: [apps.openshift.io]
    resources: [deploymentconfigs]
    verbs: [get, list, watch]
  - apiGroups: [build.openshift.io]
    resources: [builds]
    verbs: [get, list, watch]
  - apiGroups: [machineconfiguration.openshift.io]
    resources: [machineconfigpools]
    verbs: [get, list, watch]
  - apiGroups: [discovery.k8s.io]
    resources: [endpointslices]
    verbs: [get, list, watch]
  - apiGroups: [""]
    resources: [services]
    verbs: [get, list, watch]
  - apiGroups: [networking.k8s.io]
    resources: [ingresses]
    verbs: [get, list, watch]
---
apiVersion: v1
kind: ServiceAccount
metadata: {name: spitfire-openshift, namespace: spitfire}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata: {name: spitfire-openshift}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: ClusterRole, name: spitfire-openshift}
subjects:
  - {kind: ServiceAccount, name: spitfire-openshift, namespace: spitfire}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata: {name: spitfire-openshift-monitoring}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: ClusterRole, name: cluster-monitoring-view}
subjects:
  - {kind: ServiceAccount, name: spitfire-openshift, namespace: spitfire}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: spitfire-scc-nonroot-v2, namespace: spitfire}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: ClusterRole, name: "system:openshift:scc:nonroot-v2"}
subjects:
  - {kind: ServiceAccount, name: spitfire-collector, namespace: spitfire}
  - {kind: ServiceAccount, name: spitfire-tower, namespace: spitfire}
---
apiVersion: v1
kind: Secret
type: kubernetes.io/service-account-token
metadata:
  name: spitfire-openshift-token
  namespace: spitfire
  annotations: {kubernetes.io/service-account.name: spitfire-openshift}
EOF
  1. Erişimi kontrol edin.
bash
oc auth can-i list clusteroperators.config.openshift.io --as=system:serviceaccount:spitfire:spitfire-openshift | grep -q yes && oc auth can-i delete routes.route.openshift.io --as=system:serviceaccount:spitfire:spitfire-openshift -A | grep -q no && echo 'OK: read-only access'
  1. Token'ı yazdırın (7. adım için kopyalayın).
bash
oc -n spitfire get secret spitfire-openshift-token -o jsonpath='{.data.token}' | base64 -d | tee /dev/stderr | grep -q . && echo && echo 'OK: token'
  1. API adresini ve CA sertifikasını yazdırın (ikisini de 7. adım için kopyalayın).
bash
oc whoami --show-server && oc -n openshift-config-managed get configmap kube-apiserver-server-ca -o jsonpath='{.data.ca-bundle\.crt}' | tee /dev/stderr | grep -q 'BEGIN CERTIFICATE' && echo 'OK: API address and CA'
  1. Tower'ın makinesinde, Tower'ın API'ye token ile eriştiğini kontrol edin. <token> ve <api> yerine 4. ve 5. adımdaki token'ı ve API adresini yazın. -k yalnız bu kontrol için; Spitfire sertifikayı CA ile doğrular.
bash
curl -fsSk -H 'Authorization: Bearer <token>' '<api>/apis/config.openshift.io/v1/clusterversions/version' | grep -q ClusterVersion && echo 'OK: the Tower reaches the OpenShift API'
  1. Spitfire → Tüm entegrasyonlar → Kubernetes kaynağınız → Düzenle (yeni cluster için Kaynak ekle → Kubernetes).
    • OpenShift API adresi: 5. adımdaki adres, örn. https://api.ocp.corp:6443
    • OpenShift service account token'ı: 4. adımdaki token
    • API CA sertifikası: 5. adımdaki PEM (boş: sistemin CA'ları)
    • Tower: API'ye erişen Tower (6. adım)
  2. Bağlantıyı test et → Kaydet. Token her bölümü okuyabiliyorsa test OpenShift API ok der. ~1 dk içinde Cluster görünümü OpenShift bölümünü gösterir.
Dikkat

Collector manifest'ini 2. adımdan sonra uygulayın: nonroot-v2 SCC olmadan pod'ları reddedilir (unable to validate against any security context constraint). Her node'u sunucu olarak da izle açıksa o DaemonSet privileged SCC ister: oc adm policy add-scc-to-user privileged -z spitfire-collector -n spitfire.

Secret'taki token'ın süresi dolmaz; geri almak için Secret'ı silin. Kısa ömürlü token da olur (oc -n spitfire create token spitfire-openshift --duration=8760h), ama süresi dolmadan değiştirilmeli.

Ne okunur

Bölüm API Yetki yoksa
ClusterVersion, ClusterOperator'lar config.openshift.io gösterilmez, test başarısız
Route'lar ve service'lerinin endpoint'leri route.openshift.io, discovery.k8s.io gösterilmez, test başarısız
Project'ler project.openshift.io sayılmaz, test başarısız
DeploymentConfig'ler, build'ler apps.openshift.io, build.openshift.io gösterilmez, test başarısız
MachineConfigPool'lar machineconfiguration.openshift.io gösterilmez, test başarısız
Alert'ler route openshift-monitoring/thanos-querier, /api/v1/alerts gösterilmez; isteğe bağlı, test geçer

Route'ta sertifika yoksa (router tutuyorsa) Tower saatte bir route'un host'una 443'ten TLS bağlantısı açıp bitiş tarihini okur. Her okuma sınırlıdır (45 sn, en çok 500 route ve 2000 build); erişilemeyen API bir sonraki dakika yeniden okunur, hiçbir şey biriktirilmez.

Bulgular

Bulgu Ne zaman Önem
ClusterOperator kullanılamıyor Available = False kritik
ClusterOperator degraded Degraded = True kritik
Cluster güncellemesi başarısız ClusterVersion Failing = True kritik
MachineConfigPool degraded Degraded = True ya da degraded bir makine kritik
Route admit edilmedi router admit etmedi (örn. HostAlreadyClaimed) uyarı
Route sertifikası bitiyor 14 günden az; 3 günden az uyarı; kritik
Build başarısız bir BuildConfig'in son build'i Failed ya da Error uyarı

Çalan alert'ler gösterilir, bulguya çevrilmez; onları event policy'leri ile yönlendirin.

Sık hatalar

  • Test: auth: token yanlış ya da geri alınmış. 4. adımı yeniden çalıştırıp token'ı yapıştırın.
  • Test: permission … spitfire-openshift: ClusterRole ya da binding'i eksik. 2. adımı yeniden çalıştırın.
  • Test: tls: API'nin sertifikası iç bir CA'dan. 5. adımdaki CA'yı yapıştırın.
  • Alert satırı "okunmuyor" diyor: spitfire-openshift-monitoring binding'i eksik ya da Tower thanos-querier route'unun host'una erişemiyor. Gerisi onsuz da çalışır.

Geri almak

Yalnız OpenShift görünümünü kapatmak (Kubernetes metrikleri sürer):

  1. OpenShift nesnelerini silin. OK: removed yazmalı.
bash
oc delete clusterrolebinding spitfire-openshift spitfire-openshift-monitoring --ignore-not-found && oc delete clusterrole spitfire-openshift --ignore-not-found && oc -n spitfire delete secret/spitfire-openshift-token serviceaccount/spitfire-openshift rolebinding/spitfire-scc-nonroot-v2 --ignore-not-found && echo 'OK: removed'
  1. Tüm entegrasyonlar Spitfire'da: /admin/integrations#cloud sayfasında Kubernetes kaynağını açın, üç OpenShift alanını boşaltıp kaydedin.

Hepsini kaldırmak:

  1. Yukarıdaki 1. adımı çalıştırın.
  2. Kubernetes kaynağını ve Collector'ı Kubernetes'i bağlamak → Geri almak bölümündeki gibi kaldırın (Spitfire'da kaynağı silmek dahil).
  3. Betiğin bıraktığı dosyayı silin.
bash
rm -f ~/.spitfire-setup/kubernetes.state && echo 'OK: local files removed'