SpitfireYük Testi ve APMYenilikler

Altyapı izleme: Kong, Envoy, Traefik

Tower API gateway ve proxy'lerin metrik endpoint'ini okur (Beta); gateway config'ine dokunmaz. Her gateway cluster'ı tek izlenen sistemdir: tüm node'larını virgülle aynı kaynağa yazın. Paneller istek, 5xx oranı, gecikme, upstream health ve config durumunu gösterir.

Kong

Hızlı kurulum

  1. Komutu bir Kong node'unda çalıştırın, soruları yanıtlayın.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/kong.sh?t=<token>" -o /tmp/sf-kong.sh && bash /tmp/sf-kong.sh
  1. OK: ... satırını görünce bitti.

Elle kurulum (veritabanlı Kong)

  1. Prometheus plugin'ini Admin API'den açın (cluster başına bir kez).
bash
curl -fsS -X POST http://127.0.0.1:8001/plugins -H 'Content-Type: application/json' --data '{"name":"prometheus","config":{"status_code_metrics":true,"latency_metrics":true,"bandwidth_metrics":true,"upstream_health_metrics":true}}' && echo 'OK: plugin açık'
  1. Status API'yi her node'da açın (kong.conf).
bash
grep -q '^status_listen' /etc/kong/kong.conf || echo 'status_listen = 0.0.0.0:8100' | sudo tee -a /etc/kong/kong.conf
  1. Kong'u bu kong.conf ile yeniden yükleyin (-c olmadan kong reload dosyadaki değişikliği almaz).
bash
sudo kong reload -c /etc/kong/kong.conf
  1. Metrikleri kontrol edin.
bash
curl -fsS http://127.0.0.1:8100/metrics | grep -q '^kong_datastore_reachable' && echo 'OK: Kong metrikleri hazır'
  1. Spitfire → Altyapı izleme → Kong; adres: kong1:8100,kong2:8100.

Elle kurulum (DB-less Kong)

  1. kong.yml'e plugin'i ekleyin.
yaml
plugins:
- name: prometheus
  config:
    status_code_metrics: true
    latency_metrics: true
    bandwidth_metrics: true
    upstream_health_metrics: true
  1. Ortamda KONG_STATUS_LISTEN=0.0.0.0:8100 olsun, sonra Kong'u yeniden yükleyin.
bash
sudo kong reload
  1. Metrikleri kontrol edin.
bash
curl -fsS http://127.0.0.1:8100/metrics | grep -q '^kong_datastore_reachable' && echo 'OK: Kong metrikleri hazır'
  1. Spitfire → Altyapı izleme → Kong; adres: kong1:8100,kong2:8100.

Status API yalnız okur. Biz 8001'i (Admin API) hiçbir izleme aracına vermemenizi öneririz.

Envoy

Hızlı kurulum

  1. Komutu her Envoy host'unda çalıştırın.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/envoy.sh?t=<token>" -o /tmp/sf-envoy.sh && bash /tmp/sf-envoy.sh
  1. OK: ... satırını görünce bitti.

Elle kurulum

  1. Bootstrap config'te admin bloğu olsun (private adres).
yaml
admin:
  address:
    socket_address: { address: <private-ip>, port_value: 9901 }
  1. Envoy'u yeniden başlatın (hot restart ya da servis).
bash
sudo systemctl restart envoy
  1. Metrikleri kontrol edin.
bash
curl -fsS 'http://<private-ip>:9901/stats/prometheus?usedonly' | grep -q '^envoy_server_live' && echo 'OK: Envoy metrikleri hazır'
  1. Spitfire → Altyapı izleme → Envoy; adres: <envoy1-ip>:9901,<envoy2-ip>:9901.
Dikkat

Admin arayüzü Envoy'u durdurabilir (/quitquitquit). Firewall'da 9901'i yalnız Tower'a açın.

Traefik

Hızlı kurulum

  1. Komutu her Traefik host'unda çalıştırın.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/traefik.sh?t=<token>" -o /tmp/sf-traefik.sh && bash /tmp/sf-traefik.sh
  1. OK: ... satırını görünce bitti.

Elle kurulum

  1. Static config'e şu flag'leri ekleyin (CLI ya da container command).
text
--entrypoints.metrics.address=:8082
--metrics.prometheus=true
--metrics.prometheus.entryPoint=metrics
--metrics.prometheus.addEntryPointsLabels=true
--metrics.prometheus.addRoutersLabels=true
--metrics.prometheus.addServicesLabels=true
  1. Traefik'i yeniden başlatın.
bash
sudo systemctl restart traefik
  1. Metrikleri kontrol edin.
bash
curl -fsS http://127.0.0.1:8082/metrics | grep -q '^traefik_config_reloads_total' && echo 'OK: Traefik metrikleri hazır'
  1. Spitfire → Altyapı izleme → Traefik; adres: traefik1:8082,traefik2:8082.

Ayrı entry point yerine API entry point'i (8080) de olur; adres o zaman traefik1:8080.

Paneller ve bulgular

Kaynak Bulgu Eşik
Hepsi Node düştü up = 0
Hepsi 5xx oranı (Kong service, Envoy listener ve cluster, Traefik router/service/entry point) > %1, en az 20 istek
Kong Veritabanına erişim yok kong_datastore_reachable = 0
Kong Unhealthy upstream target / upstream'in tüm target'ları unhealthy -
Envoy Live değil, cluster'da healthy member yok, unhealthy member, açık circuit breaker -
Envoy Reddedilen config (CDS/LDS update_rejected) 15 dk
Traefik Service'in up server'ı yok, down server -
Traefik Son config reload'ı başarısız (yalnız v2) -
Traefik TLS sertifikası doluyor < 14 gün

p95 değerleri histogram bucket'larından 5 dakikalık pencereyle hesaplanır.

Kaldırma

Her gateway'de önce Spitfire'daki kaynağı silin: Tüm entegrasyonlar Spitfire'da: /admin/integrations#observability → kaynağın satırındaki çöp kutusu → Sil. Tower okumayı bırakır, toplanmış metrikler kalır. Yarıda kalan bir çalıştırma ev dizininizde kayıt dosyası bırakabilir: rm -f ~/.spitfire-setup/kong.state (envoy, traefik için de aynı).

Kong

Betik veritabanlı Kong'da Admin API'den global Prometheus plugin'ini ekler (varsa dokunmaz), config dosyalarını değiştirmez. Plugin'i betik eklediyse ve /metrics'i başka bir şey okumuyorsa bir Kong node'unda silin (cluster başına bir kez; jq gerekir: apt install jq / dnf install jq). OK: plugin deleted yazmalı.

bash
for id in $(curl -fsS 'http://127.0.0.1:8001/plugins?size=1000' | jq -r '.data[] | select(.name == "prometheus") | .id'); do curl -fsS -X DELETE "http://127.0.0.1:8001/plugins/$id"; done; curl -fsS 'http://127.0.0.1:8001/plugins?size=1000' | jq -e '[.data[] | select(.name == "prometheus")] | length == 0' >/dev/null && echo 'OK: plugin deleted'

DB-less Kong'da ya da elle kurulumda plugin'i ve status_listen = 0.0.0.0:8100 satırını (ya da KONG_STATUS_LISTEN) siz eklediniz: kong.yml'den - name: prometheus bloğunu, kong.conf'tan satırı silip sudo kong reload -c /etc/kong/kong.conf çalıştırın. Status API başka bir şey için açıksa kalabilir.

Envoy

Betik Envoy'da hiçbir şey değiştirmez, kaynağı silmek yeter. Admin bloğunu yalnız Spitfire için eklediyseniz bootstrap'tan silip Envoy'u yeniden başlatın ve 9901'i firewall'da kapatın.

Traefik

Betik Traefik'te hiçbir şey değiştirmez, kaynağı silmek yeter. --metrics.prometheus flag'lerini yalnız Spitfire için eklediyseniz static config'ten silip Traefik'i yeniden başlatın.