SpitfireYük Testi ve APMYenilikler

Altyapı izleme: Hazelcast, Kafka Connect, Keycloak, Vault, IBM MQ, NATS

Tower bu altısını kendi HTTP API'leri üzerinden 30 saniyede bir okur; Collector config'i gerekmez. Bir cluster tek kaynaktır: tüm member ya da node'ları virgülle aynı kaynağa yazın. Erişim salt okunurdur; Spitfire map verisini, connector config'lerini, kullanıcıları, secret'ları ve mesajları okumaz. Kafka Connect ve NATS gerçek sürümlerde test edildi, diğerleri Beta.

Her üründe iki yol var. Hızlı kurulum: komutu çalıştırın, soruları yanıtlayın, OK: ... satırını görünce bitti. Elle kurulum aynı işi adım adım yapar.

Hazelcast

Hazelcast 5.x. Spitfire her member'da /hazelcast/health'i (port 5701) ve Prometheus sayfasını (PROMETHEUS_PORT, varsayılan 8080) okur.

Hızlı kurulum: komutu her member'da çalıştırın; son member'da cluster'ı eklemek için 1 deyin.

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/hazelcast.sh?t=<token>" -o /tmp/sf-hazelcast.sh && bash /tmp/sf-hazelcast.sh

Elle kurulum

  1. Docker ya da Kubernetes: bu üç satırı her member'ın environment'ına ekleyin, member'ları tek tek yeniden oluşturun.
bash
HZ_NETWORK_RESTAPI_ENABLED=true
HZ_NETWORK_RESTAPI_ENDPOINTGROUPS_HEALTHCHECK_ENABLED=true
PROMETHEUS_PORT=8080
  1. Paket kurulumu (systemd unit hazelcast): aynısını drop-in olarak yazın ve member'ı yeniden başlatın.
bash
sudo mkdir -p /etc/systemd/system/hazelcast.service.d && printf '%s\n' '[Service]' 'Environment=HZ_NETWORK_RESTAPI_ENABLED=true' 'Environment=HZ_NETWORK_RESTAPI_ENDPOINTGROUPS_HEALTHCHECK_ENABLED=true' 'Environment=PROMETHEUS_PORT=8080' | sudo tee /etc/systemd/system/hazelcast.service.d/spitfire.conf && sudo systemctl daemon-reload && sudo systemctl restart hazelcast
  1. Member'da health check'i ve metrikleri kontrol edin.
bash
curl -fsS http://localhost:5701/hazelcast/health | grep -q '"nodeState"' && curl -fsS http://localhost:8080/metrics | grep -q '^com_hazelcast_Metrics' && echo 'OK: Hazelcast health and metrics ready'
  1. Spitfire → Altyapı izleme → Hazelcast; adres: http://hz1:5701,http://hz2:5701,http://hz3:5701, Prometheus port'u 8080.
Dikkat

Member'ları tek tek yeniden başlatın ve cluster yeniden güvende olana kadar (clusterSafe: true) bekleyin; yoksa partition'lar backup'larını kaybedebilir.

Kafka Connect

Spitfire Connect REST API'sine (port 8083) yalnız GET gönderir: worker, connector ve task durumları, failed bir task'ın trace'inin ilk satırı. Trace'teki parola, token ve sasl.jaas.config değerleri Tower'dan çıkmadan maskelenir. Apache Kafka 3.7, 3.8, 3.9 ve 4.1 Connect ile (basic auth dahil) test edildi. JMX metrikleri okunmaz.

Hızlı kurulum: komutu bir worker'a erişen herhangi bir makinede çalıştırın.

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/kafkaconnect.sh?t=<token>" -o /tmp/sf-kafkaconnect.sh && bash /tmp/sf-kafkaconnect.sh

Elle kurulum

  1. REST API'yi kontrol edin. REST parolası yoksa başka bir şey gerekmez.
bash
curl -fsS http://localhost:8083/ | grep -q '"kafka_cluster_id"' && curl -fsS 'http://localhost:8083/connectors?expand=status' >/dev/null && echo 'OK: Kafka Connect REST API ready'
  1. Yalnız BasicAuthSecurityRestExtension varsa: worker'ların parola dosyasına (JAAS config'teki file= yolu) bir kullanıcı ekleyin, worker'ları tek tek yeniden başlatın. <password>'ü değiştirin. Connect'te salt okunur REST rolü yok; bu parolayı yalnız Spitfire için kullanın.
bash
grep -q '^spitfire:' /etc/kafka/connect.password || echo 'spitfire: <password>' | sudo tee -a /etc/kafka/connect.password >/dev/null && echo 'OK: user added'
  1. Spitfire → Altyapı izleme → Kafka Connect; adres: http://connect1:8083,http://connect2:8083; kullanıcı ve parola yalnız 2. adımla.

Keycloak

Keycloak 25 ve sonrası. Spitfire management port'unda (9000) /health/ready, /health/live ve /metrics'i okur. event-metrics-user-enabled realm başına login ve başarısız login sayılarını ekler. Keycloak metriklerinde active session sayısı olmadığı için Spitfire bunu göstermez.

Hızlı kurulum: komutu her node'da çalıştırın; son node'da 1 deyin.

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/keycloak.sh?t=<token>" -o /tmp/sf-keycloak.sh && bash /tmp/sf-keycloak.sh

Elle kurulum

  1. keycloak.conf'u yedekleyin.
bash
sudo cp -n /opt/keycloak/conf/keycloak.conf /opt/keycloak/conf/keycloak.conf.spitfire.bak && echo 'OK: backup taken'
  1. Health, metrik ve login sayılarını açın.
bash
for o in health-enabled metrics-enabled event-metrics-user-enabled; do grep -q "^$o=" /opt/keycloak/conf/keycloak.conf || echo "$o=true" | sudo tee -a /opt/keycloak/conf/keycloak.conf; done; echo 'OK: options set'
  1. Node'u yeniden başlatın. Docker ya da Kubernetes'te bunun yerine KC_HEALTH_ENABLED=true, KC_METRICS_ENABLED=true ve KC_EVENT_METRICS_USER_ENABLED=true verip node'u yeniden oluşturun.
bash
sudo systemctl restart keycloak && echo 'OK: restarted'
  1. Management port'unu kontrol edin.
bash
curl -fsS http://localhost:9000/health/ready | grep -q '"UP"' && curl -fsS http://localhost:9000/metrics | grep -q '^jvm_' && echo 'OK: Keycloak health and metrics ready'
  1. Spitfire → Altyapı izleme → Keycloak; adres: http://kc1:9000,http://kc2:9000.

HashiCorp Vault

Spitfire her node'un /v1/sys/health'ini token'sız, /v1/sys/metrics'i ise policy'si yalnız sys/metrics okuyan bir token ile okur. Token periodic'tir (32 gün), Tower 12 saatte bir yeniler, şifreli saklanır ve log'a yazılmaz.

Başlamadan önce: telemetry. Vault, dev mode dışında Prometheus metriklerini yalnız sunucu yapılandırmasında telemetry bloğu varsa verir; iki kurulum da blok yoksa durur. Her node'da (paket kurulumu, /etc/vault.d/vault.hcl):

bash
sudo grep -q '^telemetry' /etc/vault.d/vault.hcl || printf '%s\n' '' 'telemetry {' '  prometheus_retention_time = "24h"' '  disable_hostname = true' '}' | sudo tee -a /etc/vault.d/vault.hcl >/dev/null; sudo grep -q 'prometheus_retention_time' /etc/vault.d/vault.hcl && echo 'OK: telemetry bloğu yerinde' || echo 'prometheus_retention_time olmayan bir telemetry bloğu var: içine prometheus_retention_time = "24h" satırını ekleyin'

Sonra node'ları tek tek yeniden başlatın (önce standby'lar, active node en son) ve her birini unseal edin:

bash
sudo systemctl restart vault && echo "OK: yeniden başladı, şimdi bu node'u unseal edin"

Docker/Kubernetes'te aynı bloğu container'ın okuduğu yapılandırmaya (-config= ya da ConfigMap) ekleyip node'ları tek tek yeniden oluşturun.

Hızlı kurulum: komutu cluster başına bir kez, active node'a karşı çalıştırın; policy yazabilen bir token verin (yalnız bellekte kullanılır).

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/vault.sh?t=<token>" -o /tmp/sf-vault.sh && bash /tmp/sf-vault.sh

Elle kurulum

  1. Policy yazabilen bir token ile login olun (adresi değiştirin).
bash
export VAULT_ADDR=https://vault1:8200 && vault login && echo 'OK: logged in'
  1. Salt okunur policy'yi yazın.
bash
vault policy write spitfire-metrics - <<'EOF'
path "sys/metrics" {
  capabilities = ["read"]
}
path "auth/token/renew-self" {
  capabilities = ["update"]
}
EOF
vault policy read spitfire-metrics >/dev/null && echo 'OK: policy written'
  1. Token'ı oluşturun ve yazdırdığını kopyalayın.
bash
vault token create -policy=spitfire-metrics -no-default-policy -orphan -period=768h -display-name=spitfire -field=token
  1. sys/metrics'i bu token ile kontrol edin (<token>'ı değiştirin).
bash
curl -fsS -H 'X-Vault-Token: <token>' "$VAULT_ADDR/v1/sys/metrics?format=prometheus" | grep -q '^vault_core_unsealed' && echo 'OK: Vault metrics with the Spitfire token'
  1. Spitfire → Altyapı izleme → HashiCorp Vault; adres: https://vault1:8200,https://vault2:8200,https://vault3:8200, 3. adımdaki token.

Tower Vault'a 32 gün erişemezse token'ın süresi dolar; 3. adımla yenisini oluşturup kaynağa yapıştırın.

IBM MQ

IBM MQ 9.2 ve sonrası (10.0.1.0 ile test edildi). Bir kaynak bir queue manager'dır. Spitfire onu mqweb'in yönetim REST API'si (https://host:9443/ibmmq/rest/v2) üzerinden MQWebAdminRO rolündeki bir kullanıcıyla okur. Bu rol yalnız DISPLAY çalıştırır; hiçbir mesaj browse edilmez. Multi-instance queue manager'da iki host'u da yazın: çalıştığı host okunur, diğeri standby sayılır.

Hızlı kurulum: komutu queue manager'ın her host'unda (multi-instance çiftinde ikisinde de) çalıştırın. Queue manager adını ve şifre sorar; boş bırakırsanız güçlü bir şifre üretir.

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/ibmmq.sh?t=<token>" -o /tmp/sf-ibmmq.sh && bash /tmp/sf-ibmmq.sh

Queue manager Docker'daysa (resmi imajda curl ve sudo yok) komutu Docker host'unda çalıştırın ve ilk soruya konteynerin adını verin (ya da SF_CONTAINER=<ad> bash /tmp/sf-ibmmq.sh). Betik mqweb'i tüm arayüzlerde dinletir (httpHost *). Konteyneri -p 9443:9443 ile oluşturun ve kullanıcı kalsın diye /var/mqm'i bir volume'da tutun.

Elle kurulum

  1. Her host'ta spitfire kullanıcısını mqweb basic registry'sine ve MQWebAdminRO rolüne ekleyin. Blok önce mqwebuser.xml.spitfire.bak yedeğini alır ve şifreyi sorar; mqweb dosyayı kendisi yeniden yükler.
bash
MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && { sudo test -e "$MQWEB.spitfire.bak" || sudo cp "$MQWEB" "$MQWEB.spitfire.bak"; } && read -rs -p 'Password for spitfire: ' PW && echo && HASH=$(sudo JAVA_HOME=/opt/mqm/java/jre64/jre /opt/mqm/web/bin/securityUtility encode --encoding=hash "$PW") && { sudo grep -q '<user name="spitfire"' "$MQWEB" || { sudo awk -v h="$HASH" '
/<basicRegistry/ && !u { print; print "        <user name=\"spitfire\" password=\"" h "\"/>"; u = 1; next }
/id="com.ibm.mq.rest"/ { rest = 1 }
rest && !r && /<security-role name="MQWebAdminRO">/ { r = 1; if (sub(/<\/security-role>/, "<user name=\"spitfire\" realm=\"defaultRealm\"/></security-role>")) { print } else { print; print "                <user name=\"spitfire\" realm=\"defaultRealm\"/>" }; next }
rest && !r && /<\/application-bnd>/ { print "            <security-role name=\"MQWebAdminRO\"><user name=\"spitfire\" realm=\"defaultRealm\"/></security-role>"; r = 1 }
rest && /<\/enterpriseApplication>/ { rest = 0 }
{ print }' "$MQWEB" | sudo tee "$MQWEB.spitfire.new" >/dev/null && sudo mv "$MQWEB.spitfire.new" "$MQWEB"; }; } && sudo grep -q 'MQWebAdminRO.*spitfire\|<user name="spitfire" realm' "$MQWEB" && echo 'OK: spitfire in the registry and in MQWebAdminRO'
  1. Yalnız Tower başka bir host'taysa: mqweb varsayılan olarak yalnız localhost'u dinler.
bash
sudo /opt/mqm/bin/setmqweb properties -k httpHost -v '*' && echo 'OK: mqweb listens on every interface'
  1. REST API'yi kullanıcıyla kontrol edin (QM1'i değiştirin; şifreyi yeniden yazın).
bash
read -rs -p 'Password for spitfire: ' PW && echo && curl -fsSk -u "spitfire:$PW" https://localhost:9443/ibmmq/rest/v2/admin/qmgr/QM1 | grep -q '"state"' && echo 'OK: IBM MQ REST API with the Spitfire user'
  1. İsteğe bağlı, en eski mesajın yaşı için queue monitoring'i açın. Bu queue manager'ı değiştirir; QM1'i değiştirin.
bash
echo 'ALTER QMGR MONQ(MEDIUM)' | sudo -u mqm /opt/mqm/bin/runmqsc QM1 | grep -q 'AMQ8005I' && echo 'OK: queue monitoring on'
  1. Spitfire → Altyapı izleme → IBM MQ; adres: https://mq1:9443,https://mq2:9443, queue manager QM1, kullanıcı spitfire, şifre 1. adımdaki. Varsayılan mqweb sertifikası self-signed'dır: değiştirmediyseniz "sertifika doğrulamasını atla"yı işaretleyin.

LDAP registry'de 1. adımı atlayın ve kullanıcıyı MQWebAdminRO'ya eşlenen LDAP grubuna ekleyin. Kullanıcıyı MQWebUser rolüne koymayın: o rol komutları kullanıcının kendisi olarak çalıştırır, MQ yetkisi ister ve istek reason 2035 ile reddedilir.

NATS

NATS 2.2 ve sonrası. Spitfire her server'ın HTTP monitoring portuna (8222) yalnız GET gönderir: /varz, /healthz, /routez, /subsz, /connz ve JetStream açıksa /jsz (lag, ack pending, redelivery). Mesajlar okunmaz. Monitoring portu varsayılan olarak kapalıdır; 4222 client portudur, burada çalışmaz. Bağlantılar altındaki NATS başka bir şeydir: test adımlarının publish ve istek için kullandığı bağlantı.

Hızlı kurulum: önce monitoring portunu açın (elle kurulum 1. adım), sonra komutu bir server'a erişen herhangi bir makinede çalıştırın.

bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/nats.sh?t=<token>" -o /tmp/sf-nats.sh && bash /tmp/sf-nats.sh

Elle kurulum

  1. Her server'da monitoring portunu açın ve server'ları tek tek yeniden başlatın. Config dosyası varsayılan /etc/nats/nats-server.conf; başka yerdeyse yolu değiştirin.
bash
CONF=/etc/nats/nats-server.conf; sudo grep -q '^http_port' "$CONF" || echo 'http_port: 8222' | sudo tee -a "$CONF" >/dev/null && sudo systemctl restart nats-server && echo 'OK: http_port set'

Docker'da server komutuna -m 8222 ekleyin ve portu yayınlayın:

bash
docker run -d --name nats -p 4222:4222 -p 8222:8222 nats:2.12 -js -m 8222
  1. Her server'da portu kontrol edin (başka makineden çalıştırıyorsanız localhost yerine server'ı yazın).
bash
curl -fsS http://localhost:8222/varz | grep -q '"server_id"' && curl -fsS http://localhost:8222/healthz | grep -q '"ok"' && echo 'OK: NATS monitoring port ready'
  1. Spitfire → Altyapı izleme → NATS izleme; adres: cluster'ın tüm server'ları, http://nats1:8222,http://nats2:8222,http://nats3:8222 (her server yalnız kendini raporlar). Kullanıcı ve şifre yalnız önünde basic auth isteyen bir reverse proxy varsa.

Monitoring portunun şifresi yoktur ve bağlantı adlarını, IP'leri, subject'leri gösterir. Önerimiz şu: portu yalnız Tower'a açın (firewall kuralı ya da özel arayüzde http: 10.0.0.5:8222).

Kaldırma

Her üründe önce kaynağı silin: Tüm entegrasyonlar Spitfire'da: /admin/integrations#observability → satırdaki çöp kutusu → Sil. Tower okumayı bırakır, toplanmış metrikler kalır. Sonra yalnız o ürünün kurulumda değiştirdiklerini geri alın. Varsayılan adları kullandık; başka ad seçtiyseniz onu yazın. Yarıda kalan bir çalıştırma ~/.spitfire-setup/<ürün>.state bırakabilir (rm -f ~/.spitfire-setup/hazelcast.state). Kafka Connect ve NATS betikleri ürüne dokunmaz.

Hazelcast

Kurulum her member'a /etc/systemd/system/hazelcast.service.d/spitfire.conf drop-in'ini ekler. Member'ları tek tek yapın, her birinde clusterSafe: true bekleyin; hazelcast yerine unit adınızı yazın.

bash
UNIT=hazelcast; sudo rm -f /etc/systemd/system/$UNIT.service.d/spitfire.conf && sudo systemctl daemon-reload && sudo systemctl restart $UNIT && ! systemctl show $UNIT -p Environment | grep -q PROMETHEUS_PORT && echo 'OK: drop-in removed'

Docker ya da Kubernetes'te üç environment satırını silip member'ları tek tek yeniden oluşturun (REST API'yi başka bir şey kullanıyorsa bırakın).

Kafka Connect

Yalnız elle kurulumun 2. adımında kullanıcı eklediyseniz: her worker'da silin, worker'ları tek tek yeniden başlatın.

bash
sudo sed -i '/^spitfire:/d' /etc/kafka/connect.password && ! sudo grep -q '^spitfire:' /etc/kafka/connect.password && echo 'OK: user removed'

Keycloak

Kurulum keycloak.conf'a üç satır ekler ve önce keycloak.conf.spitfire.bak yedeğini alır. Her node'da, tek tek, yedeği geri koyun. Yedekten sonra dosyayı başka bir şey için değiştirdiyseniz yalnız o üç satırı silin.

bash
sudo cp -p /opt/keycloak/conf/keycloak.conf.spitfire.bak /opt/keycloak/conf/keycloak.conf && sudo systemctl restart keycloak && echo 'OK: keycloak.conf restored'

Docker ya da Kubernetes'te üç KC_* değişkenini kaldırıp node'ları yeniden oluşturun. Health ya da metrikleri Kubernetes probe'ları kullanıyorsa açık bırakın.

HashiCorp Vault

Kurulum spitfire-metrics policy'sini ve display name'i spitfire olan periodic bir orphan token oluşturur. Policy'yi silin; token artık hiçbir şey okuyamaz ve en geç 32 günde süresi dolar.

bash
export VAULT_ADDR=https://vault1:8200 && vault login && vault policy delete spitfire-metrics && ! vault policy read spitfire-metrics >/dev/null 2>&1 && echo 'OK: policy deleted'

Token elinizdeyse (elle kurulum 3. adım) hemen iptal edebilirsiniz:

bash
vault token revoke '<token>' && echo 'OK: token revoked'

telemetry bloğu zararsızdır, kalabilir. Silerseniz node'ları tek tek yeniden başlatıp unseal edin.

IBM MQ

Kurulum her host'ta mqwebuser.xml'e spitfire'ı ekler (yedek: mqwebuser.xml.spitfire.bak). Kullanıcıyı silin; mqweb dosyayı kendisi yeniden yükler.

bash
MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && sudo sed -i -e '/^[[:space:]]*<user name="spitfire"[^>]*\/>[[:space:]]*$/d' -e 's#<user name="spitfire"[^>]*/>##g' "$MQWEB" && ! sudo grep -q '<user name="spitfire"' "$MQWEB" && echo 'OK: spitfire removed from mqwebuser.xml'

Konteynerde Docker host'unda (<container>'ı değiştirin):

bash
docker exec <container> sh -c 'MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && sed -i -e "/^[[:space:]]*<user name=\"spitfire\"[^>]*\/>[[:space:]]*$/d" -e "s#<user name=\"spitfire\"[^>]*/>##g" "$MQWEB" && ! grep -q "<user name=\"spitfire\"" "$MQWEB"' && echo 'OK: spitfire removed from mqwebuser.xml'

Yalnız httpHost'u Spitfire için açtıysanız ve MQ Console'u başka host'tan kullanan yoksa geri alın (konteynerde başına docker exec <container> ekleyin, sudo olmadan):

bash
sudo /opt/mqm/bin/setmqweb properties -k httpHost -d && echo 'OK: httpHost removed'

Queue monitoring'i yalnız Spitfire için açtıysanız echo 'ALTER QMGR MONQ(OFF)' | sudo -u mqm /opt/mqm/bin/runmqsc QM1 ile kapatın. LDAP'ta kullanıcıyı gruptan çıkarın.

NATS

Yalnız monitoring portunu Spitfire için açtıysanız: http_port satırını silip server'ları tek tek yeniden başlatın (Docker'da -m 8222'yi ve port yayınını kaldırıp yeniden oluşturun).

bash
CONF=/etc/nats/nats-server.conf; sudo sed -i '/^http_port/d' "$CONF" && sudo systemctl restart nats-server && echo 'OK: http_port removed'