Altyapı izleme: Hazelcast, Kafka Connect, Keycloak, Vault, IBM MQ, NATS
Tower bu altısını kendi HTTP API'leri üzerinden 30 saniyede bir okur; Collector config'i gerekmez. Bir cluster tek kaynaktır: tüm member ya da node'ları virgülle aynı kaynağa yazın. Erişim salt okunurdur; Spitfire map verisini, connector config'lerini, kullanıcıları, secret'ları ve mesajları okumaz. Kafka Connect ve NATS gerçek sürümlerde test edildi, diğerleri Beta.
Her üründe iki yol var. Hızlı kurulum: komutu çalıştırın, soruları yanıtlayın, OK: ... satırını
görünce bitti. Elle kurulum aynı işi adım adım yapar.
Hazelcast
Hazelcast 5.x. Spitfire her member'da /hazelcast/health'i (port 5701) ve Prometheus sayfasını
(PROMETHEUS_PORT, varsayılan 8080) okur.
Hızlı kurulum: komutu her member'da çalıştırın; son member'da cluster'ı eklemek için 1 deyin.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/hazelcast.sh?t=<token>" -o /tmp/sf-hazelcast.sh && bash /tmp/sf-hazelcast.shElle kurulum
- Docker ya da Kubernetes: bu üç satırı her member'ın environment'ına ekleyin, member'ları tek tek yeniden oluşturun.
HZ_NETWORK_RESTAPI_ENABLED=true
HZ_NETWORK_RESTAPI_ENDPOINTGROUPS_HEALTHCHECK_ENABLED=true
PROMETHEUS_PORT=8080- Paket kurulumu (systemd unit
hazelcast): aynısını drop-in olarak yazın ve member'ı yeniden başlatın.
sudo mkdir -p /etc/systemd/system/hazelcast.service.d && printf '%s\n' '[Service]' 'Environment=HZ_NETWORK_RESTAPI_ENABLED=true' 'Environment=HZ_NETWORK_RESTAPI_ENDPOINTGROUPS_HEALTHCHECK_ENABLED=true' 'Environment=PROMETHEUS_PORT=8080' | sudo tee /etc/systemd/system/hazelcast.service.d/spitfire.conf && sudo systemctl daemon-reload && sudo systemctl restart hazelcast- Member'da health check'i ve metrikleri kontrol edin.
curl -fsS http://localhost:5701/hazelcast/health | grep -q '"nodeState"' && curl -fsS http://localhost:8080/metrics | grep -q '^com_hazelcast_Metrics' && echo 'OK: Hazelcast health and metrics ready'- Spitfire → Altyapı izleme → Hazelcast; adres:
http://hz1:5701,http://hz2:5701,http://hz3:5701, Prometheus port'u8080.
Member'ları tek tek yeniden başlatın ve cluster yeniden güvende olana kadar
(clusterSafe: true) bekleyin; yoksa partition'lar backup'larını kaybedebilir.
Kafka Connect
Spitfire Connect REST API'sine (port 8083) yalnız GET gönderir: worker, connector ve task durumları,
failed bir task'ın trace'inin ilk satırı. Trace'teki parola, token ve sasl.jaas.config değerleri
Tower'dan çıkmadan maskelenir. Apache Kafka 3.7, 3.8, 3.9 ve 4.1 Connect ile (basic auth dahil) test
edildi. JMX metrikleri okunmaz.
Hızlı kurulum: komutu bir worker'a erişen herhangi bir makinede çalıştırın.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/kafkaconnect.sh?t=<token>" -o /tmp/sf-kafkaconnect.sh && bash /tmp/sf-kafkaconnect.shElle kurulum
- REST API'yi kontrol edin. REST parolası yoksa başka bir şey gerekmez.
curl -fsS http://localhost:8083/ | grep -q '"kafka_cluster_id"' && curl -fsS 'http://localhost:8083/connectors?expand=status' >/dev/null && echo 'OK: Kafka Connect REST API ready'- Yalnız
BasicAuthSecurityRestExtensionvarsa: worker'ların parola dosyasına (JAAS config'tekifile=yolu) bir kullanıcı ekleyin, worker'ları tek tek yeniden başlatın.<password>'ü değiştirin. Connect'te salt okunur REST rolü yok; bu parolayı yalnız Spitfire için kullanın.
grep -q '^spitfire:' /etc/kafka/connect.password || echo 'spitfire: <password>' | sudo tee -a /etc/kafka/connect.password >/dev/null && echo 'OK: user added'- Spitfire → Altyapı izleme → Kafka Connect; adres:
http://connect1:8083,http://connect2:8083; kullanıcı ve parola yalnız 2. adımla.
Keycloak
Keycloak 25 ve sonrası. Spitfire management port'unda (9000) /health/ready, /health/live ve
/metrics'i okur. event-metrics-user-enabled realm başına login ve başarısız login sayılarını
ekler. Keycloak metriklerinde active session sayısı olmadığı için Spitfire bunu göstermez.
Hızlı kurulum: komutu her node'da çalıştırın; son node'da 1 deyin.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/keycloak.sh?t=<token>" -o /tmp/sf-keycloak.sh && bash /tmp/sf-keycloak.shElle kurulum
- keycloak.conf'u yedekleyin.
sudo cp -n /opt/keycloak/conf/keycloak.conf /opt/keycloak/conf/keycloak.conf.spitfire.bak && echo 'OK: backup taken'- Health, metrik ve login sayılarını açın.
for o in health-enabled metrics-enabled event-metrics-user-enabled; do grep -q "^$o=" /opt/keycloak/conf/keycloak.conf || echo "$o=true" | sudo tee -a /opt/keycloak/conf/keycloak.conf; done; echo 'OK: options set'- Node'u yeniden başlatın. Docker ya da Kubernetes'te bunun yerine
KC_HEALTH_ENABLED=true,KC_METRICS_ENABLED=trueveKC_EVENT_METRICS_USER_ENABLED=trueverip node'u yeniden oluşturun.
sudo systemctl restart keycloak && echo 'OK: restarted'- Management port'unu kontrol edin.
curl -fsS http://localhost:9000/health/ready | grep -q '"UP"' && curl -fsS http://localhost:9000/metrics | grep -q '^jvm_' && echo 'OK: Keycloak health and metrics ready'- Spitfire → Altyapı izleme → Keycloak; adres:
http://kc1:9000,http://kc2:9000.
HashiCorp Vault
Spitfire her node'un /v1/sys/health'ini token'sız, /v1/sys/metrics'i ise policy'si yalnız
sys/metrics okuyan bir token ile okur. Token periodic'tir (32 gün), Tower 12 saatte bir yeniler,
şifreli saklanır ve log'a yazılmaz.
Başlamadan önce: telemetry. Vault, dev mode dışında Prometheus metriklerini yalnız sunucu
yapılandırmasında telemetry bloğu varsa verir; iki kurulum da blok yoksa durur. Her node'da
(paket kurulumu, /etc/vault.d/vault.hcl):
sudo grep -q '^telemetry' /etc/vault.d/vault.hcl || printf '%s\n' '' 'telemetry {' ' prometheus_retention_time = "24h"' ' disable_hostname = true' '}' | sudo tee -a /etc/vault.d/vault.hcl >/dev/null; sudo grep -q 'prometheus_retention_time' /etc/vault.d/vault.hcl && echo 'OK: telemetry bloğu yerinde' || echo 'prometheus_retention_time olmayan bir telemetry bloğu var: içine prometheus_retention_time = "24h" satırını ekleyin'Sonra node'ları tek tek yeniden başlatın (önce standby'lar, active node en son) ve her birini unseal edin:
sudo systemctl restart vault && echo "OK: yeniden başladı, şimdi bu node'u unseal edin"Docker/Kubernetes'te aynı bloğu container'ın okuduğu yapılandırmaya (-config= ya da ConfigMap)
ekleyip node'ları tek tek yeniden oluşturun.
Hızlı kurulum: komutu cluster başına bir kez, active node'a karşı çalıştırın; policy yazabilen bir token verin (yalnız bellekte kullanılır).
curl -fsSL "https://<spitfire>/api/v1/setup/ds/vault.sh?t=<token>" -o /tmp/sf-vault.sh && bash /tmp/sf-vault.shElle kurulum
- Policy yazabilen bir token ile login olun (adresi değiştirin).
export VAULT_ADDR=https://vault1:8200 && vault login && echo 'OK: logged in'- Salt okunur policy'yi yazın.
vault policy write spitfire-metrics - <<'EOF'
path "sys/metrics" {
capabilities = ["read"]
}
path "auth/token/renew-self" {
capabilities = ["update"]
}
EOF
vault policy read spitfire-metrics >/dev/null && echo 'OK: policy written'- Token'ı oluşturun ve yazdırdığını kopyalayın.
vault token create -policy=spitfire-metrics -no-default-policy -orphan -period=768h -display-name=spitfire -field=token- sys/metrics'i bu token ile kontrol edin (
<token>'ı değiştirin).
curl -fsS -H 'X-Vault-Token: <token>' "$VAULT_ADDR/v1/sys/metrics?format=prometheus" | grep -q '^vault_core_unsealed' && echo 'OK: Vault metrics with the Spitfire token'- Spitfire → Altyapı izleme → HashiCorp Vault; adres:
https://vault1:8200,https://vault2:8200,https://vault3:8200, 3. adımdaki token.
Tower Vault'a 32 gün erişemezse token'ın süresi dolar; 3. adımla yenisini oluşturup kaynağa yapıştırın.
IBM MQ
IBM MQ 9.2 ve sonrası (10.0.1.0 ile test edildi). Bir kaynak bir queue manager'dır. Spitfire onu
mqweb'in yönetim REST API'si (https://host:9443/ibmmq/rest/v2) üzerinden MQWebAdminRO
rolündeki bir kullanıcıyla okur. Bu rol yalnız DISPLAY çalıştırır; hiçbir mesaj browse edilmez.
Multi-instance queue manager'da iki host'u da yazın: çalıştığı host okunur, diğeri standby sayılır.
Hızlı kurulum: komutu queue manager'ın her host'unda (multi-instance çiftinde ikisinde de) çalıştırın. Queue manager adını ve şifre sorar; boş bırakırsanız güçlü bir şifre üretir.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/ibmmq.sh?t=<token>" -o /tmp/sf-ibmmq.sh && bash /tmp/sf-ibmmq.shQueue manager Docker'daysa (resmi imajda curl ve sudo yok) komutu Docker host'unda çalıştırın ve
ilk soruya konteynerin adını verin (ya da SF_CONTAINER=<ad> bash /tmp/sf-ibmmq.sh). Betik mqweb'i
tüm arayüzlerde dinletir (httpHost *). Konteyneri -p 9443:9443 ile oluşturun ve kullanıcı
kalsın diye /var/mqm'i bir volume'da tutun.
Elle kurulum
- Her host'ta
spitfirekullanıcısını mqweb basic registry'sine veMQWebAdminROrolüne ekleyin. Blok öncemqwebuser.xml.spitfire.bakyedeğini alır ve şifreyi sorar; mqweb dosyayı kendisi yeniden yükler.
MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && { sudo test -e "$MQWEB.spitfire.bak" || sudo cp "$MQWEB" "$MQWEB.spitfire.bak"; } && read -rs -p 'Password for spitfire: ' PW && echo && HASH=$(sudo JAVA_HOME=/opt/mqm/java/jre64/jre /opt/mqm/web/bin/securityUtility encode --encoding=hash "$PW") && { sudo grep -q '<user name="spitfire"' "$MQWEB" || { sudo awk -v h="$HASH" '
/<basicRegistry/ && !u { print; print " <user name=\"spitfire\" password=\"" h "\"/>"; u = 1; next }
/id="com.ibm.mq.rest"/ { rest = 1 }
rest && !r && /<security-role name="MQWebAdminRO">/ { r = 1; if (sub(/<\/security-role>/, "<user name=\"spitfire\" realm=\"defaultRealm\"/></security-role>")) { print } else { print; print " <user name=\"spitfire\" realm=\"defaultRealm\"/>" }; next }
rest && !r && /<\/application-bnd>/ { print " <security-role name=\"MQWebAdminRO\"><user name=\"spitfire\" realm=\"defaultRealm\"/></security-role>"; r = 1 }
rest && /<\/enterpriseApplication>/ { rest = 0 }
{ print }' "$MQWEB" | sudo tee "$MQWEB.spitfire.new" >/dev/null && sudo mv "$MQWEB.spitfire.new" "$MQWEB"; }; } && sudo grep -q 'MQWebAdminRO.*spitfire\|<user name="spitfire" realm' "$MQWEB" && echo 'OK: spitfire in the registry and in MQWebAdminRO'- Yalnız Tower başka bir host'taysa: mqweb varsayılan olarak yalnız localhost'u dinler.
sudo /opt/mqm/bin/setmqweb properties -k httpHost -v '*' && echo 'OK: mqweb listens on every interface'- REST API'yi kullanıcıyla kontrol edin (
QM1'i değiştirin; şifreyi yeniden yazın).
read -rs -p 'Password for spitfire: ' PW && echo && curl -fsSk -u "spitfire:$PW" https://localhost:9443/ibmmq/rest/v2/admin/qmgr/QM1 | grep -q '"state"' && echo 'OK: IBM MQ REST API with the Spitfire user'- İsteğe bağlı, en eski mesajın yaşı için queue monitoring'i açın. Bu queue manager'ı değiştirir;
QM1'i değiştirin.
echo 'ALTER QMGR MONQ(MEDIUM)' | sudo -u mqm /opt/mqm/bin/runmqsc QM1 | grep -q 'AMQ8005I' && echo 'OK: queue monitoring on'- Spitfire → Altyapı izleme → IBM MQ; adres:
https://mq1:9443,https://mq2:9443, queue managerQM1, kullanıcıspitfire, şifre 1. adımdaki. Varsayılan mqweb sertifikası self-signed'dır: değiştirmediyseniz "sertifika doğrulamasını atla"yı işaretleyin.
LDAP registry'de 1. adımı atlayın ve kullanıcıyı MQWebAdminRO'ya eşlenen LDAP grubuna ekleyin.
Kullanıcıyı MQWebUser rolüne koymayın: o rol komutları kullanıcının kendisi olarak çalıştırır, MQ
yetkisi ister ve istek reason 2035 ile reddedilir.
NATS
NATS 2.2 ve sonrası. Spitfire her server'ın HTTP monitoring portuna (8222) yalnız GET gönderir:
/varz, /healthz, /routez, /subsz, /connz ve JetStream açıksa /jsz (lag, ack pending,
redelivery). Mesajlar okunmaz. Monitoring portu varsayılan olarak kapalıdır; 4222 client portudur,
burada çalışmaz. Bağlantılar altındaki NATS başka bir şeydir: test adımlarının
publish ve istek için kullandığı bağlantı.
Hızlı kurulum: önce monitoring portunu açın (elle kurulum 1. adım), sonra komutu bir server'a erişen herhangi bir makinede çalıştırın.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/nats.sh?t=<token>" -o /tmp/sf-nats.sh && bash /tmp/sf-nats.shElle kurulum
- Her server'da monitoring portunu açın ve server'ları tek tek yeniden başlatın. Config dosyası
varsayılan
/etc/nats/nats-server.conf; başka yerdeyse yolu değiştirin.
CONF=/etc/nats/nats-server.conf; sudo grep -q '^http_port' "$CONF" || echo 'http_port: 8222' | sudo tee -a "$CONF" >/dev/null && sudo systemctl restart nats-server && echo 'OK: http_port set' Docker'da server komutuna -m 8222 ekleyin ve portu yayınlayın:
docker run -d --name nats -p 4222:4222 -p 8222:8222 nats:2.12 -js -m 8222- Her server'da portu kontrol edin (başka makineden çalıştırıyorsanız
localhostyerine server'ı yazın).
curl -fsS http://localhost:8222/varz | grep -q '"server_id"' && curl -fsS http://localhost:8222/healthz | grep -q '"ok"' && echo 'OK: NATS monitoring port ready'- Spitfire → Altyapı izleme → NATS izleme; adres: cluster'ın tüm server'ları,
http://nats1:8222,http://nats2:8222,http://nats3:8222(her server yalnız kendini raporlar). Kullanıcı ve şifre yalnız önünde basic auth isteyen bir reverse proxy varsa.
Monitoring portunun şifresi yoktur ve bağlantı adlarını, IP'leri, subject'leri gösterir. Önerimiz
şu: portu yalnız Tower'a açın (firewall kuralı ya da özel arayüzde http: 10.0.0.5:8222).
Kaldırma
Her üründe önce kaynağı silin: Tüm entegrasyonlar Spitfire'da: /admin/integrations#observability →
satırdaki çöp kutusu → Sil. Tower okumayı bırakır, toplanmış metrikler kalır. Sonra yalnız o
ürünün kurulumda değiştirdiklerini geri alın. Varsayılan adları kullandık; başka ad seçtiyseniz onu
yazın. Yarıda kalan bir çalıştırma ~/.spitfire-setup/<ürün>.state bırakabilir
(rm -f ~/.spitfire-setup/hazelcast.state). Kafka Connect ve NATS betikleri ürüne dokunmaz.
Hazelcast
Kurulum her member'a /etc/systemd/system/hazelcast.service.d/spitfire.conf drop-in'ini ekler.
Member'ları tek tek yapın, her birinde clusterSafe: true bekleyin; hazelcast yerine unit
adınızı yazın.
UNIT=hazelcast; sudo rm -f /etc/systemd/system/$UNIT.service.d/spitfire.conf && sudo systemctl daemon-reload && sudo systemctl restart $UNIT && ! systemctl show $UNIT -p Environment | grep -q PROMETHEUS_PORT && echo 'OK: drop-in removed'Docker ya da Kubernetes'te üç environment satırını silip member'ları tek tek yeniden oluşturun (REST API'yi başka bir şey kullanıyorsa bırakın).
Kafka Connect
Yalnız elle kurulumun 2. adımında kullanıcı eklediyseniz: her worker'da silin, worker'ları tek tek yeniden başlatın.
sudo sed -i '/^spitfire:/d' /etc/kafka/connect.password && ! sudo grep -q '^spitfire:' /etc/kafka/connect.password && echo 'OK: user removed'Keycloak
Kurulum keycloak.conf'a üç satır ekler ve önce keycloak.conf.spitfire.bak yedeğini alır. Her
node'da, tek tek, yedeği geri koyun. Yedekten sonra dosyayı başka bir şey için değiştirdiyseniz
yalnız o üç satırı silin.
sudo cp -p /opt/keycloak/conf/keycloak.conf.spitfire.bak /opt/keycloak/conf/keycloak.conf && sudo systemctl restart keycloak && echo 'OK: keycloak.conf restored'Docker ya da Kubernetes'te üç KC_* değişkenini kaldırıp node'ları yeniden oluşturun. Health ya da
metrikleri Kubernetes probe'ları kullanıyorsa açık bırakın.
HashiCorp Vault
Kurulum spitfire-metrics policy'sini ve display name'i spitfire olan periodic bir orphan token
oluşturur. Policy'yi silin; token artık hiçbir şey okuyamaz ve en geç 32 günde süresi dolar.
export VAULT_ADDR=https://vault1:8200 && vault login && vault policy delete spitfire-metrics && ! vault policy read spitfire-metrics >/dev/null 2>&1 && echo 'OK: policy deleted'Token elinizdeyse (elle kurulum 3. adım) hemen iptal edebilirsiniz:
vault token revoke '<token>' && echo 'OK: token revoked'telemetry bloğu zararsızdır, kalabilir. Silerseniz node'ları tek tek yeniden başlatıp unseal edin.
IBM MQ
Kurulum her host'ta mqwebuser.xml'e spitfire'ı ekler (yedek: mqwebuser.xml.spitfire.bak).
Kullanıcıyı silin; mqweb dosyayı kendisi yeniden yükler.
MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && sudo sed -i -e '/^[[:space:]]*<user name="spitfire"[^>]*\/>[[:space:]]*$/d' -e 's#<user name="spitfire"[^>]*/>##g' "$MQWEB" && ! sudo grep -q '<user name="spitfire"' "$MQWEB" && echo 'OK: spitfire removed from mqwebuser.xml'Konteynerde Docker host'unda (<container>'ı değiştirin):
docker exec <container> sh -c 'MQWEB=/var/mqm/web/installations/Installation1/servers/mqweb/mqwebuser.xml && sed -i -e "/^[[:space:]]*<user name=\"spitfire\"[^>]*\/>[[:space:]]*$/d" -e "s#<user name=\"spitfire\"[^>]*/>##g" "$MQWEB" && ! grep -q "<user name=\"spitfire\"" "$MQWEB"' && echo 'OK: spitfire removed from mqwebuser.xml'Yalnız httpHost'u Spitfire için açtıysanız ve MQ Console'u başka host'tan kullanan yoksa geri alın
(konteynerde başına docker exec <container> ekleyin, sudo olmadan):
sudo /opt/mqm/bin/setmqweb properties -k httpHost -d && echo 'OK: httpHost removed'Queue monitoring'i yalnız Spitfire için açtıysanız
echo 'ALTER QMGR MONQ(OFF)' | sudo -u mqm /opt/mqm/bin/runmqsc QM1 ile kapatın. LDAP'ta kullanıcıyı
gruptan çıkarın.
NATS
Yalnız monitoring portunu Spitfire için açtıysanız: http_port satırını silip server'ları tek tek
yeniden başlatın (Docker'da -m 8222'yi ve port yayınını kaldırıp yeniden oluşturun).
CONF=/etc/nats/nats-server.conf; sudo sed -i '/^http_port/d' "$CONF" && sudo systemctl restart nats-server && echo 'OK: http_port removed'