SpitfireYük Testi ve APMYenilikler

Altyapı izleme: Apache HBase (Beta)

HBase cluster'ı (Beta) Tower üzerinden okunur: Tower, Master'ın (16010) ve her RegionServer'ın (16030) info portundaki /jmx servlet'ini okur. Jar, yeniden başlatma ya da Collector gerekmez; tablo verisi okunmaz. Her cluster bir izlenen sistemdir.

Sayfa: Tüm entegrasyonlar Spitfire'da: /admin/integrations → Entegrasyon ekle → Apache HBase. Komuttaki <spitfire> ve <token> arayüzde dolu gelir.

Hızlı kurulum

  1. Komutu Tower'ın erişebildiği bir makinede çalıştırın, soruları yanıtlayın.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/hbase.sh?t=<token>" -o /tmp/sf-hbase.sh && bash /tmp/sf-hbase.sh
  1. OK: ... satırını görünce bitti.

Elle kurulum

  1. Tower'ın makinesinden Master'ın /jmx servlet'ini kontrol edin.
bash
curl -fsS 'http://<hbase-master>:16010/jmx?qry=Hadoop:service=HBase,name=Master,sub=Server' | grep -q numRegionServers && echo 'OK: HBase Master /jmx'
  1. Bir RegionServer'ın /jmx servlet'ini kontrol edin.
bash
curl -fsS 'http://<hbase-regionserver>:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server' | grep -q regionCount && echo 'OK: HBase RegionServer /jmx'
  1. Master'ın listelediği RegionServer adlarını görün.
bash
curl -fsS 'http://<hbase-master>:16010/jmx?qry=Hadoop:service=HBase,name=Master,sub=Server' | grep -o '"tag.liveRegionServers" *: *"[^"]*"' && echo 'OK: RegionServer listesi'
  1. Spitfire → Altyapı izleme → Apache HBase.
    • Master adresleri: http://hbase-master-1.corp:16010, http://hbase-master-2.corp:16010 (en çok 3 Master; aktif olan bulunur).
    • RegionServer adresleri: boş bırakın; 3. adımdaki adlar Tower'dan çözülmüyorsa hbase-rs-1.corp:16030, hbase-rs-2.corp:16030 yazın.
    • Kullanıcı / parola: yalnız info portlarının önünde basic auth yapan bir proxy varsa.
  2. Bağlantıyı test et → Kaydet. İlk metrikler ~1 dk içinde gelir.
Not

https için adresi https:// ile yazın; iç CA'da TLS sertifika doğrulamasını atla kutusunu işaretleyin. RegionServer'lar Master'ın şemasıyla okunur. Kerberos (SPNEGO) ya da Apache Knox arkasındaki info portları desteklenmez; Tower HTTP 401 Negotiate hatası verir.

En sık karşılaşılan durum: Master RegionServer'ları kısa host adıyla listeler ve Tower bu adları çözemez. O durumda RegionServer adresleri alanını tam adlarla doldurun.

Paneller ve bulgular

Paneller cluster için aktif Master'ı, canlı/ölü RegionServer'ları ve RIT'leri (regions in transition), her RegionServer için istek hızlarını, block cache'i, compaction/flush queue'yu, slow* işlemleri, IPC'yi, GC'yi ve heap'i gösterir.

Bulgu Eşik Önem
Master yanıt vermiyor up = 0 kritik
Aktif Master yok 0 kritik
Ölü RegionServer > 0 kritik
RegionServer'a erişilemiyor up = 0 uyarı
RIT takılı kaldı ritCountOverThreshold > 0 (HBase'in eşiği, varsayılan 60 sn) uyarı
Block cache hit oranı düşük < %80 (en az 1000 istek) uyarı
Compaction queue yüksek > 20 uyarı
Heap doluluğu > %90 uyarı
Yavaş işlem slow* sayaçları arttı (HBase'in hbase.ipc.slow.metric.time eşiğinden, varsayılan 1000 ms, uzun süren işlemler) uyarı

Kaldırma

Betik HBase'de hiçbir şey değiştirmez.

  1. Spitfire'da kaynağı silin: Tüm entegrasyonlar Spitfire'da: /admin/integrations#observability → kaynağın satırındaki çöp kutusu → Sil. Toplanmış metrikler kalır.

Proxy'de yalnız Spitfire için bir basic auth kullanıcısı açtıysanız onu da silin. Yarıda kalan bir çalıştırmanın kayıt dosyasını rm -f ~/.spitfire-setup/hbase.state siler.