Altyapı izleme: Apache HBase (Beta)
HBase cluster'ı (Beta) Tower üzerinden okunur: Tower, Master'ın (16010) ve her
RegionServer'ın (16030) info portundaki /jmx servlet'ini okur. Jar, yeniden başlatma ya da Collector gerekmez;
tablo verisi okunmaz. Her cluster bir izlenen sistemdir.
Sayfa: Tüm entegrasyonlar Spitfire'da: /admin/integrations → Entegrasyon ekle → Apache HBase. Komuttaki
<spitfire> ve <token> arayüzde dolu gelir.
Hızlı kurulum
- Komutu Tower'ın erişebildiği bir makinede çalıştırın, soruları yanıtlayın.
curl -fsSL "https://<spitfire>/api/v1/setup/ds/hbase.sh?t=<token>" -o /tmp/sf-hbase.sh && bash /tmp/sf-hbase.shOK: ...satırını görünce bitti.
Elle kurulum
- Tower'ın makinesinden Master'ın
/jmxservlet'ini kontrol edin.
curl -fsS 'http://<hbase-master>:16010/jmx?qry=Hadoop:service=HBase,name=Master,sub=Server' | grep -q numRegionServers && echo 'OK: HBase Master /jmx'- Bir RegionServer'ın
/jmxservlet'ini kontrol edin.
curl -fsS 'http://<hbase-regionserver>:16030/jmx?qry=Hadoop:service=HBase,name=RegionServer,sub=Server' | grep -q regionCount && echo 'OK: HBase RegionServer /jmx'- Master'ın listelediği RegionServer adlarını görün.
curl -fsS 'http://<hbase-master>:16010/jmx?qry=Hadoop:service=HBase,name=Master,sub=Server' | grep -o '"tag.liveRegionServers" *: *"[^"]*"' && echo 'OK: RegionServer listesi'- Spitfire → Altyapı izleme → Apache HBase.
- Master adresleri:
http://hbase-master-1.corp:16010, http://hbase-master-2.corp:16010(en çok 3 Master; aktif olan bulunur). - RegionServer adresleri: boş bırakın; 3. adımdaki adlar Tower'dan çözülmüyorsa
hbase-rs-1.corp:16030, hbase-rs-2.corp:16030yazın. - Kullanıcı / parola: yalnız info portlarının önünde basic auth yapan bir proxy varsa.
- Master adresleri:
- Bağlantıyı test et → Kaydet. İlk metrikler ~1 dk içinde gelir.
https için adresi https:// ile yazın; iç CA'da TLS sertifika doğrulamasını atla kutusunu
işaretleyin. RegionServer'lar Master'ın şemasıyla okunur. Kerberos (SPNEGO) ya da Apache Knox arkasındaki info
portları desteklenmez; Tower HTTP 401 Negotiate hatası verir.
En sık karşılaşılan durum: Master RegionServer'ları kısa host adıyla listeler ve Tower bu adları çözemez. O durumda RegionServer adresleri alanını tam adlarla doldurun.
Paneller ve bulgular
Paneller cluster için aktif Master'ı, canlı/ölü RegionServer'ları ve RIT'leri (regions in transition), her RegionServer için istek hızlarını, block cache'i, compaction/flush queue'yu, slow* işlemleri, IPC'yi, GC'yi ve heap'i gösterir.
| Bulgu | Eşik | Önem |
|---|---|---|
| Master yanıt vermiyor | up = 0 | kritik |
| Aktif Master yok | 0 | kritik |
| Ölü RegionServer | > 0 | kritik |
| RegionServer'a erişilemiyor | up = 0 | uyarı |
| RIT takılı kaldı | ritCountOverThreshold > 0 (HBase'in eşiği, varsayılan 60 sn) | uyarı |
| Block cache hit oranı düşük | < %80 (en az 1000 istek) | uyarı |
| Compaction queue yüksek | > 20 | uyarı |
| Heap doluluğu | > %90 | uyarı |
| Yavaş işlem | slow* sayaçları arttı (HBase'in hbase.ipc.slow.metric.time eşiğinden, varsayılan 1000 ms, uzun süren işlemler) |
uyarı |
Kaldırma
Betik HBase'de hiçbir şey değiştirmez.
- Spitfire'da kaynağı silin: Tüm entegrasyonlar
Spitfire'da: /admin/integrations#observability→ kaynağın satırındaki çöp kutusu → Sil. Toplanmış metrikler kalır.
Proxy'de yalnız Spitfire için bir basic auth kullanıcısı açtıysanız onu da silin. Yarıda kalan bir çalıştırmanın
kayıt dosyasını rm -f ~/.spitfire-setup/hbase.state siler.