SpitfireYük Testi ve APMYenilikler

Altyapı izleme: IBM WebSphere (traditional), App Connect Enterprise ve DataPower (Beta)

Banka paketinin üç IBM ürününü Tower her birinin kendi HTTP arayüzünden okur. Agent, jar ya da Collector gerekmez. Üçü de Beta.

Kaynak Tower'ın okuduğu
WebSphere Application Server (traditional) 8.5.5 / 9.0 PerfServlet'in PMI XML'i (perfServletApp)
IBM App Connect Enterprise 12 / 13 admin REST API /apiv2 ve statistics stream'i
IBM DataPower Gateway REST management arayüzü (5554 portu)

Aşağıdaki her kullanıcı salt okunurdur; Spitfire hiçbir şeyi durdurmaz, başlatmaz, değiştirmez. Parolalar şifreli saklanır ve log'a yazılmaz. Kaynağı eklemek için: Tüm entegrasyonlar Spitfire'da: /admin/integrations → Entegrasyon ekle → ürünün kartı.

Hızlı kurulum

  1. Ürününüzün aşağıdaki kullanıcı ve rol adımlarını bir kez yapın. Sonra komutu Tower'ın erişebildiği bir makinede çalıştırın, soruları yanıtlayın. was.sh, ace.sh ya da datapower.sh kullanın; üründe bu satır adres ve yeni bir token ile hazır gelir.
bash
curl -fsSL "https://<spitfire>/api/v1/setup/ds/was.sh?t=<token>" -o /tmp/sf-was.sh && bash /tmp/sf-was.sh
  1. OK: ... satırını görünce bitti. İlk metrikler yaklaşık 1 dakikada gelir (60 sn'de bir okunur).

WebSphere Application Server (traditional)

PerfServlet (perfServletApp, WAS ile installableApps/PerfServletApp.ear olarak gelir) tek bir application server'a kurulur ve deployment manager üzerinden tüm cell'in PMI verisini XML olarak döndürür. Kullanıcıya yalnız monitor yönetim rolü yeter.

  1. Deployment manager'ın makinesinde, WebSphere'in sahibi kullanıcıyla profili, perfServletApp'i çalıştıracak server'ı ve parolaları girin. 2. ve 3. adımdaki betik PMI'ı her application server'da çalışırken extended set'e alır, spitfire kullanıcısını file-based registry'de oluşturur (LDAP'ta orada oluşturun, betik olanı korur), monitor rolüne bağlar, perfServletApp'i kurup başlatır ve node'ları senkronize eder.
bash
WAS_PROFILE=/opt/IBM/WebSphere/AppServer/profiles/Dmgr01
export SPITFIRE_NODE=AppNode01 SPITFIRE_SERVER=server1
WAS_ADMIN=wasadmin
read -rsp 'WebSphere admin password: ' WAS_ADMIN_PW; echo
read -rsp 'New password for the user spitfire: ' SPITFIRE_PW; echo; export SPITFIRE_PW
[ -x "$WAS_PROFILE/bin/wsadmin.sh" ] && echo 'OK: wsadmin found'
  1. wsadmin betiğini kaydedin (üründeki Adımlar kutusu aynı metni gösterir).
bash
cat > /tmp/spitfire-was.py <<'SPITFIRE_PY'
import java
sep = java.lang.System.getProperty('line.separator')
env = java.lang.System.getenv
node, server, pw = env('SPITFIRE_NODE'), env('SPITFIRE_SERVER'), env('SPITFIRE_PW')
for s in AdminConfig.list('Server').split(sep):
    if not s or AdminConfig.showAttribute(s, 'serverType') != 'APPLICATION_SERVER':
        continue
    AdminConfig.modify(AdminConfig.list('PMIService', s), [['enable', 'true'], ['statisticSet', 'extended']])
    perf = AdminControl.completeObjectName('type=Perf,process=%s,*' % AdminConfig.showAttribute(s, 'name'))
    if perf:
        AdminControl.invoke(perf, 'setStatisticSet', 'extended')
try:
    AdminTask.createUser(['-uid', 'spitfire', '-password', pw, '-confirmPassword', pw, '-cn', 'spitfire', '-sn', 'monitor'])
except:
    print 'user spitfire: exists (kept)'
AdminTask.mapUsersToAdminRole(['-roleName', 'monitor', '-userids', 'spitfire'])
if 'perfServletApp' not in AdminApp.list().split(sep):
    ear = java.lang.System.getProperty('was.install.root') + '/installableApps/PerfServletApp.ear'
    AdminApp.install(ear, ['-appname', 'perfServletApp', '-node', node, '-server', server, '-usedefaultbindings'])
AdminConfig.save()
for n in AdminControl.queryNames('type=NodeSync,*').split(sep):
    if n:
        AdminControl.invoke(n, 'sync')
try:
    am = AdminControl.completeObjectName('type=ApplicationManager,node=%s,process=%s,*' % (node, server))
    AdminControl.invoke(am, 'startApplication', 'perfServletApp')
except:
    print 'perfServletApp: already started'
for agm in AdminControl.queryNames('type=AuthorizationGroupManager,*').split(sep):
    if agm:
        AdminControl.invoke(agm, 'refreshAll')
print 'SPITFIRE-OK'
SPITFIRE_PY
echo 'OK: script saved'
  1. Çalıştırın.
bash
"$WAS_PROFILE/bin/wsadmin.sh" -lang jython -user "$WAS_ADMIN" -password "$WAS_ADMIN_PW" -f /tmp/spitfire-was.py | grep -q SPITFIRE-OK && echo 'OK: PMI extended, spitfire in the monitor role, perfServletApp installed'; rm -f /tmp/spitfire-was.py
  1. Tower'ın makinesinden PerfServlet'i yeni kullanıcıyla kontrol edin (9443 server'ın https, 9080 http portu). HTTP 403 dönüyorsa kullanıcı monitor rolünde değildir: 2. ve 3. adımı yeniden çalıştırın ya da konsoldan bağlayın (Security → Global security → Administrative user roles).
bash
curl -fsS -k -u "spitfire:$SPITFIRE_PW" 'https://<was-server>:9443/wasPerfTool/servlet/perfservlet?module=jvmRuntimeModule' | grep -q 'responseStatus="success"' && echo 'OK: PerfServlet answers the spitfire user'
  1. Spitfire → Altyapı izleme → WebSphere Application Server (traditional).
    • Endpoint: https://was-server-1.corp:9443 (perfServletApp'i çalıştıran server; yedek için ikincisi).
    • Kullanıcı / parola: spitfire ve parolası.
  2. Bağlantıyı test et → Kaydet.

Hung thread sayıları extended statistic set ister (1-3. adımlar). JVM GC sayıları -agentlib:pmiJvmtiProfiler JVM argümanını ister; yoksa yalnız GC panelleri boş kalır.

IBM App Connect Enterprise

Tower /apiv2'yi (server, application, message flow ve durumları) ve statistics websocket'ini (/apiv2/statistics) okur. Flow hızı, hata oranı ve süreler snapshot statistics'ten gelir; ACE 12 ve 13 bunları varsayılan olarak 20 sn'de bir yayınlar. Tower yalnız dinler, accounting açmaz. Kullanıcı yalnız okuyabilen bir rol alır (read+:write-:execute-).

Dikkat

authorizationEnabled ile admin security açılınca diğer her admin kullanıcısının da bir rolü olmalıdır. Yeniden başlatmadan önce kendi admin kullanıcılarınıza rol verin (mqsiwebuseradmin ... -r <admin rolü>), yoksa web arayüzüne giremezsiniz.

  1. Integration node (admin portu 4414): rolü ve kullanıcıyı oluşturun, file-based admin security'yi açın ve node'u yeniden başlatın.
bash
ACE_NODE=BANKNODE
read -rsp 'New password for the user spitfire: ' SPITFIRE_PW; echo
mqsichangefileauth "$ACE_NODE" -r spitfire_ro -p read+,write-,execute- && mqsiwebuseradmin "$ACE_NODE" -c -u spitfire -a "$SPITFIRE_PW" -r spitfire_ro && mqsichangeauthmode "$ACE_NODE" -s active -m file && mqsistop "$ACE_NODE" && mqsistart "$ACE_NODE" && echo 'OK: spitfire_ro role and user'
  1. Bağımsız integration server (admin portu 7600): rolü server.conf.yaml'a ekleyin, kullanıcıyı work directory'de oluşturun ve server'ı yeniden başlatın.
bash
ACE_WORK=/home/aceuser/ace-server
read -rsp 'New password for the user spitfire: ' SPITFIRE_PW; echo
cat >> "$ACE_WORK/overrides/server.conf.yaml" <<'SPITFIRE_YAML'
RestAdminListener:
  basicAuth: true
  authorizationEnabled: true
  authorizationMode: file
Security:
  Permissions:
    spitfire_ro: 'read+:write-:execute-'
SPITFIRE_YAML
mqsiwebuseradmin -w "$ACE_WORK" -c -u spitfire -a "$SPITFIRE_PW" -r spitfire_ro && echo 'OK: spitfire_ro role and user'
  1. Tower'ın makinesinden API'yi ve snapshot statistics'in açık olduğunu kontrol edin (node için 4414, server için 7600). İkinci kontrol bir şey yazmıyorsa snapshot statistics bilerek kapatılmıştır: flow ve server durumu yine okunur, hız/hata/süre panelleri boş kalır ve statistics stream kapalı bulgusu bunu söyler. Spitfire bunları sizin yerinize açmaz.
bash
curl -fsS -u "spitfire:$SPITFIRE_PW" http://<ace-host>:7600/apiv2 | grep -q '"type":"integration' && echo 'OK: ACE admin API with the spitfire user'
curl -fsS -u "spitfire:$SPITFIRE_PW" http://<ace-host>:7600/apiv2/statistics/snapshot | grep -q '"publicationOn":"active"' && echo 'OK: snapshot statistics on'
  1. Spitfire → Altyapı izleme → IBM App Connect Enterprise.
    • Endpoint: http://ace-node-1.corp:4414 (node: tüm server'ları okunur) ya da http://ace-1.corp:7600.
    • Kullanıcı / parola: spitfire ve parolası.
  2. Bağlantıyı test et → Kaydet. Test statistics stream'ini de bir kez açar.

IBM DataPower Gateway

Tower 5554 portundaki REST management arayüzünden CPU, bellek, dosya sistemleri, TCP, domain başına down object'ler, servis başına (MPGW, WSP, XML firewall, API gateway) işlem hızı ve ortalama süre ile crypto sertifikalarının bitiş tarihini okur. Kullanıcı, access profile'ı her şeyi okuyan ve hiçbir şey yazmayan bir gruptadır (*/*/*?Access=r).

  1. Cihazın CLI'ında admin olarak (ssh <datapower>, default domain) REST arayüzünü açın, salt okunur grubu ve kullanıcıyı oluşturun (<password> yerine parolayı yazın).
text
configure terminal
rest-mgmt
  admin-state enabled
  port 5554
exit
usergroup spitfire-ro
  summary "Spitfire read-only"
  access-policy */*/*?Access=r
exit
user spitfire
  password <password>
  access-level group-defined
  group spitfire-ro
exit
write memory
  1. Cihaz yeni kullanıcılardan parola değişikliği istiyorsa WebGUI'ye bir kez spitfire olarak girin ve aşağıda yeni parolayı kullanın.

  2. Tower'ın makinesinden REST arayüzünü yeni kullanıcıyla kontrol edin.

bash
curl -fsS -k -u 'spitfire:<password>' https://<datapower>:5554/mgmt/status/default/CPUUsage | grep -q oneMinute && echo 'OK: DataPower REST with the spitfire user'
  1. Spitfire → Altyapı izleme → IBM DataPower Gateway.
    • Endpoint: https://dp-1.corp:5554 (cihaz başına bir tane; birden fazlası virgülle).
    • Kullanıcı / parola: spitfire ve parolası.
    • Domain'ler: tüm domain'ler için boş bırakın (en çok 20) ya da ör. default, BANK_PROD.
    • TLS sertifika doğrulamasını atla: cihaz kendi self-signed sertifikasını kullanıyorsa işaretleyin.
  2. Bağlantıyı test et → Kaydet.

Sertifika bitiş tarihleri 6 saatte bir okunur (sertifika başına bir action, en çok 200). Access profile ViewCertificateDetails'a izin vermiyorsa yalnız sertifika paneli boş kalır.

Kaldırma

Hızlı kurulum betikleri üründe hiçbir şey değiştirmez; kullanıcıyı ve rolü elle kurulum oluşturur. Her üründe önce kaynağı silin: Tüm entegrasyonlar Spitfire'da: /admin/integrations#observability → satırdaki çöp kutusu → Sil. Tower okumayı bırakır, toplanmış metrikler kalır. Varsayılan adları kullandık; başka ad seçtiyseniz onu yazın. Yarıda kalan bir çalıştırma ~/.spitfire-setup/<ürün>.state bırakabilir (rm -f ~/.spitfire-setup/was.state).

WebSphere Application Server (traditional)

  1. Deployment manager'ın makinesinde, WebSphere'in sahibi kullanıcıyla profili ve admin parolasını girin.
bash
WAS_PROFILE=/opt/IBM/WebSphere/AppServer/profiles/Dmgr01
WAS_ADMIN=wasadmin
read -rsp 'WebSphere admin password: ' WAS_ADMIN_PW; echo
[ -x "$WAS_PROFILE/bin/wsadmin.sh" ] && echo 'OK: wsadmin found'
  1. Geri alma betiğini kaydedin. Kullanıcıyı monitor rolünden çıkarır, file-based registry'den siler (LDAP'ta orada silin), perfServletApp'i kaldırır ve node'ları senkronize eder.
bash
cat > /tmp/spitfire-was-undo.py <<'SPITFIRE_PY'
import java
sep = java.lang.System.getProperty('line.separator')
try:
    AdminTask.removeUsersFromAdminRole(['-roleName', 'monitor', '-userids', 'spitfire'])
except:
    print 'monitor role: spitfire not in it'
for u in AdminTask.searchUsers(['-uid', 'spitfire']).split(sep):
    if u:
        AdminTask.deleteUser(['-uniqueName', u])
if 'perfServletApp' in AdminApp.list().split(sep):
    AdminApp.uninstall('perfServletApp')
AdminConfig.save()
for n in AdminControl.queryNames('type=NodeSync,*').split(sep):
    if n:
        AdminControl.invoke(n, 'sync')
for agm in AdminControl.queryNames('type=AuthorizationGroupManager,*').split(sep):
    if agm:
        AdminControl.invoke(agm, 'refreshAll')
print 'SPITFIRE-OK'
SPITFIRE_PY
echo 'OK: script saved'
  1. Çalıştırın. OK: spitfire and perfServletApp removed yazmalı.
bash
"$WAS_PROFILE/bin/wsadmin.sh" -lang jython -user "$WAS_ADMIN" -password "$WAS_ADMIN_PW" -f /tmp/spitfire-was-undo.py | grep -q SPITFIRE-OK && echo 'OK: spitfire and perfServletApp removed'; rm -f /tmp/spitfire-was-undo.py

PMI extended set'te kalır, zararsızdır. Geri almak için konsolda Monitoring and Tuning → Performance Monitoring Infrastructure (PMI) → server → Basic.

IBM App Connect Enterprise

  1. Integration node: kullanıcıyı silin. OK: spitfire removed yazmalı.
bash
ACE_NODE=BANKNODE
mqsiwebuseradmin "$ACE_NODE" -d -u spitfire && ! mqsiwebuseradmin "$ACE_NODE" -l | grep -qw spitfire && echo 'OK: spitfire removed'
  1. Bağımsız integration server: kullanıcıyı work directory'den silin. OK: spitfire removed yazmalı.
bash
ACE_WORK=/home/aceuser/ace-server
mqsiwebuseradmin -w "$ACE_WORK" -d -u spitfire && ! mqsiwebuseradmin -w "$ACE_WORK" -l | grep -qw spitfire && echo 'OK: spitfire removed'
  1. Yalnız admin security'yi Spitfire için açtıysanız: bağımsız server'da server.conf.yaml'a eklenen RestAdminListener ve Security bloğunu silin (komut önce server.conf.yaml.spitfire.bak yedeğini alır), sonra server'ı yeniden başlatın. Dosyada başka bir RestAdminListener: satırı varsa komut hiçbir şey yapmaz; bloğu elle silin. OK: block removed yazmalı.
bash
F=/home/aceuser/ace-server/overrides/server.conf.yaml; [ "$(grep -c '^RestAdminListener:' "$F")" = 1 ] && sed -i.spitfire.bak '/^RestAdminListener:$/,/^    spitfire_ro: /d' "$F" && ! grep -q spitfire_ro "$F" && echo 'OK: block removed'

Node'da aynısı: mqsichangeauthmode "$ACE_NODE" -s inactive -m file, sonra mqsistop "$ACE_NODE" && mqsistart "$ACE_NODE".

Node'daki spitfire_ro rolü kalır; kullanıcısı olmadığı için hiçbir şeye erişim vermez.

IBM DataPower Gateway

  1. Cihazın CLI'ında admin olarak (ssh <datapower>, default domain) kullanıcıyı ve grubu silin.
text
configure terminal
no user spitfire
no usergroup spitfire-ro
write memory
  1. Tower'ın makinesinden kullanıcının artık giremediğini kontrol edin. OK: spitfire can no longer sign in yazmalı.
bash
curl -sk -o /dev/null -w '%{http_code}' -u 'spitfire:<password>' https://<datapower>:5554/mgmt/status/default/CPUUsage | grep -qE '^40[13]$' && echo 'OK: spitfire can no longer sign in'

REST management arayüzünü yalnız Spitfire için açtıysanız kapatın: configure terminal, rest-mgmt, admin-state disabled, exit, write memory.

Bulgular

Paneller thread pool, JDBC pool, heap, flow hızı ve sertifika gibi verileri ürün başına gösterir. Bulgular ve eşikleri:

Bulgu Eşik Önem
WAS: PerfServlet yanıt vermiyor up = 0 kritik
WAS: application server down PMI verisi yok kritik
WAS: JDBC bağlantısı bekleyen thread > 0 kritik
WAS: hung thread > 0 kritik
WAS: JDBC pool / thread pool dolu > %95 uyarı
WAS: heap kullanımı > %90 uyarı
WAS: JDBC bağlantı fault'ları, transaction timeout arttı uyarı
ACE: yanıt vermiyor up = 0 kritik
ACE: integration server durmuş 0 kritik
ACE: message flow durmuş 0 uyarı
ACE: flow hata oranı > %5 (en az 10 mesaj) uyarı
ACE: yavaş flow mesaj başına > 1000 ms uyarı
ACE: heap kullanımı > %90 uyarı
ACE: statistics stream kapalı 0 bilgi
DataPower: yanıt vermiyor up = 0 kritik
DataPower: servis down (MPGW, WSP, …) > 0 kritik
DataPower: sertifikanın süresi doldu < 0 gün kritik
DataPower: object down enabled ama down uyarı
DataPower: sertifikanın süresi doluyor < 30 gün uyarı
DataPower: CPU / bellek / dosya sistemi > %90 uyarı

Yük testinde biz önce "JDBC bağlantısı bekleyen thread" bulgusuna bakıyoruz: thread'ler bağlantı bekliyorsa darboğaz uygulama kodunda değil, data source'un pool boyutundadır.