Koşu ve sonuçlar

Bir testi kaydettikten sonra onu koşturursunuz: Spitfire testi seçilen runner'lara gönderir, yükü uygular ve sonuçları saniye saniye gösterir. Bu sayfa koşu başlatmayı, canlı izlemeyi, koşuyu durdurmayı, biten koşunun sonuçlarını okumayı, geçmiş koşularla ve baseline ile karşılaştırmayı, HTML/PDF raporu ve share link'i ve koşuların ne kadar süre saklandığını anlatır.

#Ne işe yarar

• Çalıştır penceresi yükün hangi runner'lardan ya da lokasyonlardan geleceğini, hangi ortama karşı ve hangi ölçekte koşulacağını seçmenizi sağlar; test değişmez.
• Koşu sayfası koşu sürerken canlı, bittikten sonra kalıcı olarak RPS, p95/p99 latency, error rate, check'ler, threshold'lar, step bazlı tablo, hata örnekleri ve Bulgular'ı gösterir.
• Baseline ve Karşılaştır bir koşunun öncekilere göre iyileşip kötüleştiğini gösterir.
• Rapor menüsü koşuyu hesabı olmayan birine gönderilebilecek bir HTML/PDF rapora ya da CSV'ye çevirir.

#Ne zaman kullanılır

• Yeni ya da değişmiş bir testi ilk kez koşturduğunuzda.
• Bir sürümden sonra performansın geriledi mi diye baseline ile karşılaştırırken.
• Sonuçları ekip dışındaki birine (yönetici, müşteri, tedarikçi) gösterirken.

#Koşu başlatmak

Koşu, testin sayfasından başlatılır (editörde Kaydet koşu başlatmaz).

1. Testler'den testi açın.
2. Sağ üstteki Çalıştır'a tıklayın. Testi çalıştır penceresi açılır. (Düğmenin yanındaki oktan Karşılaştırmalı koşu ve Kalibre et (A/A) da başlatılabilir.)
3. Pencerenin üstünü okuyun: "Yük seçilen runner'lara bölünür; VU sayıları ve istek hızları toplamda tanımdakiyle birebir aynı kalır. Şu an N runner boşta." Ücretsiz sürümde lisans limitleri de burada yazar.
4. Runner'ların nasıl seçileceğini dört düğmeden biriyle belirleyin:
   • Sayıyla (varsayılan): Runner sayısı kadar boştaki runner kullanılır. Kubernetes'te isteğe bağlı runner açılabiliyorsa pencere kaç pod açılacağını ve önerilen sayıyı yazar.
   • Lokasyonla: her Lokasyon için Pay (yüzde) ve Runner sayısı. Toplam %100 olmalı ("Toplam %100"); Eşit dağıt payları eşitler. Son dağılım testte hatırlanır.
   • Etiketle: Etiketler alanına yazdığınız zone=a,region=eu gibi etiketleri taşıyan runner'lar.
   • Seçerek: listeden tek tek runner seçimi.
5. Test veri değiştiriyorsa kırmızı bir kutu çıkar ("Bu test veriyi değiştiriyor…") ve başlatmak için Bu testin gerçek veriyi değiştireceğini biliyorum, başlat kutusunu işaretlemeniz gerekir. Mobil uygulama kuruluysa Ya da telefonumdan onaylayayım ile onayı telefondan (biyometrik doğrulamayla) verebilirsiniz.
6. Ortam ve ölçek bölümünde ("Test değişmez; bu farklar yalnız bu koşuya uygulanır ve koşuda görünür."):
   • Ortam: Testteki gibi ya da testin Ortamlar sekmesinde tanımlı bir ortam.
   • Yük ölçeği: yüzde. "VU, hız ve aşama hedefleri %N ile çarpılır." %1 ile %10000 arası. İlk koşuda %10–25 ile başlamak iyi bir alışkanlıktır.
   • Değişkenleri bu koşu için değiştir: açılınca testin variable'ları listelenir; yalnız bu koşu için değer verebilirsiniz. "Boş bırakılan değişken ortamdaki (yoksa testteki) değeriyle kalır."
7. Kapasite ölçmek istiyorsanız Kırılma noktasını bul (kapasite testi)'ni işaretleyin (bkz. Kırılma noktasını bulmak).
8. İsterseniz Not (isteğe bağlı) alanına bir not yazın (ör. "v2.3 sürümü, cache açık"). Not koşu listesinde ve karşılaştırmalarda görünür.
9. Başlat'a tıklayın. Koşu sayfası açılır.

Testi çalıştır penceresi

Ortam ve ölçek: koşu başına variable değiştirmek

Koşu başlatılamazsa pencerede nedeni yazar:

#Canlı izlemek

Koşu sayfası açıldığında başlığın yanında yanıp sönen bir canlı işareti görünür. En üstteki ilerleme çubuğu koşunun aşamalarını gösterir:

1. Hazırlık: "N runner'a senaryo gönderiliyor, bağlantılar hazırlanıyor…"
2. Geri sayım: "Tüm runner'lar hazır, aynı anda başlıyor:" ve saniye sayacı.
3. Yük uygulanıyor: kalan süre, her scenario'nun o anki hedefi ("hedef 50 VU", "hedef 100 iter/s") ve yükün yönü (Yük artıyor, Yük azalıyor, Yük sabit).
4. Sonuçlar: "Test bitti, sonuçlar kaydediliyor…"

Tarayıcı sekmesinin başlığında da ilerleme yüzdesi yazar, böylece başka sekmede çalışırken takip edebilirsiniz.

Altında koşu boyunca saniyede bir güncellenen kutucuklar ve grafikler vardır:

Grafikler: İstek hızı (req/s), Aktif sanal kullanıcı, Yanıt süresi (p50, p90, p95 ve p99 çizgileri; yanıt süresi threshold'u varsa kesikli bir eşik çizgisi) ve Hata oranı. Her grafik Grafik görünümü ile Tablo görünümü arasında değiştirilebilir.

Canlı koşu: ilerleme, kutucuklar ve grafikler

Canlı akış koparsa "Canlı akış koptu, yeniden bağlanıyor…" yazar; koşu runner'larda sürer, sayfa kendiliğinden yeniden bağlanır.

#Koşuyu durdurmak

Koşu sürerken başlıkta iki düğme vardır:

• Durdur: "Yeni iterasyon başlamaz; süren iterasyonlar gracefulStop süresi içinde tamamlanır." Normalde bunu kullanın; sonuçlar eksiksiz kaydedilir.
• Hemen kes: "Süren istekler iptal edilir. Son saniyenin verisi eksik kalabilir." Hedef sistem zarar görüyorsa ve beklemeye vakit yoksa.

Adım adım:

1. Durdur'a tıklayın.
2. Koşuyu durdur penceresinde yeniden Durdur'a tıklayın.
3. İlerleme çubuğunda "Durduruluyor: süren iterasyonlar tamamlanıyor…" yazar; birkaç saniye ile Durdurmada bekleme (gracefulStop) süresi arasında koşu biter.

Koşu kendiliğinden de durabilir: Aşılınca durdur işaretli bir threshold aşılırsa (threshold'un yanında "koşuyu durdurdu" yazar) ya da bir runner koparsa (testin Runner kaybında ayarı Koşuyu durdur ise). Durma nedeni sayfanın üstünde bir kutuda yazar.

Koşu durumları:

Koşunun sonucu ayrıca Geçti, Eşik aşıldı ya da Hata olarak gösterilir.

#Sonuçları okumak

Biten bir koşunun sayfası aynı kutucukları ve grafikleri bütün koşu için gösterir; altında ayrıntı kartları vardır. Önerilen okuma sırası:

1. Üstteki kutular: kırmızı "N eşik aşıldı:" kutusu hangi threshold'ların aşıldığını listeler (ör. req_duration {adım: Sipariş oluştur} p(95)<800). Koşu bir nedenle durduysa nedeni de burada yazar.
2. Kutucuklar: p95, error rate ve İterasyon kutucuğundaki "N düştü" uyarısı. İteration düştüyse yük hedefe ulaşmamıştır; diğer rakamları buna göre yorumlayın.
3. Bulgular kartı: koşunun kendi rakamlarından çıkan ve nereye bakılacağını söyleyen maddeler (aşağıda).
4. Grafikler: p95 hangi anda yükseldi? O anda VU sayısı ya da RPS ne idi?
5. Adımlar tablosu: hangi step yavaş ya da hatalı?
6. Check'ler ve Eşikler kartları.
7. Hatalı yanıt örnekleri: hatanın kendisi (status, response body).
8. Runner'lar ve Olay günlüğü: koşu sırasında ne oldu?

Biten koşunun sayfası

#p95 mi ortalama mı

Kullanıcının yaşadığı gecikmeyi p95 ve p99 gösterir: p95 = 500 ms, request'lerin %95'inin 500 ms ya da daha kısa sürede, %5'inin daha uzun sürede yanıtlandığı demektir. Ortalama (ort.) birkaç çok yavaş request'i binlerce hızlı request'in arasında gizler; ortalama 120 ms iken p99 3 saniye olabilir. Kararlarınızı p95/p99'a göre verin; p99 ile p95 arasındaki büyük fark "uzun bir gecikme kuyruğu" işaretidir.

#Adımlar tablosu

Adımlar kartında her step için bir satır vardır: Senaryo, Adım, İstek, RPS, ort., p50, p95, p99, max ve Hata (yüzde).

• Kırmızı satır ve çarpı simgesi: "Eşik aşıldı veya hata ≥ %5".
• Sarı satır ve uyarı simgesi: "Hatalı istek var".
• En yavaş step'i p95 sütunundan bulun; Bulgular bunu da ayrıca yazar.

Adımlar tablosu

#Bulgular

Bulgular kartı yalnız koşu bittikten sonra görünür: "Bu koşunun kendi ölçümlerinden. Spitfire sistemin içini görmez: nedeni değil, nereye bakılacağını söyler." Örnek maddeler: en yavaş step ve bir sonrakine oranı; hata türleri (5xx, 429 rate limit, diğer 4xx, zaman aşımı, reddedilen bağlantı, DNS/TLS); yük arttığı halde RPS'in artmadığı doyma noktası; başlayamayan iteration'lar; lokasyon farkı; başarısız check'ler; baseline'a göre gerileme. Her madde, rakamları ve "Nereye bakmalı:" önerisiyle gelir. Belirgin bir şey yoksa "Belirgin bir bulgu yok: rakamlar sınırların içinde."

Bulgular kartı

#Hata dağılımı ve hatalı yanıt örnekleri

Hata oranını parçalarına ayırmak için:

1. Adımlar tablosunda Hata sütunu hangi step'in hata verdiğini gösterir.
2. Bulgular hata türlerini ayırır: sunucu hataları (5xx, kodlarıyla), rate limit (429), istemci hataları (4xx: yetki, olmayan kayıt, eksik alan), zaman aşımı, reddedilen/kesilen bağlantı, DNS ya da TLS hatası.
3. Hatalı yanıt örnekleri kartı birkaç başarısız request'i saklar ("adım ve sonuç başına en çok 3; response body'nin ilk 2 KB'ı"): hedef adres, durum ya da hata, Başarısız kontroller, Response header'ları ve Response body. "500" böylece sunucunun ne dediğiyle birlikte gelir. Bu özellik testte kapatılabilir (Seçenekler → Hatalı yanıt örnekleri → Kapalı).

Hatalı yanıt örnekleri kartı

#Zaman çizelgesi

Grafiklerin yatay ekseni koşunun saniyeleridir. Bir sorunu zamana bağlamak için:

1. Yanıt süresi grafiğinde p95'in yükseldiği anı bulun.
2. Aynı andaki Aktif sanal kullanıcı ve İstek hızı (req/s) değerine bakın: VU artarken RPS artmıyor ve p95 yükseliyorsa sistem doymuştur.
3. Hata oranı grafiğinde hataların aynı anda başlayıp başlamadığına bakın.
4. Observability bağlantısı varsa Kaynak metriklerini grafiklerde göster ile sistemin CPU gibi kaynak serilerini aynı grafiklere ekleyin (kesikli çizgi, sağ eksen) ya da Backend sekmesine geçin.
5. Olay günlüğü kartı koşu sırasındaki olayları (runner bağlantısı, durdurma…) zamanıyla listeler.

#Lokasyon başına sonuçlar

Koşu birden çok lokasyondan yapıldıysa Lokasyonlar kartı her lokasyon için Pay, İstek, RPS, ort., p95, p99 ve Hata gösterir; yanındaki Lokasyon başına p95 grafiği lokasyonları zaman içinde karşılaştırır. Bir lokasyon diğerlerinden belirgin yavaşsa sorun büyük olasılıkla o lokasyonla hedef arasındaki ağdadır. Lokasyon için ayrı threshold tanımlanabilir (bkz. Kapsam ve filtreler).

#Check ve threshold kartları

• Check'ler: her check için step adı, check adı, başarı yüzdesi ve başarısız sayısı ("(12 ✗)").
• Eşikler: her threshold'un metriği, filtresi, ifadesi, ölçülen değeri ve sonucu. Aşılınca durdur işaretliyse "durdurur", koşuyu durdurduysa "koşuyu durdurdu" rozeti; ölçecek veri yoksa "veri yok".

Koşu sayfasında Eşikler kartı

Sayfanın en altındaki not alanına ("Bu koşu hakkında not") koşuyla ilgili bir açıklama yazıp Kaydet diyebilirsiniz.

#Geçmiş koşularla karşılaştırmak

#Baseline belirlemek

Baseline, bir testin "iyi bilinen" referans koşusudur. Karşılaştırmalar ve bulgular ona göre yapılır.

1. Referans almak istediğiniz biten koşunun sayfasını açın.
2. Başlıktaki Baseline yap'a tıklayın. Başlıkta baseline rozeti çıkar ve test sayfasında "Baseline: koşuya git" yazar.
3. Kaldırmak için aynı yerde Baseline'ı kaldır.

Baseline koşuları veri saklama ayarlarıyla silinmez.

#Baseline ile karşılaştırmak

1. Yeni koşunun sayfasında Baseline ile karşılaştır'a tıklayın (test bir baseline'a sahipse ve bu koşu baseline değilse görünür).
2. Karşılaştırma sayfası açılır: koşular tablosu, p95, istek hızı, hata oranı ve aktif VU grafikleri üst üste, altında Metrikler tablosu.
3. Renkler testin Karşılaştırma toleransı'na göredir (editör → Genel ve değişkenler; varsayılan Dikkat (%) 5, Gerileme (%) 15): baseline'a göre değişim %5'e kadar iyi, %15'e kadar dikkat, üstü gerileme. Oranlar (hata, check) yüzde puanla değerlendirilir; 1 ms'den küçük süre farkları gürültü sayılır.
4. Genel / Adımlar ile kapsamı değiştirin; Yalnız sorunlular yalnız dikkat ve gerileme satırlarını gösterir.

Karşılaştırma sayfası

#Birden çok koşuyu karşılaştırmak

• Test sayfasından: koşular tablosunda karşılaştırmak istediğiniz koşuları işaretleyin ve Seçilenleri karşılaştır'a tıklayın.
• Koşular sayfasından: satırlardaki Karşılaştırmaya ekle ile koşuları seçin ve üstteki Karşılaştır (N)'e tıklayın. "İlk seçilen baseline olur."
• Karşılaştır menüsünden: bir test seçin ve 2–6 koşu işaretleyin.

Test sayfasındaki p95 trendi (son koşular) ve Hata oranı trendi grafikleri son koşuların gidişatını tek bakışta gösterir.

#Koşular sayfası

Sol menüdeki Koşular bütün testlerin koşularını listeler: Başlangıç, Test, Süre, İstek, Hata, Check, Not ve durum. Üstteki düğmelerle Çalışan, Biten, Durdurulan ya da Başarısız koşuları süzebilirsiniz. Bir satıra tıklamak koşu sayfasını açar.

Koşular sayfası

#Raporlar ve share link

Koşu sayfasındaki Rapor menüsü:

Rapor Türkçe ya da İngilizce üretilebilir.

Rapor menüsü

Share link oluşturmak:

1. Rapor → Paylaşım bağlantısı…'na tıklayın. Raporu paylaş penceresi açılır: "Bağlantıyı alan herkes, giriş yapmadan bu koşunun raporunu (HTML ve PDF) görür; süresi dolunca ya da iptal edince çalışmaz. Her görüntüleme denetim kaydına yazılır."
2. Geçerlilik: 1, 7, 30 ya da 90 gün.
3. Dil: raporun dili.
4. Bağlantı oluştur'a tıklayın.
5. "Bağlantı yalnız şimdi gösteriliyor; kopyalayın." Bağlantıyı hemen kopyalayın; pencere kapandıktan sonra yeniden gösterilmez (gerekirse yenisini oluşturun).
6. Bağlantılar listesinde her bağlantının Oluşturuldu, Oluşturan, Bitiş ve Görüntülenme bilgisi vardır. Erişimi kesmek için İptal et.

Raporu paylaş penceresi

#Yeniden koşturmak

Ayrı bir "yeniden koştur" düğmesi yoktur; aynı testi yeniden koşturmak için:

1. Koşu sayfasının başlığındaki test adına ya da Testler'den teste gidin.
2. Çalıştır'a tıklayın. Lokasyonla modundaki son dağılım hatırlanır; ortam, ölçek ve variable'ları yeniden seçin.
3. Önceki koşuyla karşılaştırmak için önceki koşuyu baseline yapın ya da iki koşuyu Karşılaştır ile açın.

Düzenli tekrarlar için test sayfasındaki Zamanla (zamanlanmış koşular), pipeline'dan koşturmak için CI düğmesi (CI'da koştur) kullanılır; CI'da eşik aşılırsa çıkış kodu 99'dur.

#Koşuların saklanması

Koşu verisi iki katmanda saklanır:

• Saniyelik veri ve günlükler: grafiklerin saniyelik noktaları, koşu günlükleri ve hatalı yanıt örnekleri. Süresi dolunca silinir; koşunun özeti (kutucuklar, step tablosu, threshold sonuçları) kalır. Ücretsiz sürümde 7 gün; kurulum varsayılanı 90 gün; lisans daha kısa tutabilir.
• Koşular: süresi dolan biten koşular özetleri, raporları ve paylaşım bağlantılarıyla birlikte silinir. Bu süre boş (0) bırakılırsa koşular sonsuza kadar saklanır.

Bu süreler admin tarafından Lisans sayfasındaki Veri saklama kartında ayarlanır. "Eski veriler her gün bir kez silinir. Testlerin referans koşuları ve süren koşular hiç silinmez." Kaydetmeden önce kaç koşunun silineceği gösterilir.

Bir koşuyu elle silmek için koşu sayfasındaki çöp kutusu simgesi: "Bu koşunun tüm metrikleri kalıcı olarak silinir."

#Sık karşılaşılan sorunlar

#İlgili sayfalar

• Test editörü: testi değiştirmek, Dene ile tek iterasyon.
• Yük modeli: yük modelleri, threshold'lar, kırılma noktası.
• Veri: koşu başına variable ve data dosyaları.
• Koşular Spitfire'da: /runs · Karşılaştır Spitfire'da: /compare · Testler Spitfire'da: /tests