Yeni sürüm daha mı yavaş? Canlıya çıkmadan öğrenin.
Eski sürümün çalıştığı ortamla yeni sürümün çalıştığı ortama aynı testi, aynı yükle, aynı anda uygulayın. Her runner yükü iki tarafa eşit böler, böylece ağ ve zaman farkı sonucu bozmaz. Koşu sonunda Spitfire adım adım farkı gösterir ve net söyler: daha iyi, fark yok ya da daha kötü.
Ne zaman kullanılır
Sürüm öncesi kontrol
Yeni sürüm canlıya çıkmadan önce eski sürümle aynı yük altında yan yana koşar.
Altyapı değişikliği
Yeni veritabanı sürümü ya da yeni sunucu tipi: eski ve yeni altyapı aynı testle karşılaştırılır.
Kütüphane ya da framework yükseltmesi
Framework, ORM ya da runtime sürümü değişince performansın nereye gittiğini görün.
Yapılandırma değişikliği
Connection pool boyutu ya da cache ayarı: değişikliğin etkisini tahmin etmek yerine ölçün.
Nasıl çalışır
- ADIM 1
Ortamları seçin
Testin Ortamlar sekmesindeki ortamlardan eski sürümün çalıştığını A, yeninin çalıştığını B seçin; sürüm etiketlerini yazın.
- ADIM 2
Eşdeğerlik kontrolü
Spitfire iki ortamı karşılaştırır, fark görürse uyarır; onaylayarak ya da düzelterek devam edersiniz.
- ADIM 3
Aynı anda koşu
Aynı test iki ortama aynı anda, aynı yükle uygulanır; canlı ekranda iki kol yan yana.
- ADIM 4
Karar
Koşu sonunda adım adım fark tablosu, her farkın güven aralığı ve karar: daha iyi, fark yok, daha kötü ya da ölçüm henüz net değilse belirsiz.
Elma ile elma
Karşılaştırma ancak iki taraf aynı koşullarda ölçülürse anlamlıdır.
Eşit yük dağıtımı
Her runner sanal kullanıcılarını iki kola eşit böler; runner'daki yavaşlama (CPU, ağ, GC) iki kolu aynı oranda etkiler. Basamak geçişleri iki kolda aynı anda olur, lokasyon dağılımı aynıdır.
Ön kontrol
Başlamadan önce iki ortama hafif bir sağlık isteği gider: yanıt süresi, runner'dan ağ gecikmesi, TLS ve HTTP sürümü karşılaştırılır; belirgin fark varsa uyarır.
Paylaşılan altyapı uyarısı
İki ortam aynı veritabanını ya da cache'i gösteriyorsa (aynı host:port) ya da siz öyle işaretlediyseniz uyarır: iki kol aynı kaynak için yarışır, fark gizlenebilir.
A/A kalibrasyonu
İki ortamda aynı sürüm çalışırken kısa bir kalibrasyon koşusu ortamların kendi farkını ölçer; sonraki karşılaştırmalarda bu fark sonuçtan ayrı gösterilir.
Sürüm endpoint'i
Ortama bir sürüm adresi verirseniz (ör. GET /version) koşu başında iki kolun sürümü okunup kayda yazılır; ikisi aynı sürümü söylerse uyarır.
Tek ortamınız mı var?
Sıralı modda iki sürüm aynı ortamda dönüşümlü koşturulur: A, B, A, B (varsayılan 2 tur, her tur aynı süre). Sürümü siz değiştirirsiniz; Spitfire turlar arasında bekler ve run.switch_needed webhook'uyla haber verir; arayüzden, CLI'dan ya da API çağrısıyla onaylarsınız, sürüm endpoint'i tanımlıysa geçişi kendisi görür. Dönüşümlü sıra cache ısınması, gün içi trafik gibi zamana bağlı etkileri iki sürüme dağıtır; karar kartında 'sıralı karşılaştırma' yazar ve belirsizlik bandı daha geniştir.
CI'da sürüm kapısı
Pipeline'da spitfire cloud run komutuna --compare verin. Yeni sürüm daha kötüyse adım 98 koduyla çıkar ve dağıtım durur.
GitHub Actions
- name: Spitfire sürüm karşılaştırma
run: spitfire cloud run "Ödeme akışı" --compare A=test,B=dev --label-a v2.3 --label-b $GITHUB_SHA
env:
SPITFIRE_URL: https://spitfire.example.com
SPITFIRE_TOKEN: ${{ secrets.SPITFIRE_TOKEN }}GitLab CI
surum-karsilastirma:
script:
- spitfire cloud run "Ödeme akışı" --compare A=test,B=dev --label-a v2.3 --label-b $CI_COMMIT_SHORT_SHA
# SPITFIRE_URL, SPITFIRE_TOKEN: Settings → CI/CD → Variables (token masked)| Çıkış kodu | Anlamı |
|---|---|
0 | Daha iyi ya da fark yok. "Belirsiz" de 0 ile çıkar; --fail-on-inconclusive ile 98. |
98 | Karşılaştırma sonucu daha kötü. |
97 | Karşılaştırma geçersiz: bir kol düştü ya da --strict verildiyse eşdeğerlik kontrolü başarısız. |
99 | Eşik kırıldı (bugünkü gibi, k6 uyumlu). |
Sonuçları nasıl okursunuz
Karşılaştırma adım adımdır: her adım için iki kolun p50, p95, p99 değerleri, hata oranı ve istek/sn'si yan yana, farkıyla birlikte. Isınma süresi karşılaştırmanın dışında kalır.
Her farkın yanında bir güven aralığı durur. +%26 (±%4) demek, gerçek farkın büyük olasılıkla %22 ile %30 arasında olduğu demektir.
Aralığın tamamı kabul edilebilir eşiğin üzerindeyse adım daha kötü, tamamı iyileşme yönünde eşiğin ötesindeyse daha iyi, tamamı eşiğin içindeyse fark yok. Aralık eşiği kesiyorsa sonuç belirsizdir: ölçüm henüz karar verecek kadar net değil, daha uzun bir koşu önerilir.
Herhangi bir adım daha kötüyse genel karar daha kötüdür. Spitfire farkı ve rakamı söyler; görmediği bir iç nedeni iddia etmez.
Hiçbir adım karar verecek kadar net değilse genel karar belirsizdir; belirsiz adımlar karar kartında ayrıca sayılır. Gecikme farklarının aralığı bootstrap ile (2.000 yeniden örnekleme), hata oranı farkınınki iki oran testiyle hesaplanır; güven düzeyini (%90, %95, %99) koşuyu başlatırken seçersiniz.
Hangi planlarda
| Plan | Sürüm karşılaştırma | CI'dan ve zamanlanmış |
|---|---|---|
| Ücretsiz | ayda 1 | — |
| Starter yıllık | ✓ | — |
| Starter 1 ay (tek seferlik) | ✓ | — |
| Growth yıllık | ✓ | ✓ |
| Growth aylık | ✓ | — |
| Growth 1 ay (tek seferlik) | ✓ | — |
| Scale yıllık | ✓ | ✓ |
| Scale aylık | ✓ | — |
| Scale 1 ay (tek seferlik) | ✓ | — |
| Enterprise yıllık | ✓ | ✓ |
Karşılaştırmalı koşuda sanal kullanıcı ve istek/sn sınırları iki kolun toplamına uygulanır: her kol sınırın yarısını kullanır. Runner'lar iki kol arasında paylaşılır.
Sık sorulanlar
Yeni sürümün eski sürümden yavaş olup olmadığını nasıl anlarım?
İki ortamım birebir aynı değil; sonuç yine de güvenilir mi?
Neden iki koşuyu ayrı ayrı yapıp karşılaştırmıyoruz?
Tek bir test ortamım var, yine de kullanabilir miyim?
CI'da yeni sürüm yavaşsa dağıtımı durdurabilir miyim?
spitfire cloud run komutuna --compare verin; yeni sürüm daha kötüyse adım 98 koduyla çıkar ve dağıtım durur.

