SpitfireYük Testi ve APMYenilikler
Sürüm karşılaştırmaaynı anda

Yeni sürüm daha mı yavaş? Canlıya çıkmadan öğrenin.

Eski sürümün çalıştığı ortamla yeni sürümün çalıştığı ortama aynı testi, aynı yükle, aynı anda uygulayın. Her runner yükü iki tarafa eşit böler, böylece ağ ve zaman farkı sonucu bozmaz. Koşu sonunda Spitfire adım adım farkı gösterir ve net söyler: daha iyi, fark yok ya da daha kötü.

spitfire.local/comparisons/…
Spitfire: biten bir karşılaştırmalı koşu. Karar: daha kötü; checkout p95 219 ms'den 268 ms'ye (+%22, %95 güven aralığı ±%2,4), search 150 ms'den 130 ms'ye (−%13, ±%1,7). Altında iki sürümün istek hızı ve p95 grafikleri.
Biten bir karşılaştırmalı koşu: karar kartı, güven aralıklarıyla en büyük farklar ve iki sürümün grafikleri. Gerçek ekran görüntüsü.

Ne zaman kullanılır

Sürüm öncesi kontrol

Yeni sürüm canlıya çıkmadan önce eski sürümle aynı yük altında yan yana koşar.

Altyapı değişikliği

Yeni veritabanı sürümü ya da yeni sunucu tipi: eski ve yeni altyapı aynı testle karşılaştırılır.

Kütüphane ya da framework yükseltmesi

Framework, ORM ya da runtime sürümü değişince performansın nereye gittiğini görün.

Yapılandırma değişikliği

Connection pool boyutu ya da cache ayarı: değişikliğin etkisini tahmin etmek yerine ölçün.

Nasıl çalışır

  1. ADIM 1

    Ortamları seçin

    Testin Ortamlar sekmesindeki ortamlardan eski sürümün çalıştığını A, yeninin çalıştığını B seçin; sürüm etiketlerini yazın.

  2. ADIM 2

    Eşdeğerlik kontrolü

    Spitfire iki ortamı karşılaştırır, fark görürse uyarır; onaylayarak ya da düzelterek devam edersiniz.

  3. ADIM 3

    Aynı anda koşu

    Aynı test iki ortama aynı anda, aynı yükle uygulanır; canlı ekranda iki kol yan yana.

  4. ADIM 4

    Karar

    Koşu sonunda adım adım fark tablosu, her farkın güven aralığı ve karar: daha iyi, fark yok, daha kötü ya da ölçüm henüz net değilse belirsiz.

spitfire.local/comparisons/…
Spitfire: koşu sürerken karşılaştırma ekranı; istek hızı ve p95 grafiklerinde v2.3 · test ve v2.4 · dev serileri yan yana doluyor.
Koşu sürerken: her grafikte iki sürümün serisi yan yana dolar. Gerçek ekran görüntüsü.
spitfire.local/comparisons/…
Spitfire: adım bazlı fark tablosu (p50, p95, p99, hata, istek/sn, her farkın güven aralığı ve adım kararı) ve yükün her basamağı için ayrı karşılaştırma.
Koşu bitince: adım bazlı fark tablosu ve yükün her basamağı için ayrı karşılaştırma. Gerçek ekran görüntüsü.

Elma ile elma

Karşılaştırma ancak iki taraf aynı koşullarda ölçülürse anlamlıdır.

Eşit yük dağıtımı

Her runner sanal kullanıcılarını iki kola eşit böler; runner'daki yavaşlama (CPU, ağ, GC) iki kolu aynı oranda etkiler. Basamak geçişleri iki kolda aynı anda olur, lokasyon dağılımı aynıdır.

Ön kontrol

Başlamadan önce iki ortama hafif bir sağlık isteği gider: yanıt süresi, runner'dan ağ gecikmesi, TLS ve HTTP sürümü karşılaştırılır; belirgin fark varsa uyarır.

Paylaşılan altyapı uyarısı

İki ortam aynı veritabanını ya da cache'i gösteriyorsa (aynı host:port) ya da siz öyle işaretlediyseniz uyarır: iki kol aynı kaynak için yarışır, fark gizlenebilir.

A/A kalibrasyonu

İki ortamda aynı sürüm çalışırken kısa bir kalibrasyon koşusu ortamların kendi farkını ölçer; sonraki karşılaştırmalarda bu fark sonuçtan ayrı gösterilir.

Sürüm endpoint'i

Ortama bir sürüm adresi verirseniz (ör. GET /version) koşu başında iki kolun sürümü okunup kayda yazılır; ikisi aynı sürümü söylerse uyarır.

Tek ortamınız mı var?

Sıralı modda iki sürüm aynı ortamda dönüşümlü koşturulur: A, B, A, B (varsayılan 2 tur, her tur aynı süre). Sürümü siz değiştirirsiniz; Spitfire turlar arasında bekler ve run.switch_needed webhook'uyla haber verir; arayüzden, CLI'dan ya da API çağrısıyla onaylarsınız, sürüm endpoint'i tanımlıysa geçişi kendisi görür. Dönüşümlü sıra cache ısınması, gün içi trafik gibi zamana bağlı etkileri iki sürüme dağıtır; karar kartında 'sıralı karşılaştırma' yazar ve belirsizlik bandı daha geniştir.

CI'da sürüm kapısı

Pipeline'da spitfire cloud run komutuna --compare verin. Yeni sürüm daha kötüyse adım 98 koduyla çıkar ve dağıtım durur.

GitHub Actions

- name: Spitfire sürüm karşılaştırma
  run: spitfire cloud run "Ödeme akışı" --compare A=test,B=dev --label-a v2.3 --label-b $GITHUB_SHA
  env:
    SPITFIRE_URL: https://spitfire.example.com
    SPITFIRE_TOKEN: ${{ secrets.SPITFIRE_TOKEN }}

GitLab CI

surum-karsilastirma:
  script:
    - spitfire cloud run "Ödeme akışı" --compare A=test,B=dev --label-a v2.3 --label-b $CI_COMMIT_SHORT_SHA
  # SPITFIRE_URL, SPITFIRE_TOKEN: Settings → CI/CD → Variables (token masked)
Çıkış koduAnlamı
0Daha iyi ya da fark yok. "Belirsiz" de 0 ile çıkar; --fail-on-inconclusive ile 98.
98Karşılaştırma sonucu daha kötü.
97Karşılaştırma geçersiz: bir kol düştü ya da --strict verildiyse eşdeğerlik kontrolü başarısız.
99Eşik kırıldı (bugünkü gibi, k6 uyumlu).

Sonuçları nasıl okursunuz

Hangi planlarda

PlanSürüm karşılaştırmaCI'dan ve zamanlanmış
Ücretsizayda 1—
Starter yıllık✓—
Starter 1 ay (tek seferlik)✓—
Growth yıllık✓✓
Growth aylık✓—
Growth 1 ay (tek seferlik)✓—
Scale yıllık✓✓
Scale aylık✓—
Scale 1 ay (tek seferlik)✓—
Enterprise yıllık✓✓

Karşılaştırmalı koşuda sanal kullanıcı ve istek/sn sınırları iki kolun toplamına uygulanır: her kol sınırın yarısını kullanır. Runner'lar iki kol arasında paylaşılır.

Sık sorulanlar

Yeni sürümün eski sürümden yavaş olup olmadığını nasıl anlarım?
Karşılaştırmalı koşu ile. Eski sürümün çalıştığı ortamı A, yeni sürümün çalıştığı ortamı B seçin. Spitfire iki ortama aynı testi aynı anda uygular; her runner yükü iki tarafa eşit böler. Sonuçta her adım için fark ve karar görünür: daha iyi, fark yok ya da daha kötü.
İki ortamım birebir aynı değil; sonuç yine de güvenilir mi?
Başlamadan önce Spitfire iki ortamı karşılaştırır ve fark görürse uyarır. Ortamların kendi farkını ölçmek için iki ortamda aynı sürüm çalışırken bir kalibrasyon koşusu yapın; sonraki karşılaştırmalarda bu fark sonuçtan ayrı gösterilir.
Neden iki koşuyu ayrı ayrı yapıp karşılaştırmıyoruz?
Farklı zamanlarda yapılan iki koşu arasında ağ, cache ve paylaşılan altyapının yükü değişebilir. Aynı anda koşturmak bu dış etkenleri iki tarafa eşit dağıtır; geriye gerçekten sürümden gelen fark kalır.
Tek bir test ortamım var, yine de kullanabilir miyim?
Evet. Sıralı modda iki sürüm aynı ortamda dönüşümlü koşturulur (A, B, A, B); siz sürümü değiştirdikçe Spitfire bir sonraki tura geçer.
CI'da yeni sürüm yavaşsa dağıtımı durdurabilir miyim?
Evet. spitfire cloud run komutuna --compare verin; yeni sürüm daha kötüyse adım 98 koduyla çıkar ve dağıtım durur.