Spitfire
Sürüm karşılaştırmaaynı andaÖnizleme

Yeni sürüm daha mı yavaş? Canlıya çıkmadan öğrenin.

Eski sürümün çalıştığı ortamla yeni sürümün çalıştığı ortama aynı testi, aynı yükle, aynı anda uygulayın. Her runner yükü iki tarafa eşit böler, böylece ağ ve zaman farkı sonucu bozmaz. Koşu sonunda Spitfire adım adım farkı gösterir ve net söyler: daha iyi, fark yok ya da daha kötü.

Sürüm karşılaştırma önizlemede: çalışıyor, ayrıntıları değişebilir.

spitfire.local/comparisons/…
Spitfire: biten bir karşılaştırmalı koşu. Karar: daha kötü; checkout p95 219 ms'den 268 ms'ye (+%22), search 150 ms'den 130 ms'ye (−%13). Altında iki sürümün istek hızı ve p95 grafikleri.
Biten bir karşılaştırmalı koşu: karar kartı, en büyük farklar ve iki sürümün grafikleri. Gerçek ekran görüntüsü.

Ne zaman kullanılır

Sürüm öncesi kontrol

Yeni sürüm canlıya çıkmadan önce eski sürümle aynı yük altında yan yana koşar.

Altyapı değişikliği

Yeni veritabanı sürümü ya da yeni sunucu tipi: eski ve yeni altyapı aynı testle karşılaştırılır.

Kütüphane ya da framework yükseltmesi

Framework, ORM ya da runtime sürümü değişince performansın nereye gittiğini görün.

Yapılandırma değişikliği

Connection pool boyutu ya da cache ayarı: değişikliğin etkisini tahmin etmek yerine ölçün.

Nasıl çalışır

  1. ADIM 1

    Ortamları seçin

    Testin Ortamlar sekmesindeki ortamlardan eski sürümün çalıştığını A, yeninin çalıştığını B seçin; sürüm etiketlerini yazın.

  2. ADIM 2

    Aynı anda koşu

    Aynı test iki ortama aynı anda, aynı yükle uygulanır; canlı ekranda iki kol yan yana.

  3. ADIM 3

    Karar

    Koşu sonunda adım adım fark tablosu ve karar: daha iyi, fark yok ya da daha kötü.

spitfire.local/comparisons/…
Spitfire: koşu sürerken karşılaştırma ekranı; istek hızı ve p95 grafiklerinde v2.3 · test ve v2.4 · dev serileri yan yana doluyor.
Koşu sürerken: her grafikte iki sürümün serisi yan yana dolar. Gerçek ekran görüntüsü.
spitfire.local/comparisons/…
Spitfire: adım bazlı fark tablosu (p50, p95, p99, hata, istek/sn ve adım kararı) ve yükün her basamağı için ayrı karşılaştırma.
Koşu bitince: adım bazlı fark tablosu ve yükün her basamağı için ayrı karşılaştırma. Gerçek ekran görüntüsü.

Elma ile elma

Karşılaştırma ancak iki taraf aynı koşullarda ölçülürse anlamlıdır.

Eşit yük dağıtımı

Her runner sanal kullanıcılarını iki kola eşit böler; runner'daki yavaşlama (CPU, ağ, GC) iki kolu aynı oranda etkiler. Basamak geçişleri iki kolda aynı anda olur, lokasyon dağılımı aynıdır.

Sonuçları nasıl okursunuz

Hangi planlarda

PlanSürüm karşılaştırma
Ücretsizayda 1
Proje geçişi (30 gün)✓
Çeyrek (90 gün)✓
Growth yıllık✓
Enterprise yıllık✓

Karşılaştırmalı koşuda sanal kullanıcı, istek/sn ve runner sınırları iki kolun toplamına uygulanır: her kol sınırın yarısını kullanır.

Sık sorulanlar

Yeni sürümün eski sürümden yavaş olup olmadığını nasıl anlarım?
Karşılaştırmalı koşu ile. Eski sürümün çalıştığı ortamı A, yeni sürümün çalıştığı ortamı B seçin. Spitfire iki ortama aynı testi aynı anda uygular; her runner yükü iki tarafa eşit böler. Sonuçta her adım için fark ve karar görünür: daha iyi, fark yok ya da daha kötü.
Neden iki koşuyu ayrı ayrı yapıp karşılaştırmıyoruz?
Farklı zamanlarda yapılan iki koşu arasında ağ, cache ve paylaşılan altyapının yükü değişebilir. Aynı anda koşturmak bu dış etkenleri iki tarafa eşit dağıtır; geriye gerçekten sürümden gelen fark kalır.