Kullanıcı giriş yapıyor, sayfayı yeniliyor ve tekrar giriş sayfasını görüyor. Ya da daha kötüsü: sepeti boşalıyor. Yük dengeleyicinin arkasında birden fazla sunucunuz varsa, bu klasik işaret uygulama hatası değil, oturum sorunudur. Bir kullanıcının istekleri farklı sunucular arasında dönüp durdukça ve her sunucu oturumu yalnızca kendi yerel belleğinde tuttukça, tam da bu olur. Oturumu düşünmeden yapılan yük dengeleme, yalnızca trafiği dağıtır ve sorunu başka yere taşır.
Yük Dengeleme Algoritmasını Trafiğin Gerçekliğine Göre Seçin
Çoğu yük dengeleyicinin varsayılanı round-robin'dir ve çoğu iş için de yeterlidir. Ancak sunucularınız aynı kapasitede değilse veya istekler ağır ve asimetrikse, round-robin daha zayıf sunucuya baskı yapar ve onu diğerlerinden önce tüketir.
- round-robin: Sırayla. Basit, durumsuz, sunucular eşit kapasitede olduğunda ve istekler hafif olduğunda uygundur.
- least connections: En az aktif bağlantıya sahip sunucuya gider. Uzun ve heterojen istekler (API, indirme, yayın) için daha iyi bir seçimdir.
- IP hash: Kullanıcının IP'sine göre karar verir. Yapışkanlık için basit bir yol, ancak NAT veya proxy arkasında tüm kullanıcılar aynı IP'yi alır ve yük tek bir sunucuya biner.
- weighted: Manuel ağırlık verirsiniz. Yeni bir sunucu eklediğinizde ve yavaşça ısınmasını istediğinizde işe yarar.
Nginx'te algoritma seçimi tek satırdır:
upstream app_backend {
least_conn;
server 10.0.0.11:8080 weight=3 max_fails=3 fail_timeout=15s;
server 10.0.0.12:8080;
server 10.0.0.13:8080 backup;
}
O backup'ı hafife almayın. Yalnızca diğerleri health check'ten geçemediğinde devreye giren sunucu, gerçek bir olayda hayat kurtarıcıdır.
Doğru health check, kısa kesinti ile uzun kesinti arasındaki farktır
health check yalnızca "sunucu ayakta mı?" değildir. Yalnızca TCP portunu kontrol ederseniz, veritabanı kopmuş ama süreci hâlâ dinleyen bir uygulama sağlıklı olarak raporlanır ve trafik alır. Kritik bağımlılıkları da ölçen gerçek bir endpoint oluşturmalısınız.
location /healthz {
access_log off;
proxy_pass http://127.0.0.1:8080/healthz;
proxy_connect_timeout 2s;
proxy_read_timeout 3s;
}
Pratikte önemli olan üç nokta:
- interval ve timeout'u kısa tutun. 5 saniyelik aralık ve iki saniyelik timeout, ölü sunucuyu 10 saniyeden kısa sürede devre dışı bırakır. 30 saniyelik aralık, kullanıcının yarım dakika hata görmesi demektir.
- Başarısızlık eşiğini ayarlayın.
max_fails=3ile anlık bir titreme sunucunun devre dışı kalmasına neden olmaz. - health check'i log yolundan ve rate limit'ten muaf tutun. Aksi halde kendisi bir gürültü kaynağına ve hatta engellenmeye dönüşür.
Burada hata yapıyorlar: health check'i, yalnızca panoda yeşil kalmak için her zaman 200 dönecek şekilde yazıyorlar. Sonuç şu oluyor: bir olayda yük dengeleyici trafiği veritabanı çökmüş bir sunucuya gönderiyor ve tüm istekler 500 hatasıyla dönüyor. İşareti de şudur: toplam hata grafiği yükseliyor ama yük dengeleyicide hiçbir sunucu down olarak işaretlenmiyor.
Yapışkan oturum sorununa üç çözüm
Birden fazla sunucunuz olduğunda, kullanıcı oturumu tüm sunucuların görebileceği bir yerde yaşamalıdır. Üç gerçek yol vardır ve her birinin kendi maliyeti vardır.
1. Yük dengeleyicide sticky session
Yük dengeleyici bir çerez veya IP ile kullanıcıyı ilk sunucuya yapıştırır. En hızlı yoldur ve kodda hiçbir değişiklik gerektirmez. Ancak maliyetini bilmelisiniz: yük dağılımı artık dengeli değildir, bir sunucu dolabilirken diğerleri boş kalabilir. Daha kötüsü, o sunucu yeniden başlatıldığında üzerindeki tüm oturumlar kaybolur. Küçük uygulamalar ve düşük trafik için kabul edilebilir; ciddi bir sistem için teknik borçtur.
2. Redis'te veya paylaşılan bir serviste oturum
Oturumu sunucunun yerel belleğinden çıkarıp paylaşılan bir depoya koyarsınız. Artık herhangi bir sunucu herhangi bir isteği yanıtlayabilir ve yük dengeleyici herhangi bir algoritmayı çalıştırmakta serbesttir. Benim tercihim bu, yeter ki Redis'i ciddiye alın: replica'sı olsun, persistence aktif olsun ve tüm sunucuların ağından erişilebilir olsun. Redis tek başına ve replica'sız olursa, kendisi tek arıza noktası haline gelir ve tüm siteyi çökertir.
session.save_handler = redis
session.save_path = "tcp://10.0.0.20:6379?auth=STRONG_PASSWORD"
Deneyimden gerçek bir sayı: Redis'te oturumla, her oturumun boyutu genellikle 1 ila 5 kilobayt arasındadır. 50 bin eşzamanlı kullanıcı için bu yaklaşık 250 megabayt bellek demektir. Bunu Redis kapasitesinde hesaplayın, bellek dolduktan sonra nedenini aramayın.
3. İmzalı token ile durumsuz oturum
JWT veya imzalı token kullanıyorsanız, sunucu hiçbir oturum tutmaz ve sorun kökten çözülür. Ancak bir tuzağı vardır: token'ı süresi dolmadan geçersiz kılmak zordur. Anında logout veya erişim iptali gerekiyorsa, bir kara liste veya token sürümlemesi de tutmalısınız ve o zaman yine paylaşılan bir depoya dönmüş olursunuz.
| Yöntem | Maliyet | Nerede seçerim |
|---|---|---|
| sticky session | Dengesiz dağılım, yeniden başlatmada oturum kaybı | Küçük uygulama, düşük trafik, kodu değiştirmeye zaman yok |
| Paylaşılan Redis | Bakım ve izleme için ekstra bir servis | Sunucu tarafı oturumlu çoğu web uygulaması |
| Durumsuz token | Token iptalinin zorluğu | API, mobil, sunucular arası servisler |
Yük dengeleyicinin kendisi darboğaz olduğunda
Tek bir makinede yazılım yük dengeleyici, birkaç bin eşzamanlı bağlantıyı rahatça kaldırır. Ancak SSL termination da aynı makinedeyse, şifreleme CPU tüketimi proxy tüketimine eklenir ve ilk tükenen yer bant genişliği değil CPU olur. İşareti şudur: latency yükselir ama arka sunucular boştur. Çözüm, termination'ı ayırmak veya yüzen bir IP ile birden fazla yük dengeleyici kullanmaktır.
Trafiğiniz bu katmanları yönetmenin ekibin zamanını yediği noktaya geldiyse, bulut altyapısı (IaaS) yük dengeleyiciyi ve arka sunucuları aynı özel ağda ayağa kaldırmanıza ve ayarlar üzerinde tam kontrole sahip olmanıza olanak tanır.
Gerçekte ne olduğunu görmek için, ağın içinden değil kullanıcı tarafından test edin:
curl -s -o /dev/null -w "%{http_code} %{time_total}\n" \
-H "Cookie: PHPSESSID=abc123" https://example.com/cart
Aynı isteği arka arkaya on kez yapın. Durum kodu 200 ile 302 arasında dalgalanıyorsa, oturumunuz sunucular arasında kayboluyor demektir. Bu basit test, herhangi bir panodan daha fazla gerçeği gösterir.
Mimaride herhangi bir değişiklikten önce mevcut durumu ölçün. Sunucu izleme ve akıllı uyarı rehberi, sorunun yük dengelemeden mi yoksa başka bir yerden mi kaynaklandığını anlamak için iyi bir başlangıç noktasıdır. Bu alana yeni girdiyseniz, Yük dengeleme ve algoritmalar hakkında kapsamlı rehber temel kavramları kapsar.
Sıkça Sorulan Sorular
Kullanıcılar neden her yenilemeden sonra oturumdan çıkıyor?
Çünkü oturum bir sunucunun yerel belleğinde saklanıyor ve sonraki istek o oturuma sahip olmayan başka bir sunucuya gidiyor. Çözüm, oturumu Redis gibi paylaşılan bir depoya taşımak veya yük dengeleyicide sticky session'ı etkinleştirmektir.
sticky session mı yoksa oturumu Redis'te saklamak mı daha iyi?
Ciddi bir sistem için Redis. sticky session yalnızca sorunu gizler ve yük dağılımını dengesizleştirir. Yalnızca düşük trafikli küçük uygulamalarda ve kodu değiştiremediğinizde sticky makul bir seçimdir.
health check neyi kontrol etmeli?
Yalnızca sürecin ayakta olmasını değil, veritabanı bağlantısını ve kritik bağımlılıkları da ölçen gerçek bir endpoint olmalıdır. İki saniyelik timeout ile 5 saniyelik aralık ve üç başarısızlık eşiği, algılama hızı ile kararlılık arasında iyi bir dengedir.
JWT oturum sorununu tamamen çözer mi?
Yük dengeleme tarafında evet, çünkü sunucu durum tutmaz. Ancak token'ı süresi dolmadan iptal etmek zorlaşır ve anında logout gerekiyorsa, kara liste veya token sürümlemesi eklemelisiniz ki bu da kendi başına paylaşılan bir depo gerektirir.
Sonraki adım şu: hemen şimdi oturum çerezini taşıyan bir curl isteğiyle siteye arka arkaya on kez vurun ve durum kodlarını görün. Dalgalanıyorlarsa, başka herhangi bir işten önce oturumu sunucuların yerel belleğinden çıkarın.
Yorumlar 0
Henüz yorum yok — ilk siz olun!