Bulut & Altyapı

Model eğitimi ve çıkarımı için GPU sunucusu seçimi

Hangi modelin GPU sunucusunda çalışacağını çekirdek sayısı değil, kartın belleği belirler. Eğitim ile çıkarım arasında seçim yapma ve kirala ya da satın al kararında pratik bir rehber.

Bulut & Altyapı

Bir modelin eğitimi sırasında ortaya çıkan CUDA out of memory hatası genellikle iki saatlik bekleyişten sonra ve tam da loss düşmeye başladığında görünür. Eğer şu anda birkaç grafik kartı arasında sıkışıp kaldıysanız ya da GPU sunucusu kiralayıp kiralamayacağınızı veya bir tane satın alıp almayacağınızı bilmiyorsanız, bu metin tam o an için. İlk anlamanız gereken şey, yanlış kararların çoğunun tek bir sayıdan kaynaklandığıdır: çekirdek sayısı değil, kartın belleği.

Kart belleği neden GPU sunucunuzun gerçek tavanıdır

Model parametreleri, gradyanlar, optimizer durumu ve ara activation'lar hepsi VRAM'e sığar. Pratikte işe yarayan bir başparmak kuralı: Adam ile tam eğitim, mixed precision hassasiyetinde parametre başına yaklaşık 16 ila 20 bayt gerektirir. Yani 7 milyar parametreli bir model yaklaşık 120 ila 140 gigabayt VRAM ister. 24 gigabaytlık bir kartta bu sayı hiç toplanmaz ve tam orada dağıtık yöntemlere başvurursunuz.

Çıkarım başka bir hikâyedir. 7B modelin fp16 ağırlıkları yaklaşık 14 gigabayttır ve 8 bit ile 7 gigabayta iner. 24 gigabaytlık bir kart, ortalama context ile böyle bir modeli sunmak için yeterlidir. Bu fark, birçok kişinin eğitim için pahalı kart satın alıp sonra günlük hizmet için gereğinden fazla maliyete katlandığını görmesine neden olan şeydir.

Siparişten önce hesaplamanız gereken sayılar

  • Model ağırlıkları fp16'da: parametre başına yaklaşık 2 bayt.
  • Adam optimizer durumu: iki ek kopya, yani fp32'de parametre başına yaklaşık 8 bayt.
  • activation ve geçici tampon: batch size ve dizi uzunluğuna bağlıdır ve çoğu zaman toplam tüketimin en az yüzde 20 ila 30'unu oluşturur.
  • Güvenlik payı: bir kartı asla son gigabaytın sınırına kadar doldurmayın; rastgele çökmeler genellikle tam buradan gelir.

Eğitim ve çıkarım iki farklı GPU sunucusu ister

Eğitim için kartlar arası bant genişliği, tek kart gücünden daha önemlidir. Modeli torchrun --nproc_per_node=4 ile dört karta yaymayı planlıyorsanız, NVLink veya en azından tam lanes'li dördüncü nesil PCIe olmadan iletişim darboğaz olur ve doğrusal verim elde edemezsiniz. Pratikte yüksek hızlı bağlantı olmadan dört kartta tek kartın yalnızca 2,5 ila 3 katı hız görebilirsiniz, dört katı değil.

Çıkarım için ölçüt değişir: eşzamanlı isteklerde latency ve throughput. Burada yeterli belleğe ve daha düşük güç tüketimine sahip orta segment kartlar daha mantıklıdır. Yükünüz dalgalıysa, sabit bir GPU sunucusunu yatay veya dikey otomatik ölçeklendirme ile birleştirmek, tüm ay boyunca zirve kapasitesini rezerve etmekten daha ucuz olur.

ÖlçütEğitimÇıkarım
Ana kısıtToplam bellek ve kartlar arası bant genişliğiTek kart belleği ve latency
Kart türüNVLink'li veri merkezi kartlarıYeterli belleğe sahip orta segment
Tüketim deseniBirkaç gün kesintisiz, sonra boştaKesintisiz ve dalgalı
Fiyata duyarlılıkYüksek, çünkü yük kısadırOrta, çünkü maliyet aylık sabittir

GPU sunucusu kirala mı satın al mı: kullanım saatiyle çözülen bir karar

Kart satın almak, kullanımınız ayın saatlerinin yaklaşık yüzde 60 ila 70'inin üzerindeyse ve modeliniz bir yıldan fazla sabit kalacaksa mantıklıdır. Bu eşiğin altında kiralama kazanır; saatlik fiyat yüzünden değil, kart nesli her 18 ila 24 ayda bir değiştiği ve geçen yıl satın aldığınız kartın bu yıl yeni model için belleğinin yetersiz kalması yüzünden.

Satın almanın gizli maliyetini de hesaba katın: elektrik, soğutma, rack alanı ve arıza sırasında yedek kart. Bir veri merkezi kartı birkaç yüz watt ısı üretir ve sunucu odanız buna hazır değilse kart sıcaklığı yükselir ve kart kendini throttle eder; sonucu belirgin bir throughput düşüşüdür, net bir hata değil.

Kiralamaya karar verdiyseniz, geçici eğitim yükü için özel kartlı bir makine ve kalıcı hizmet için boyutunu değiştirebileceğiniz bir bulut altyapısı (IaaS) daha gerçekçi bir kombinasyondur. Kartlar arasındaki farklar hakkında daha fazla ayrıntı yapay zeka için grafik kartı seçimi rehberinde yer alıyor.

Burada hata yapıyorlar

Sık gördüğüm yaygın hata: birisi eğitimi hızlandırmak için batch size'ı 24 gigabaytlık kartta sonuna kadar yükseltir, eğitim birkaç saat iyi gider ve sonra epoch'un ortasında CUDA out of memory ile düşer. Belirtisi, nvidia-smi günlüğünde bellek tüketiminin yavaşça yükselmesi ve rastgele bir noktada patlamasıdır; çünkü backward için saklanan activation'lar daha uzun dizi uzunluklarıyla artar. Çözüm, daha büyük batch değil gradient accumulation'dır.

İkinci hata: kartı çıkarım benchmark'ına göre satın alıp sonra aynı kartı fine-tune için kullanmak. Satıcı tablosundaki tokens per second sayısı, eğitim kapasitesi hakkında hiçbir şey söylemez.

Pratik yapılandırma: bellek sayımından kararlı çalıştırmaya

Her şeyden önce, gerçek tüketimi ölçün. Bir forward adımı ve bir backward adımından sonra torch.cuda.memory_allocated() ile küçük bir betik, gerçek sayıyı verir; tahmin etmekten çok daha kesin. Ardından nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 5 ile davranışı gerçek yük altında görün.

Çok kartlı eğitim için torchrun --nproc_per_node=4 --master_port=29500 train.py başlangıç noktasıdır. Model tek karta sığmıyorsa, ZeRO stage 3 ile FSDP veya DeepSpeed'e başvurun; her ikisi de parametreleri ve optimizer durumunu kartlar arasında yayar ve karşılığında daha fazla iletişim ister.

export CUDA_VISIBLE_DEVICES=0,1,2,3
torchrun --nproc_per_node=4 --master_port=29500 \
  train.py --per-device-batch-size 8 --grad-accum 4

Eğitim verisini kartın yerel diskinde tutmayın. Dataset büyükse, yerel önbellekle nesne depolama alanından okumak I/O darboğazını önler. Checkpoint'leri de makineyi serbest bıraktıktan sonra kaybolmayacak bir yere yazın.

Çıkarım hizmeti için modeli vLLM veya TensorRT-LLM ile ayağa kaldırın ve bir load balancer'ın arkasına koyun; yük dağıtımı ilkelerini load balancer rehberinde okuyun. Kart sıcaklığını ve bellek tüketimini izlemeyi ciddiye alın, çünkü kademeli performans düşüşü belirgin bir hatadan daha zor tespit edilir; uyarı deseni izleme ve uyarı kurulumu rehberinde yer alıyor.

Sıkça sorulan sorular

7 milyar parametreli bir modeli eğitmek için kaç grafik kartı gerekir?

Tam eğitim ve mixed precision'da Adam optimizer ile yaklaşık 120 ila 140 gigabayt VRAM'e ihtiyacınız olur. Bu, en az dört adet 40 gigabaytlık kart veya aralarında yüksek hızlı bağlantı olan birkaç adet 80 gigabaytlık kart anlamına gelir. LoRA veya QLoRA ile aynı model 24 gigabaytlık bir kartta bile fine-tune edilebilir, çünkü parametrelerin yalnızca küçük bir kısmı eğitilir.

Çıkarım için de aynı pahalı eğitim kartına ihtiyacım var mı?

Hayır. Çıkarım, ağırlıklar ve context tamponu için yeterli belleğe ihtiyaç duyar, kartlar arası bant genişliğine değil. 24 gigabayt belleğe sahip orta segment bir kart, kuantize edilmiş 7B modeli sunmak için yeterlidir ve daha az güç tüketir.

GPU sunucusu kiralamalı mıyım yoksa kart satın almalı mıyım?

Kartı ayın saatlerinin yaklaşık üçte ikisinden azında kullanıyorsanız veya modeliniz önümüzdeki altı ay içinde değişebilirse, kiralama daha mantıklıdır. Satın alma, kullanım kesintisiz ve uzun vadeli olduğunda ve donanım bakımı ile soğutma kapasitesine de sahip olduğunuzda işe yarar.

Çok kartlı eğitim neden doğrusal hız kazanmaz?

Çünkü kartlar arası iletişim darboğaz olur. NVLink olmadan gradyan alışverişi PCIe üzerinden yapılır ve büyük modellerde iletişimin payı yükselir. Gradient accumulation kullanmak, senkronizasyon sayısını azaltmak ve uygun batch size seçmek verimi daha gerçekçi kılar.

Sonraki adım basit: herhangi bir siparişten önce, modelinizin bellek sayısını aynı parametre başına bayt formülüyle hesaplayın ve sonra karar verin. Bu sayı bir kartın belleğini aştıysa, sorununuz artık kart seçimi değildir; eğitim dağıtımı tasarımıdır.

ServerNet Destek

ServerNet mühendislik ve yayın ekibi — altyapı, ağ ve web barındırma uzmanları.

Bulut Altyapı (IaaS)
Paylaş:

Yorumlar 0

Henüz yorum yok — ilk siz olun!

Yorum bırakın

İlgili hizmet

Bulut Altyapı (IaaS)

Sunucular, özel ağlar, güvenlik duvarları ve depolama — hepsi API ile, saatlik faturalandırma.