AI için GPU sunucular — gerçekten ne zaman gerekir

Yapay Zeka İçin GPU Sunucusu; Gerçekten Ne Zaman İhtiyacınız Var?

Yapay zeka projelerini çalıştırmak söz konusu olduğunda, birçok geliştiricinin ve teknik yöneticinin aklını kurcalayan ilk soru şudur: "Bir GPU sunucusu mu kiralamalıyız yoksa mevcut CPU'lar yeterli mi?" Cevap basit değil çünkü işinizin türüne bağlı: modeli eğitiyor musunuz yoksa eğitilmiş modeli sadece çıkarım için mi kullanıyorsunuz? Bu iki senaryo tamamen farklı ihtiyaçlara sahiptir ve yanlış seçim maliyetlerinizi katlayabilir veya projenizin hızını ciddi şekilde düşürebilir.

Bu makalede teknik ama anlaşılır bir dille eğitim ve çıkarım arasındaki farkı inceliyor, GPU sunucusu için ekran kartı seçim kriterlerini gözden geçiriyor ve gerçek projelerde gördüğüm birkaç yaygın hatayı hatırlatıyoruz. Amaç, satın almadan veya kiralamadan önce tam olarak neye ihtiyacınız olduğunu bilmenizi sağlamak.

Model Eğitimi ve Çıkarım; İki Farklı Dünya

Birçok kişi yapay zeka ile yaptıkları her işin güçlü bir GPU sunucusu gerektirdiğini düşünür. Bu yanlış bir kanıdır. Bu iki aşamayı ayıralım.

Eğitim (Training); Donanımın Acımasız Gücünün Önemli Olduğu Yer

Model eğitimi, bir algoritmaya (örneğin sinir ağı) iç ağırlıklarını ayarlaması için büyük miktarda veri vermek anlamına gelir. Bu süreç yoğun matris hesaplamaları, türev alma ve parametrelerin sık sık güncellenmesini içerir. Örneğin, birkaç milyar parametreli büyük bir dil modelini (LLM) eğitmek onlarca veya yüzlerce teraflop hesaplama gerektirir.

Bu aşamada, ham hesaplama gücü (FLOPS) ve video belleği (VRAM) kritik öneme sahiptir. 80 GB VRAM'li NVIDIA A100 veya daha fazla belleğe sahip H100 gibi bir kart, büyük modelleri eğitmek için tasarlanmıştır. Yalnızca bir GPU'nuz varsa, orta ölçekli bir modeli eğitmek haftalar alabilir; birden fazla GPU ile paralel çalışarak bu süre günlere düşer.

Önemli not: Eğitim genellikle periyodik bir süreçtir. Modeli her gün eğitmezsiniz; belki ayda bir veya birkaç ayda bir. Bu nedenle, güçlü bir GPU sunucusunu sınırlı bir süre için (örneğin bir hafta) kiralamak satın almaktan daha ekonomik olabilir.

Çıkarım (Inference); Yanıt Hızının Ön Planda Olduğu Yer

Çıkarım, eğitilmiş modeli yeni veriler üzerinde tahmin yapmak için kullanmak anlamına gelir. Örneğin, her saniye birkaç istek alan bir yüz tanıma API'si veya yanıtı 2 saniyeden kısa sürede döndürmesi gereken bir sohbet robotu. Burada hesaplamalar daha hafiftir ancak gecikme (Latency) ve işlem hacmi (Throughput) önem kazanır.

Çıkarım için genellikle daha düşük enerji tüketen ve aynı anda birden fazla isteğe yanıt vermek için optimize edilmiş NVIDIA T4 veya L4 gibi orta sınıf bir GPU'ya ihtiyacınız vardır. Çoğu durumda, modeli ONNX Runtime gibi araçlarla optimize ettiyseniz CPU bile kullanabilirsiniz. Ancak modeliniz büyükse (GPT-3.5 gibi), çıkarım bile GPU gerektirir.

Yaygın bir hata: Çıkarım için aşırı güçlü bir GPU sunucusu kiralamak. Bu hem pahalıdır hem de gereksizdir çünkü gücünün %10'unu bile kullanmazsınız. Çıkarım için hız ve maliyet arasında denge arayın.

GPU Sunucusu İçin Ekran Kartı Seçim Kriterleri

Bir GPU sunucusuna ihtiyacınız olduğuna karar verdiğinizde, doğru kartı seçmelisiniz. Bu seçim dört ana faktöre bağlıdır.

1. Video Belleği Kapasitesi (VRAM)

VRAM, hangi modeli kartın belleğinde tutabileceğinizi belirler. Temel bir kural: Model boyutu (GB cinsinden) × 2 = Minimum gereken VRAM. Örneğin, modeliniz 7 GB ağırlığındaysa (Llama 2 7B gibi), en az 14 GB VRAM'e ihtiyacınız vardır. Bu 2 katı, eğitim sırasında gradyanları ve optimize ediciyi saklamak içindir. Çıkarım için 1.5 katı yeterlidir.

Yaygın kartlar:

• NVIDIA T4: 16GB VRAM — hafif çıkarım ve küçük modeller için uygun
• NVIDIA L4: 24GB VRAM — çıkarım için fiyat ve performans arasında iyi denge
• NVIDIA A10: 24GB VRAM — orta ölçekli modellerin eğitimi için uygun
• NVIDIA A100: 40 veya 80GB VRAM — büyük modellerin eğitimi için altın standart
• NVIDIA H100: 80GB VRAM — çok büyük modeller ve dağıtık eğitim için

2. Hesaplama Gücü (FLOPS)

FLOPS (saniyedeki kayan nokta işlemleri), kartın ne kadar hızlı hesaplama yaptığını gösterir. Eğitim için yüksek FLOPS gerekir; çıkarım için daha düşük FLOPS yeterlidir. FLOPS değerlerinin genellikle iki şekilde açıklandığını unutmayın: FP32 (tam hassasiyet) ve FP16/BF16 (yarım hassasiyet). FP16 ile eğitim FP32'den iki kat daha hızlıdır ancak daha hassas ayar gerektirir.

Örnek: A100 yaklaşık 19.5 teraflop FP32 ve 312 teraflop FP16'ya sahiptir. T4 ise yaklaşık 8.1 teraflop FP32 ve 65 teraflop FP16'ya sahiptir. Bu fark, A100'ün eğitim ve T4'ün çıkarım için neden uygun olduğunu gösterir.

3. Bellek Bant Genişliği (Memory Bandwidth)

Bu kriter daha az dikkat çeker ancak hayati öneme sahiptir. Bellek bant genişliği, kartın verileri VRAM ile hesaplama çekirdekleri arasında ne kadar hızlı taşıdığını belirler. VRAM'e yaklaşan büyük modeller için düşük bant genişliği darboğaz oluşturabilir. A100 yaklaşık 2 TB/sn bant genişliğine sahipken, T4 yaklaşık 300 GB/sn'ye sahiptir.

4. GPU Sayısı ve Aralarındaki Bağlantı

Modeliniz tek bir kartın VRAM'ini aşarsa, birden fazla GPU kullanmanız gerekir. Kartlar arasındaki bağlantı NVLink veya PCIe üzerinden yapılır. NVLink çok daha yüksek bant genişliğine sahiptir (900 GB/sn'ye kadar) ve dağıtık eğitim için gereklidir. Çıkarım için yalnızca birkaç GPU'ya ihtiyacınız varsa, normal PCIe yeterlidir.

Yaygın bir hata: Pahalı bir GPU yerine iki ucuz GPU satın almak. Çoğu durumda, bir A100 iki RTX 4090'dan daha iyidir çünkü birleşik belleğe sahiptir ve kartlar arası senkronizasyon ihtiyacını ortadan kaldırır.

Pratik Senaryolar; GPU Sunucusunu Ne Zaman Kiralamalı?

Karar vermenizi kolaylaştırmak için birkaç gerçek senaryoyu inceleyelim.

Senaryo 1: Tıbbi Görüntü İşleme Startup'ı

TensorFlow ile oluşturulmuş ve ağırlığı 500 MB olan bir tümör tespit modeliniz var. Günde yaklaşık 10.000 görüntü işliyorsunuz ve her görüntü 3 saniyeden kısa sürede yanıt almalı. Bu yoğun bir çıkarım yüküdür. Bir T4 veya L4 kartlı bir GPU sunucusu yeterlidir. CPU ile denerseniz, her görüntü 15 saniye sürer ki bu kabul edilemez.

Çözüm: T4'lü sanal bir GPU sunucusu kiralamak. Aylık maliyeti genellikle 200 ila 400 dolar arasındadır (sağlayıcıya bağlı olarak). Bu, fiziksel bir sunucu satın almaktan çok daha ekonomiktir.

Senaryo 2: Dil Modeli Eğiten Akademik Araştırmacı

Özel bir veri seti üzerinde 13 milyar parametreli bir modeli (Llama 2 13B gibi) eğitmek istiyorsunuz. Bu, ağırlıklar ve gradyanlar için en az 26 GB VRAM gerektirir. Bir A100 40GB bu işi yapabilir, ancak eğitim 3 hafta sürebilir. İki A100 ve DeepSpeed gibi teknikler kullanarak bu süre 10 güne düşer.

Çözüm: Bir ay için 2 A100 kartlı bir GPU sunucusu kiralamak. Maliyeti belki 3.000 ila 5.000 dolar olabilir, ancak bütçeniz yoksa LoRA gibi VRAM ihtiyacını %70'e kadar azaltan optimizasyon tekniklerini kullanabilir ve 24GB'lık bir kartla (A10 gibi) da işi halledebilirsiniz.

Senaryo 3: Kurumsal Sohbet Robotu Hizmeti

Açık kaynak bir modele (Mistral 7B gibi) dayalı ve 500 eşzamanlı kullanıcıya yanıt vermesi gereken bir sohbet robotunuz var. Her yanıt yaklaşık 1 saniye sürer. Bu eşzamanlı bir çıkarım yüküdür. Büyük bir GPU yerine, istekleri paralel işleyebilen birkaç küçük GPU'ya ihtiyacınız vardır. 4 T4 kartlı bir sunucu bu yükü yönetebilir.

Önemli not: Eşzamanlı çıkarım için VRAM'i artırmak yerine CUDA çekirdek sayısını artırmayı ve modeli optimize etmeyi (INT8'e quantization gibi) düşünün. Bu, maliyeti %50'ye kadar azaltabilir.

GPU Sunucusu Seçiminde Yaygın Hatalar

Müşterilerle yaptığım birçok projede tekrarlayan birkaç hata gördüm; bunları bilmenizde fayda var.

Hata 1: Profesyonel İş İçin Oyun GPU'su Satın Almak

RTX 4090 gibi oyun kartları FLOPS açısından çok güçlüdür ancak veri merkezinde kullanım için tasarlanmamıştır. Ana sorunlar: yüksek enerji tüketimi, 7/24 çalışma için uygun olmayan soğutma ve ECC Bellek (hata düzeltmeli bellek) eksikliği. Büyük modellerin eğitiminde, bir bellek hatası tüm eğitimi bozabilir. Bütçeniz kısıtlıysa, oyun kartı satın almak yerine profesyonel bir GPU sunucusu kiralamayı düşünün.

Hata 2: Enerji Tüketimini ve Soğutmayı Göz Ardı Etmek

Bir A100 yaklaşık 400 watt elektrik tüketir. 8 kartınız varsa, sadece GPU için 3,2 kilowatt'a ihtiyacınız olur; ayrıca CPU, RAM ve soğutma da eklenir. Bu, en az 5 kilowatt elektrik ve güçlü bir sıvı veya hava soğutma sistemi demektir. Birçok kişi bu maliyetleri hesaplamalarına dahil etmez ve sonradan şok olur. GPU sunucusu kiralamada bu maliyetler genellikle fiyata dahildir.

Hata 3: İhtiyaçtan Fazla VRAM Seçmek

INT8'e quantization yapılmış 7 milyar parametreli bir model yalnızca 7 GB VRAM gerektirir. Bunun için 80GB'lık bir A100 kiralarsanız, belleğin %90'ı boş kalır ve gereksiz maliyet ödersiniz. Her zaman önce modeli torch.cuda.max_memory_allocated() gibi araçlarla ölçün ve ardından uygun kartı seçin.

İhtiyacınızı Azaltabilecek Optimizasyon Araçları

GPU sunucusu satın almaya veya kiralamaya geçmeden önce bu araçları deneyin. Belki de pahalı donanıma hiç ihtiyacınız yoktur.

• Quantization: Modeli FP32'den INT8 veya FP16'ya dönüştürme. Bu, model boyutunu %75'e kadar azaltır ve çıkarım hızını 2 ila 3 kat artırır. PyTorch'taki bitsandbytes gibi araçlar bunu kolaylaştırır.
• Pruning: Modelden önemsiz ağırlıkları kaldırma. Bu, belirgin bir doğruluk kaybı olmadan model boyutunu %50'ye kadar azaltabilir.
• Distillation: Büyük modelin çıktısını kullanarak daha küçük bir model eğitme. Örneğin, GPT-4 yerine doğruluğunun %95'ine sahip bir 7B model eğitebilirsiniz.
• ONNX Runtime: Modeli ONNX formatına dönüştürme ve CPU'ya özel optimizasyonlarla çalıştırma. Bazı durumlarda, CPU ile çıkarım GPU kadar hızlı olabilir.

Pratik örnek: Duygu analizi için bir BERT modeli düşünün. INT8'e quantization ile boyutu 440 MB'den 110 MB'a düşer ve CPU'daki çıkarım hızı 100 ms'den 30 ms'ye çıkar. Bu durumda, belki de GPU'ya hiç ihtiyacınız olmayabilir.

Özet; Son Karar Sizin

Yapay zeka için GPU sunucusu seçimi duygusal bir satın alma değil, mühendislik kararıdır. Önce hangi aşamada olduğunuzu belirleyin: eğitim mi yoksa çıkarım mı? Ardından model boyutunu ve gecikme ihtiyaçlarınızı ölçün. Yalnızca ara sıra eğitim yapıyorsanız, kısa süreli kiralama daha ekonomiktir. Sürekli çıkarım yapıyorsanız, T4 veya L4 gibi orta sınıf kartları arayın ve mutlaka optimizasyon tekniklerini deneyin.

Sonuç olarak, ihtiyaca göre GPU kaynaklarını artırıp azaltabileceğiniz esnek bir bulut altyapısı istiyorsanız, ServerNet gibi sağlayıcılar çeşitli ekran kartlarıyla bulut hizmetleri sunar. Ancak herhangi bir işlem yapmadan önce bu makaleyi tekrar gözden geçirin ve hesaplamalarınızı yapın. Bilinçli bir seçim, yılda binlerce dolar tasarruf etmenizi sağlayabilir.