خطای CUDA out of memory وسط آموزش یک مدل، معمولاً بعد از دو ساعت انتظار و درست وقتی loss دارد پایین میآید ظاهر میشود. اگر همین حالا بین چند کارت گرافیک گیر کردهاید یا نمیدانید سرور GPU اجاره کنید یا یکی بخرید، این متن برای همان لحظه است. اولین چیزی که باید بفهمید این است که بیشتر تصمیمهای اشتباه از یک عدد میآید: حافظهٔ کارت، نه تعداد هسته.
چرا حافظهٔ کارت سقف واقعی سرور GPU شماست
پارامترهای مدل، گرادیانها، حالت بهینهساز و activationهای میانی همه در VRAM جا میشوند. یک قاعدهٔ سرانگشتی که در عمل جواب میدهد: آموزش کامل با Adam در دقت mixed precision حدود ۱۶ تا ۲۰ بایت به ازای هر پارامتر میخواهد. یعنی مدل ۷ میلیارد پارامتری چیزی در حدود ۱۲۰ تا ۱۴۰ گیگابایت VRAM. روی یک کارت ۲۴ گیگابایتی این عدد اصلاً جمع نمیشود و همانجا است که به سراغ روشهای توزیعشده میروید.
استنتاج داستان دیگری است. وزنهای fp16 مدل ۷B حدود ۱۴ گیگابایت است و با ۸ بیت به ۷ گیگابایت میرسد. یک کارت ۲۴ گیگابایتی برای سرو کردن چنین مدلی با context متوسط کافی است. همین تفاوت است که باعث میشود خیلیها کارت گران برای آموزش بخرند و بعد ببینند برای سرویسدهی روزمره بیش از حد لازم هزینه کردهاند.
عددهایی که قبل از سفارش باید حساب کنید
- وزنهای مدل در fp16: تقریباً ۲ بایت به ازای هر پارامتر.
- حالت بهینهساز Adam: دو کپی اضافه، یعنی حدود ۸ بایت به ازای هر پارامتر در fp32.
- activation و بافر موقت: به batch size و طول توالی وابسته است و اغلب دستکم ۲۰ تا ۳۰ درصد کل مصرف را میسازد.
- حاشیهٔ امن: هیچوقت کارتی را تا لبهٔ آخرین گیگابایت پر نکنید؛ کرشهای تصادفی معمولاً از همینجا میآیند.
آموزش و استنتاج دو سرور GPU متفاوت میخواهند
برای آموزش، پهنای باند بین کارتها مهمتر از قدرت تککارت است. اگر قصد دارید مدل را با torchrun --nproc_per_node=4 روی چهار کارت پخش کنید، بدون NVLink یا دستکم PCIe نسل چهار با lanes کامل، گلوگاه ارتباطی میشود و بهرهوری خطی نمیگیرید. در عمل روی چهار کارت بدون اتصال پرسرعت، ممکن است فقط ۲.۵ تا ۳ برابر سرعت تککارت را ببینید، نه چهار برابر.
برای استنتاج، معیار عوض میشود: latency و throughput درخواستهای همزمان. اینجا کارتهای میانرده با حافظهٔ کافی و مصرف برق کمتر منطقیترند. اگر بار شما نوسانی است، ترکیب یک سرور GPU ثابت با مقیاسپذیری خودکار افقی یا عمودی ارزانتر از رزرو ظرفیت اوج تمام ماه تمام میشود.
| معیار | آموزش | استنتاج |
|---|---|---|
| قید اصلی | حافظهٔ کل و پهنای باند بین کارتها | حافظهٔ تککارت و latency |
| نوع کارت | کارتهای دیتاسنتری با NVLink | میانرده با حافظهٔ کافی |
| الگوی مصرف | چند روز پیوسته، سپس بیکاری | پیوسته و نوسانی |
| حساسیت به قیمت | بالا، چون بار کوتاه است | متوسط، چون هزینه ثابت ماهانه است |
اجاره یا خرید سرور GPU: تصمیمی که با ساعت مصرف حل میشود
خرید کارت وقتی منطقی است که استفادهٔ شما بالای حدود ۶۰ تا ۷۰ درصد ساعات ماه باشد و مدلتان بیش از یک سال ثابت بماند. زیر این آستانه، اجاره برنده است؛ نه به خاطر قیمت ساعتی، بلکه چون نسل کارت هر ۱۸ تا ۲۴ ماه عوض میشود و کارتی که پارسال خریدهاید امسال برای مدل جدید حافظه کم میآورد.
هزینهٔ پنهان خرید را هم حساب کنید: برق، خنکسازی، فضای رک و کارت جایگزین هنگام خرابی. یک کارت دیتاسنتری چند صد وات حرارت تولید میکند و اگر اتاق سرور شما برای آن آماده نیست، دمای کارت بالا میرود و کارت خودش را throttle میکند؛ نتیجهاش افت محسوس throughput است، نه خطای واضح.
اگر تصمیم به اجاره گرفتید، برای بار آموزش موقت یک ماشین با کارت اختصاصی و برای سرویس دائمی یک زیرساخت ابری (IaaS) که بتوانید اندازهاش را تغییر دهید، ترکیب واقعبینانهتری است. جزئیات بیشتر دربارهٔ تفاوت کارتها در راهنمای انتخاب کارت گرافیک برای هوش مصنوعی آمده است.
اینجا اشتباه میکنند
خطای رایجی که زیاد دیدهام: کسی batch size را روی کارت ۲۴ گیگابایتی تا آخر بالا میبرد تا آموزش سریعتر شود، آموزش چند ساعت خوب پیش میرود و بعد در میانهٔ epoch با CUDA out of memory میافتد. علامتش این است که مصرف حافظه در لاگ nvidia-smi آرام بالا میرود و در یک نقطهٔ تصادفی میترکد؛ چون activationهای ذخیرهشده برای backward با طول توالیهای بلندتر بیشتر میشوند. راهحل، gradient accumulation است نه batch بزرگتر.
اشتباه دوم: خرید کارت بر اساس benchmark استنتاج و بعد استفاده از همان کارت برای fine-tune. عدد tokens per second در جدول فروشنده هیچ چیزی دربارهٔ ظرفیت آموزش نمیگوید.
پیکربندی عملی: از شمارش حافظه تا اجرای پایدار
قبل از هر چیز، مصرف واقعی را اندازه بگیرید. یک اسکریپت کوچک با torch.cuda.memory_allocated() بعد از یک step forward و یک step backward، عدد واقعی را میدهد؛ خیلی دقیقتر از حدس زدن. سپس با nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 5 رفتار را زیر بار واقعی ببینید.
برای آموزش چندکارتی، torchrun --nproc_per_node=4 --master_port=29500 train.py نقطهٔ شروع است. اگر مدل در یک کارت جا نمیشود، به سراغ FSDP یا DeepSpeed با ZeRO stage 3 بروید؛ هر دو پارامترها و حالت بهینهساز را بین کارتها پخش میکنند و در عوض ارتباط بیشتری میطلبند.
export CUDA_VISIBLE_DEVICES=0,1,2,3
torchrun --nproc_per_node=4 --master_port=29500 \
train.py --per-device-batch-size 8 --grad-accum 4
دادهٔ آموزش را روی دیسک محلی کارت نگه ندارید. اگر dataset بزرگ است، خواندن از فضای ذخیرهسازی آبجکت با کش محلی، از گلوگاه I/O جلوگیری میکند. checkpointها را هم جایی بنویسید که بعد از آزاد کردن ماشین از دست نروند.
برای سرویس استنتاج، مدل را با vLLM یا TensorRT-LLM بالا بیاورید و پشت یک لود بالانسر بگذارید؛ اصول توزیع بار را در راهنمای لود بالانسر بخوانید. پایش دمای کارت و مصرف حافظه را جدی بگیرید، چون افت عملکرد تدریجی سختتر از خطای صریح پیدا میشود؛ الگوی هشداردهی در راهنمای مانیتورینگ و هشداردهی آمده است.
پرسشهای پرتکرار
برای آموزش یک مدل ۷ میلیارد پارامتری چند کارت گرافیک لازم است؟
با آموزش کامل و بهینهساز Adam در mixed precision، به حدود ۱۲۰ تا ۱۴۰ گیگابایت VRAM نیاز دارید. این یعنی دستکم چهار کارت ۴۰ گیگابایتی یا چند کارت ۸۰ گیگابایتی با اتصال پرسرعت بینشان. با LoRA یا QLoRA همین مدل روی یک کارت ۲۴ گیگابایتی هم قابل fine-tune است، چون فقط بخش کوچکی از پارامترها آموزش میبینند.
آیا برای استنتاج هم به همان کارت گرانقیمت آموزش نیاز دارم؟
نه. استنتاج به حافظهٔ کافی برای وزنها و بافر context نیاز دارد، نه به پهنای باند بین کارتها. یک کارت میانرده با ۲۴ گیگابایت حافظه برای سرو کردن مدل ۷B کوانتایزشده کافی است و مصرف برق کمتری هم دارد.
سرور GPU را اجاره کنم یا کارت بخرم؟
اگر کمتر از حدود دو سوم ساعات ماه از کارت استفاده میکنید یا مدلتان ممکن است در شش ماه آینده عوض شود، اجاره منطقیتر است. خرید وقتی جواب میدهد که استفاده پیوسته و بلندمدت باشد و توان نگهداری سختافزار و خنکسازی را هم داشته باشید.
چرا آموزش روی چند کارت سرعت خطی نمیگیرد؟
چون ارتباط بین کارتها گلوگاه میشود. بدون NVLink، تبادل گرادیانها روی PCIe انجام میشود و در مدلهای بزرگ سهم ارتباط بالا میرود. استفاده از gradient accumulation، کاهش تعداد همگامسازیها و انتخاب batch size مناسب، بهرهوری را واقعیتر میکند.
قدم بعدی ساده است: قبل از هر سفارش، عدد حافظهٔ مدلتان را با همان فرمول بایت به ازای پارامتر حساب کنید و بعد تصمیم بگیرید. اگر آن عدد از حافظهٔ یک کارت بیشتر شد، مسئلهٔ شما دیگر انتخاب کارت نیست؛ طراحی توزیع آموزش است.
دیدگاهها ۰
هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید!