ابر و زیرساخت

استوریج آبجکت: هزینه، دسترسی و مهاجرت فایل‌ها

اگر دیسک سرور از فایل‌های آپلودی پر شده، این راهنما تصمیم واقعی را روشن می‌کند: هزینه، دسترسی عمومی یا امضاشده، و مسیر امن مهاجرت.

ابر و زیرساخت

دیسک سرور شما پر شده و df -h روی پارتیشن / عددی نزدیک به ۱۰۰٪ نشان می‌دهد. بیشترین حجم هم مال پوشه‌ای است که کاربران در آن عکس و ویدیو آپلود می‌کنند. اگر تا حالا فایل‌ها را کنار کد اپلیکیشن نگه می‌داشتید، الان نقطه‌ای رسیده که باید تصمیم بگیرید: دیسک را بزرگ کنید یا فایل‌ها را به استوریج آبجکت منتقل کنید. این مقاله درباره همان تصمیم است، نه تعریف فناوری.

چرا بزرگ‌کردن دیسک جواب همیشگی نیست

بزرگ‌کردن دیسک سریع‌ترین راه است و برای چند ماه کار می‌کند. مشکل این است که با هر بار بزرگ‌کردن، بکاپ هم بزرگ‌تر می‌شود. یک سرور با ۵۰۰ گیگابایت فایل آپلودی، هر شب ۵۰۰ گیگابایت ترافیک بکاپ تولید می‌کند و اگر بکاپ روی همان زیرساخت باشد، هزینه و زمان بازیابی هر دو بالا می‌رود. در عمل دیده‌ام تیمی که ماهی یک‌بار دیسک اضافه می‌کند، بعد از یک سال با سروری طرف است که بازیابی کاملش چند ساعت طول می‌کشد.

استوریج آبجکت این الگو را عوض می‌کند. فایل از ماشین محاسباتی جدا می‌شود، با یک URL یا کلید قابل دسترسی است و نسخه‌پذیری و چرخهٔ عمر را خود سرویس مدیریت می‌کند. اما رایگان نیست و اگر درست انتخاب نکنید، هزینه‌اش از دیسک هم بیشتر می‌شود.

مدل هزینه: چیزی که در فاکتور اول دیده نمی‌شود

هزینهٔ استوریج آبجکت سه جزء دارد: حجم ذخیره‌شده، تعداد درخواست، و ترافیک خروجی. جزء اول قابل پیش‌بینی است. جزء دوم و سوم نیستند و همین‌جا بیشترین اشتباه رخ می‌دهد.

یک مثال واقعی: سایتی با ۲۰۰ گیگابایت عکس محصول، اگر تصاویر را مستقیم از باکت به کاربر بدهد، ماهی چند ترابایت خروجی تولید می‌کند. اگر همان تصاویر از پشت CDN سرو شوند، بخش زیادی از این ترافیک کش می‌شود و هزینهٔ خروجی به‌شکل محسوسی پایین می‌آید. برای همین در معماری درست، باکت منبع است و شبکهٔ توزیع محتوا مسیر تحویل به کاربر.

جزء دوم، تعداد درخواست، وقتی گران می‌شود که کد شما برای هر بازدید یک لیست کامل بگیرد. اگر اپلیکیشن روی هر بار لود صفحه، ListObjectsV2 صدا بزند تا ببیند فایلی هست یا نه، تعداد درخواست با ترافیک سایت بالا می‌رود، نه با حجم فایل. این را در لاگ دسترسی می‌بینید، نه در داشبورد حجم.

مقایسهٔ عملی سه گزینه

گزینههزینهٔ غالبکجا جواب می‌دهدکجا شکست می‌خورد
دیسک محلی سرورحجم دیسک و بکاپفایل‌های کوچک، دسترسی پرتکرار، اپلیکیشن تک‌سروریرشد بی‌پایان، بکاپ سنگین، مقیاس افقی سخت
استوریج آبجکتحجم + درخواست + خروجیفایل‌های حجیم، آرشیو، مدیا، بکاپفایل‌های کوچک با دسترسی تصادفی مکرر
دیسک بلوکی متصلحجم تخصیص‌یافتهدیتابیس، فایل‌های نیازمند IOPS بالااشتراک بین چند سرور، آرشیو ارزان

انتخاب من برای فایل‌های آپلودی کاربران، استوریج آبجکت است. برای دیتابیس و فایل‌های موقت پردازش، دیسک بلوکی. اگر اپلیکیشن شما روزی چند میلیون فایل کوچک زیر ۱۰ کیلوبایت با دسترسی تصادفی می‌خواند، آبجکت انتخاب بدی است و همان دیسک محلی بهتر جواب می‌دهد.

دسترسی عمومی در برابر امضاشده

سؤال دوم که تقریباً همیشه بعد از سؤال هزینه می‌آید: باکت را عمومی کنم یا نه؟ پاسخ کوتاه این است که پیش‌فرض باید خصوصی باشد و فقط آنچه واقعاً باید عمومی باشد، عمومی شود.

در باکت خصوصی، دسترسی از طریق URL امضاشده انجام می‌شود. با AWS CLI این‌طور تولید می‌شود:

aws s3 presign s3://my-bucket/uploads/report.pdf --expires-in 3600

عدد ۳۶۰۰ ثانیه یعنی یک ساعت اعتبار. این URL را می‌توانید به کاربر بدهید بدون اینکه کلید دسترسی را لو بدهید. اگر با SDK کار می‌کنید، معادلش getSignedUrl است با همان پارامتر انقضا.

خطای رایجی که در لاگ می‌بینید این است:

AccessDenied: Access Denied
status code: 403

و معمولاً یعنی سیاست باکت را اشتباه نوشته‌اید، نه اینکه فایل وجود ندارد. یک سیاست حداقلی برای خواندن عمومی فقط یک پوشه:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": "*",
    "Action": "s3:GetObject",
    "Resource": "arn:aws:s3:::my-bucket/public/*"
  }]
}

دقت کنید که Resource به public/* محدود شده. اگر بنویسید my-bucket/*، همه‌چیز عمومی می‌شود، از جمله بکاپ دیتابیس که هفتهٔ پیش آنجا گذاشته‌اید.

این‌جا اشتباه می‌کنند

خطای واقعی که چند بار دیده‌ام: تیم برای راحتی، باکت را عمومی می‌کند تا لینک تصاویر در پنل ادمین کار کند. چند ماه بعد یک اسکنر خودکار فهرست باکت را می‌خواند و فایل‌های داخلی، از جمله خروجی دیتابیس، ایندکس می‌شوند. علامتش هم در دسترسی‌ها نیست؛ در قبض ترافیک خروجی است که ناگهان چند برابر می‌شود. اگر این الگو را در داشبورد دیدید، اول سیاست باکت را چک کنید، بعد CDN.

مهاجرت بدون قطعی: مسیر عملی

مهاجرت را یک‌شبه انجام ندهید. ترتیب درست این است که ابتدا فایل‌های قدیمی و کم‌دسترس را منتقل کنید، بعد فایل‌های جدید را مستقیم در باکت بنویسید، و در آخر مسیر خواندن را عوض کنید.

  1. با aws s3 sync /var/www/uploads s3://my-bucket/uploads --exclude "*.tmp" یک کپی اولیه بگیرید. این دستور فقط تفاوت‌ها را در اجرای بعدی منتقل می‌کند.
  2. اپلیکیشن را طوری تغییر دهید که فایل جدید را در باکت بنویسد و مسیرش را در دیتابیس ذخیره کند. فایل‌های قدیمی هنوز از دیسک خوانده می‌شوند.
  3. یک لایهٔ خواندن بنویسید که اول باکت را امتحان کند و اگر نبود، از دیسک بخواند. این لایه را چند هفته نگه دارید.
  4. بعد از اطمینان، دیسک را فقط‌خواندنی کنید و در نهایت پاک.

مرحلهٔ سوم را حذف نکنید. همان لایه است که اگر sync ناقص ماند، به‌جای خطای ۴۰۴ به کاربر، فایل را از دیسک برمی‌گرداند. برای بکاپ دیتابیس هم الگوی متفاوتی لازم است: خروجی mysqldump را با تاریخ در نام فایل در باکت جداگانه بگذارید و برای آن باکت چرخهٔ عمر تعریف کنید تا نسخه‌های قدیمی خودکار حذف شوند.

کجا این تصمیم به زیرساخت بزرگ‌تر وصل می‌شود

وقتی فایل‌ها از سرور جدا شدند، سرور دیگر حالت‌دار نیست و می‌توانید بدون نگرانی از دست رفتن آپلودها، ماشین را بازسازی یا مقیاس کنید. این همان شرطی است که مقیاس‌پذیری خودکار افقی را عملی می‌کند؛ بدون آن، هر نمونهٔ جدید یک نسخهٔ ناقص از فایل‌ها دارد.

اگر روی کوبرنتیز کار می‌کنید، الگوی درست استفاده از PersistentVolume برای دیتابیس و باکت برای مدیاست. ترکیب این دو با کوبرنتیز مدیریت‌شده کار بازسازی و بازیابی را ساده‌تر می‌کند، چون خود باکت خارج از کلاستر عمر می‌کند.

برای بکاپ و بازیابی، یک تست واقعی انجام دهید: یک فایل ۵ گیگابایتی را از باکت دانلود کنید و زمانش را اندازه بگیرید. اگر بازیابی چند ساعت طول می‌کشد، مشکل در معماری است نه در سرویس. این عدد را در پایش و هشداردهی خودتان به‌عنوان شاخص ثبت کنید تا وقتی کند شد، بدانید.

اگر هنوز در حال انتخاب بستر هستید، فضای ذخیره‌سازی آبجکت نقطهٔ شروع منطقی است و بقیهٔ ماشین‌ها می‌توانند روی زیرساخت ابری (IaaS) بمانند. برای پروژه‌هایی که حجم فایل هنوز کوچک است، همان سرور ابری با دیسک کافی انتخاب ساده‌تری است و مهاجرت را به ماه‌های بعد موکول می‌کند.

پرسش‌های پرتکرار

آیا می‌توانم فایل‌های سایت را مستقیم از استوریج آبجکت سرو کنم؟

بله، اما برای فایل‌های عمومی و پرترافیک بهتر است یک CDN جلوی باکت بگذارید. سرو مستقیم از باکت کار می‌کند ولی هزینهٔ ترافیک خروجی و تأخیر برای کاربران دور از منطقهٔ باکت بیشتر می‌شود.

برای فایل‌های خصوصی، همیشه URL امضاشده با انقضای کوتاه بدهید و آن را در دیتابیس ذخیره نکنید؛ چون بعد از انقضا لینک مرده است.

چطور بفهمم استوریج آبجکت برای سایت من گران‌تر از دیسک است یا نه؟

سه عدد را کنار هم بگذارید: حجم کل فایل‌ها، حجم ترافیک ماهانهٔ خروجی، و تعداد درخواست. اگر ترافیک خروجی بالاست، CDN تفاوت را مشخص می‌کند. اگر تعداد درخواست بالاست ولی حجم فایل‌ها کم است، احتمالاً دیسک انتخاب ارزان‌تری است.

یک ماه لاگ دسترسی را جمع کنید و بعد تصمیم بگیرید. تصمیم بر اساس حدس، معمولاً به ضرر باکت تمام می‌شود.

آیا استوریج آبجکت برای بکاپ دیتابیس مناسب است؟

بله و یکی از بهترین کاربردهایش همین است، به شرطی که چرخهٔ عمر تعریف کنید. بدون آن، نسخه‌های قدیمی جمع می‌شوند و هزینهٔ حجم بی‌دلیل بالا می‌رود.

نام فایل را با تاریخ و ساعت بسازید و سیاست نگه‌داری را روی مثلاً ۳۰ روز بگذارید. بازیابی را هم ماهی یک‌بار واقعاً تست کنید.

مهاجرت فایل‌ها چقدر طول می‌کشد و آیا سایت قطع می‌شود؟

زمان مهاجرت به حجم فایل‌ها و پهنای باند بستگی دارد و با aws s3 sync می‌توانید آن را در چند مرحله انجام دهید. قطعی لازم نیست اگر لایهٔ خواندن دوگانه را قبل از تغییر مسیر نوشتن فعال کنید.

ترتیب امن این است: کپی اولیه، نوشتن جدید در باکت، خواندن دوگانه، و در آخر حذف دیسک. هر مرحله را جدا تست کنید.

قدم بعدی ساده است: امشب یک باکت خصوصی بسازید، سیاست حداقلی را اعمال کنید و فقط پوشهٔ آپلودهای یک ماه گذشته را با sync منتقل کنید. اگر آن یک ماه بدون مشکل کار کرد، بقیه را هم منتقل کنید.

پشتیبانی سرورنت

تیم فنی و تحریریه‌ی سرورنت — تخصص در زیرساخت، شبکه و میزبانی وب.

زیرساخت ابری (IaaS)
اشتراک‌گذاری:

دیدگاه‌ها ۰

هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید!

دیدگاه خود را بنویسید

سرویس مرتبط

زیرساخت ابری (IaaS)

سرور، شبکه خصوصی، فایروال و استوریج — همه با API و پرداخت ساعتی. زیرساختی که با کد ساخته می‌شود و با رشد شما مقیاس می‌گیرد.