Bulut & Altyapı

Nesne depolama: maliyet, erişim ve dosya taşıma

Sunucu diski yüklenen dosyalarla dolduysa, bu kılavuz gerçek kararı netleştirir: maliyet, genel veya imzalı erişim ve güvenli taşıma yolu.

Bulut & Altyapı

Sunucu diskiniz doldu ve df -h komutu / bölümünde %100'e yakın bir değer gösteriyor. En büyük hacim de kullanıcıların fotoğraf ve video yüklediği klasöre ait. Eğer şimdiye kadar dosyaları uygulama koduyla birlikte tutuyorsanız, artık bir karar vermeniz gereken noktaya geldiniz: diski büyütmek mi yoksa dosyaları nesne depolamaya taşımak mı? Bu makale tam da bu karar hakkında, teknoloji tanımı hakkında değil.

Diski büyütmek neden kalıcı çözüm değil

Diski büyütmek en hızlı yoldur ve birkaç ay işe yarar. Sorun şu ki her büyütmede yedek de büyür. 500 GB yüklenmiş dosyası olan bir sunucu her gece 500 GB yedek trafiği üretir ve yedek aynı altyapıda olursa hem maliyet hem de geri yükleme süresi artar. Pratikte gördüm ki ayda bir disk ekleyen bir ekip, bir yıl sonra tam geri yüklemesi birkaç saat süren bir sunucuyla karşı karşıya kalıyor.

Nesne depolama bu kalıbı değiştirir. Dosya hesaplama makinesinden ayrılır, bir URL veya anahtarla erişilebilir ve sürümleme ile yaşam döngüsünü hizmetin kendisi yönetir. Ancak ücretsiz değildir ve doğru seçim yapmazsanız maliyeti diskten bile fazla olur.

Maliyet modeli: ilk faturada görünmeyen şey

Nesne depolama maliyetinin üç bileşeni vardır: depolanan hacim, istek sayısı ve çıkış trafiği. Birinci bileşen öngörülebilirdir. İkinci ve üçüncü değildir ve en büyük hata tam burada olur.

Gerçek bir örnek: 200 GB ürün fotoğrafı olan bir site, görselleri doğrudan bucket'tan kullanıcıya verirse ayda birkaç terabayt çıkış üretir. Aynı görseller CDN arkasından sunulursa bu trafiğin büyük kısmı önbelleğe alınır ve çıkış maliyeti belirgin şekilde düşer. Bu yüzden doğru mimaride bucket kaynaktır ve içerik dağıtım ağı kullanıcıya teslim yoludur.

İkinci bileşen, yani istek sayısı, kodunuz her ziyaret için tam bir liste çektiğinde pahalılaşır. Uygulama her sayfa yüklemesinde dosya var mı yok mu diye bakmak için ListObjectsV2 çağırırsa, istek sayısı site trafiğiyle birlikte artar, dosya hacmiyle değil. Bunu hacim panosunda değil, erişim günlüğünde görürsünüz.

Üç seçeneğin pratik karşılaştırması

SeçenekBaskın maliyetNerede işe yararNerede başarısız olur
Yerel sunucu diskiDisk hacmi ve yedekKüçük dosyalar, sık erişim, tek sunuculu uygulamaSonsuz büyüme, ağır yedek, zor yatay ölçekleme
Nesne depolamaHacim + istek + çıkışBüyük dosyalar, arşiv, medya, yedekSık rastgele erişimli küçük dosyalar
Bağlı blok diskTahsis edilen hacimVeritabanı, yüksek IOPS gerektiren dosyalarBirden fazla sunucu arasında paylaşım, ucuz arşiv

Kullanıcıların yüklediği dosyalar için benim tercihim nesne depolamadır. Veritabanı ve işleme sırasında kullanılan geçici dosyalar için blok disk. Uygulamanız günde milyonlarca 10 KB altı küçük dosyayı rastgele okuyorsa, nesne depolama kötü bir seçimdir ve aynı yerel disk daha iyi sonuç verir.

Genel erişime karşı imzalı erişim

Neredeyse her zaman maliyet sorusundan sonra gelen ikinci soru: bucket'ı genel yapayım mı yapmayayım mı? Kısa cevap, varsayılanın özel olması ve yalnızca gerçekten genel olması gerekenin genel yapılmasıdır.

Özel bucket'ta erişim imzalı URL aracılığıyla yapılır. AWS CLI ile şöyle üretilir:

aws s3 presign s3://my-bucket/uploads/report.pdf --expires-in 3600

3600 saniye değeri bir saat geçerlilik anlamına gelir. Bu URL'yi erişim anahtarını ifşa etmeden kullanıcıya verebilirsiniz. SDK ile çalışıyorsanız karşılığı aynı son kullanma parametresiyle getSignedUrl'dir.

Günlükte göreceğiniz yaygın hata şudur:

AccessDenied: Access Denied
status code: 403

Ve genellikle dosyanın var olmadığı değil, bucket politikasını yanlış yazdığınız anlamına gelir. Yalnızca bir klasör için genel okuma sağlayan asgari bir politika:

{
  "Version": "2012-10-17",
  "Statement": [{
    "Effect": "Allow",
    "Principal": "*",
    "Action": "s3:GetObject",
    "Resource": "arn:aws:s3:::my-bucket/public/*"
  }]
}

Dikkat edin, Resource public/* ile sınırlandırılmış. Eğer my-bucket/* yazarsanız, geçen hafta oraya koyduğunuz veritabanı yedeği de dahil her şey genel olur.

İşte burada hata yapıyorlar

Birkaç kez gördüğüm gerçek hata: ekip kolaylık olsun diye bucket'ı genel yapar, böylece görsel bağlantıları yönetim panelinde çalışır. Birkaç ay sonra otomatik bir tarayıcı bucket listesini okur ve veritabanı çıktısı da dahil dahili dosyalar dizinlenir. İşareti erişimlerde değil; aniden birkaç katına çıkan çıkış trafiği faturasındadır. Bu kalıbı panoda gördüyseniz önce bucket politikasını, sonra CDN'i kontrol edin.

Kesintisiz taşıma: pratik yol

Taşımayı bir gecede yapmayın. Doğru sıra şudur: önce eski ve az erişilen dosyaları taşıyın, sonra yeni dosyaları doğrudan bucket'a yazın ve en son okuma yolunu değiştirin.

  1. aws s3 sync /var/www/uploads s3://my-bucket/uploads --exclude "*.tmp" ile ilk kopyayı alın. Bu komut sonraki çalıştırmada yalnızca farkları taşır.
  2. Uygulamayı yeni dosyayı bucket'a yazacak ve yolunu veritabanına kaydedecek şekilde değiştirin. Eski dosyalar hâlâ diskten okunur.
  3. Önce bucket'ı deneyen, yoksa diskten okuyan bir okuma katmanı yazın. Bu katmanı birkaç hafta tutun.
  4. Emin olduktan sonra diski salt okunur yapın ve sonunda silin.

Üçüncü adımı atlamayın. Sync eksik kaldıysa kullanıcıya 404 hatası yerine dosyayı diskten geri getiren işte bu katmandır. Veritabanı yedeği için de farklı bir kalıp gerekir: mysqldump çıktısını dosya adında tarihle ayrı bir bucket'a koyun ve eski sürümlerin otomatik silinmesi için o bucket'a yaşam döngüsü tanımlayın.

Bu karar nerede daha büyük altyapıya bağlanır

Dosyalar sunucudan ayrıldığında sunucu artık durumsuzdur ve yüklemelerin kaybolması endişesi olmadan makineyi yeniden oluşturabilir veya ölçekleyebilirsiniz. Yatay otomatik ölçeklemeyi pratik kılan tam da bu koşuldur; o olmadan her yeni örnek dosyaların eksik bir kopyasına sahip olur.

Kubernetes üzerinde çalışıyorsanız doğru kalıp veritabanı için PersistentVolume ve medya için bucket kullanmaktır. Bu ikisini yönetilen Kubernetes ile birleştirmek yeniden oluşturma ve geri yükleme işini kolaylaştırır, çünkü bucket'ın kendisi küme dışında yaşar.

Yedekleme ve geri yükleme için gerçek bir test yapın: bucket'tan 5 GB'lık bir dosya indirin ve süresini ölçün. Geri yükleme birkaç saat sürüyorsa sorun hizmette değil mimaridedir. Bu değeri izleme ve uyarı sisteminize gösterge olarak kaydedin ki yavaşladığında bilesiniz.

Hâlâ platform seçimi yapıyorsanız, nesne depolama alanı mantıklı başlangıç noktasıdır ve diğer makineler bulut altyapısı (IaaS) üzerinde kalabilir. Dosya hacminin hâlâ küçük olduğu projeler için yeterli diskli aynı bulut sunucu daha basit bir seçimdir ve taşımayı sonraki aylara erteler.

Sık sorulan sorular

Site dosyalarını doğrudan nesne depolamadan sunabilir miyim?

Evet, ancak genel ve yüksek trafikli dosyalar için bucket'ın önüne bir CDN koymanız daha iyi olur. Doğrudan bucket'tan sunum çalışır ama çıkış trafiği maliyeti ve bucket bölgesinden uzak kullanıcılar için gecikme artar.

Özel dosyalar için her zaman kısa son kullanma süreli imzalı URL verin ve bunu veritabanına kaydetmeyin; çünkü son kullanma süresinden sonra bağlantı ölüdür.

Nesne depolamanın sitem için diskten daha pahalı olup olmadığını nasıl anlarım?

Üç sayıyı yan yana koyun: toplam dosya hacmi, aylık çıkış trafiği hacmi ve istek sayısı. Çıkış trafiği yüksekse CDN farkı belirler. İstek sayısı yüksek ama dosya hacmi düşükse, muhtemelen disk daha ucuz bir seçimdir.

Bir aylık erişim günlüğü toplayın ve sonra karar verin. Tahmine dayalı karar genellikle bucket'ın aleyhine sonuçlanır.

Nesne depolama veritabanı yedeği için uygun mu?

Evet ve en iyi kullanım alanlarından biri tam da budur, yeter ki yaşam döngüsü tanımlayın. O olmadan eski sürümler birikir ve hacim maliyeti gereksiz yere artar.

Dosya adını tarih ve saatle oluşturun ve saklama politikasını örneğin 30 gün olarak ayarlayın. Geri yüklemeyi de ayda bir gerçekten test edin.

Dosya taşıma ne kadar sürer ve site kesintiye uğrar mı?

Taşıma süresi dosya hacmine ve bant genişliğine bağlıdır ve aws s3 sync ile bunu birkaç aşamada yapabilirsiniz. Yazma yolunu değiştirmeden önce çift okuma katmanını etkinleştirirseniz kesinti gerekmez.

Güvenli sıra şudur: ilk kopya, bucket'a yeni yazma, çift okuma ve en son disk silme. Her adımı ayrı ayrı test edin.

Sonraki adım basit: bu gece özel bir bucket oluşturun, asgari politikayı uygulayın ve yalnızca son bir aylık yüklemeler klasörünü sync ile taşıyın. O bir ay sorunsuz çalışırsa geri kalanını da taşıyın.

ServerNet Destek

ServerNet mühendislik ve yayın ekibi — altyapı, ağ ve web barındırma uzmanları.

Bulut Altyapı (IaaS)
Paylaş:

Yorumlar 0

Henüz yorum yok — ilk siz olun!

Yorum bırakın

İlgili hizmet

Bulut Altyapı (IaaS)

Sunucular, özel ağlar, güvenlik duvarları ve depolama — hepsi API ile, saatlik faturalandırma.