در Search Console گزارش نقشه سایت را باز کردهاید و وضعیت Couldn't fetch یا Sitemap could not be read است. یا بدتر: وضعیت Success است ولی از ۴۰ هزار URL ثبتشده فقط ۶ هزار صفحه در گزارش Pages ایندکس شدهاند. این دو حالت دو مشکل کاملاً متفاوتاند و راهحلشان هم هیچ ربطی به هم ندارد. قبل از هر تغییری باید بفهمید کدامیک را دارید.
سقف واقعی نقشه سایت XML کجاست
محدودیت رسمی گوگل روشن است: هر فایل نقشه سایت حداکثر ۵۰٬۰۰۰ URL و حداکثر ۵۰ مگابایت حجم غیرفشرده. اگر فایل را با gzip میفرستید، حجم فشرده باید زیر ۵۰ مگابایت باشد ولی سقف تعداد URL همان ۵۰ هزار میماند؛ فشردهسازی تعداد را بالا نمیبرد. برای سایتهای بزرگتر باید از sitemap index استفاده کنید: یک فایل مادر که فقط به نقشههای فرزند اشاره میکند.
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-posts-1.xml</loc>
<lastmod>2025-02-11T08:20:00+03:30</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-products-1.xml</loc>
<lastmod>2025-02-10T19:05:00+03:30</lastmod>
</sitemap>
</sitemapindex>
یک نکته که کمتر گفته میشود: سقف ۵۰ هزارتایی در عمل خیلی زودتر از آنچه فکر میکنید به دردسر میخورد. اگر سایت ووکامرسی دارید، هر محصول با تگ، دسته و فیلترهای ترکیبی میتواند دهها URL تولید کند. من سایتهایی دیدهام که ۱۲ هزار محصول داشتند و نقشه سایتشان ۳۸۰ هزار URL بود؛ بیشترش صفحات فیلتر که هیچوقت ایندکس نمیشوند.
چرا نقشه سایت بزرگ به ضرر شما تمام میشود
نقشه سایت یک لیست اولویت نیست، یک فهرست کشف است. وقتی ۹۰ درصد URLهای آن صفحاتی باشند که خودتان نمیخواهید ایندکس شوند، نسبت «صفحات باکیفیت به کل» در نگاه خزنده گوگل پایین میآید. نتیجهاش را در گزارش Page indexing میبینید: ردیف Crawled - currently not indexed مرتب بالا میرود و صفحات مهم هم در صف میمانند. راهحل، حذف فیلترها از نقشه سایت و بستنشان با noindex است، نه بزرگتر کردن نقشه.
lastmod قابل اعتماد: تنها فیلدی که واقعاً به کار میآید
گوگل صریح گفته که priority و changefreq را نادیده میگیرد. این دو فیلد را نگه دارید اگر ابزارتان خودش میسازد، ولی وقت نگذارید. تنها فیلدی که رفتار خزش را تغییر میدهد lastmod است، آن هم به یک شرط: باید راست بگوید.
خطای رایج این است که تاریخ آخرین تغییر را از date_modified قالب میگیرید و آن فیلد با هر ذخیرهای، حتی ذخیرهٔ خودکار پیشنویس، بهروز میشود. نتیجه: هر بار که یک ویرایشگر صفحه را باز میکند، lastmod عوض میشود و گوگل بعد از چند هفته یاد میگیرد که به این فیلد اعتماد نکند. علائمش را در Search Console میبینید: گزارش Crawl stats نشان میدهد صفحاتی که هیچ تغییری نکردهاند دوباره خزیده میشوند، و صفحات تازهتر در صف میمانند.
قاعدهای که خودم رعایت میکنم: lastmod را فقط وقتی تغییر بدهید که محتوای قابل مشاهده برای کاربر عوض شده باشد. تاریخ را با منطقهٔ زمانی کامل بنویسید (2025-02-11T08:20:00+03:30)، نه فقط 2025-02-11. اگر مطمئن نیستید تاریخها درستاند، بهتر است فیلد را کلاً حذف کنید تا اینکه دروغ بگویید.
نقشه سایت XML را کجا معرفی کنیم و کجا نه
آدرس نقشه سایت را در robots.txt بنویسید. یک خط، در انتهای فایل:
Sitemap: https://example.com/sitemap.xml
این خط هیچ تأثیری روی خزش ندارد ولی کشف نقشه را برای همهٔ موتورهای جستجو ساده میکند. خود فایل نقشه سایت را هرگز در robots.txt مسدود نکنید. این کلاسیکترین اشتباه این حوزه است و دقیقاً همان چیزی است که وضعیت Couldn't fetch را میسازد: گوگل اجازهٔ خواندن فایل را ندارد، پس نمیتواند بگوید چه چیزی داخلش است.
اگر سایت روی دامنهای با www و بدون www هر دو پاسخ میدهد، مطمئن شوید نقشه سایت فقط از یک نسخه سرو میشود و همان نسخه در Search Console بهعنوان property ثبت شده است. برای بررسی ریدایرکتها و رکوردهای DNS، بررسی فنی دامنه و DNS نقطهٔ شروع خوبی است؛ خیلی وقتها نقشه سایت سالم است ولی دامنه به نسخهٔ اشتباه ریدایرکت میشود.
اینجا اشتباه میکنند
خطای رایجی که بارها دیدهام: نقشه سایت را با یک پلاگین میسازند، بعد یک لایه کش یا CDN جلوی سایت میگذارند و فایل نقشه برای همیشه در کش میماند. علامتش این است که صفحهٔ جدید منتشر میکنید، در خود سایت هست، ولی در نقشه سایت نیست. هفتهها میگذرد و شما فکر میکنید مشکل از گوگل است. راه تشخیص سریع: نقشه سایت را با یک query string تصادفی باز کنید، مثلاً curl -I "https://example.com/sitemap.xml?v=123" و هدر X-Cache یا Age را ببینید. اگر Age عددی بزرگ برگرداند، فایل از کش سرو میشود. نقشه سایت باید Cache-Control: no-cache یا حداکثر چند ساعت کش داشته باشد، نه چند روز.
سایت بزرگ: نقشه سایت ایندکسشده یا تقسیمبندی دستی
دو راه برای سایت بزرگ دارید و انتخاب بینشان به یک چیز بستگی دارد: اینکه بتوانید نقشه را در زمان انتشار بهروز کنید یا نه.
| رویکرد | مزیت | هزینه |
|---|---|---|
| sitemap index با فایلهای ۵۰ هزارتایی | ساده، استاندارد، همه ابزارها پشتیبانی میکنند | باید هنگام انتشار بازتولید شود؛ اگر کش شود کهنه میماند |
| تقسیم دستی بر اساس نوع محتوا (محصول، مقاله، دسته) | میتوانید هر بخش را جداگانه در Search Console رصد کنید | نگهداری بیشتر؛ باید منطق تقسیم را در کد نگه دارید |
من روی سایتهای بالای ۱۰۰ هزار URL تقسیم بر اساس نوع محتوا را انتخاب میکنم، چون گزارش Search Console را قابل خواندن میکند: میبینید مشکل از محصولات است یا از مقالات. زیر آن عدد، یک نقشه ساده با بازتولید خودکار کافی است و نگهداری کمتری میخواهد.
یک محدودیت عملی که کمتر به آن میرسید: گوگل برای هر سایت سهمیهٔ خزش دارد. نقشه سایت بزرگتر، سهمیهٔ بیشتری نمیدهد. اگر سرعت پاسخ سرور پایین باشد، خزنده حتی نقشهٔ درست را هم با تأخیر میخواند. قبل از هر کاری مقدار TTFB را اندازه بگیرید؛ در مقالهٔ TTFB چیست و چرا سایت شما کند به نظر میرسد؟ روش اندازهگیریاش آمده است. عدد بالای ۸۰۰ میلیثانیه روی صفحات HTML یعنی مشکل اصلی جای دیگری است.
چه چیزی داخل نقشه سایت نگذاریم
- صفحات نتیجهٔ جستجوی داخلی، صفحهبندی فیلترها و URLهای دارای پارامتر مرتبسازی.
- صفحاتی که
noindexدارند. تناقض مستقیم است و اعتماد را کم میکند. - صفحات خطای ۴۰۴ و ۵۰۳. یک بار دیدهام نقشه سایت خودکار، آدرس صفحات حذفشده را نگه داشته بود و هر بار ۲٬۳۰۰ آدرس ۴۰۴ به گوگل تحویل میداد.
- نسخههای تکراری با
?utm_source=یا دامنهٔ آزمایشی.
و چه چیزی را بگذاریم: فقط URLهای canonical. اگر صفحهای canonical به آدرس دیگری اشاره میکند، همان آدرس مقصد را در نقشه بنویسید، نه نسخهٔ فعلی را. برای بررسی اینکه کدام صفحات واقعاً از دید کاربر سریع بار میشوند و ارزش خزش دارند، سنجش سرعت واقعی کاربران با CrUX و Core Web Vitals دادهٔ خوبی میدهد.
بررسی نهایی قبل از ثبت در Search Console
سه دستور، سه دقیقه. اول اعتبار XML را چک کنید:
xmllint --noout --schema http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd sitemap.xml
بعد کد وضعیت و نوع محتوا را ببینید:
curl -sI https://example.com/sitemap.xml | grep -Ei 'HTTP/|content-type|cache-control'
باید 200 و application/xml ببینید. اگر text/html برگشت، یعنی یک صفحهٔ خطا یا صفحهٔ ریدایرکت به جای نقشه سرو میشود؛ این دقیقاً همان حالتی است که Search Console میگوید فایل خوانده نشد. سوم، تعداد URLها را بشمارید تا مطمئن شوید از سقف رد نشدهاید:
grep -c "<loc>" sitemap.xml
اگر عدد از ۵۰۰۰۰ گذشت، باید نقشه را بشکنید. برای ابزارهای بررسی سریعتر، ابزارهای سئو و وبمستر کار را کوتاه میکند.
و یک تصمیم که باید بگیرید: آیا نقشه سایت را در زمان درخواست بسازید یا در زمان انتشار؟ ساخت در زمان درخواست روی سایت بزرگ با ترافیک بالا هزینهٔ CPU دارد و میتواند TTFB را بالا ببرد. ساخت در زمان انتشار سریعتر است ولی اگر job پسزمینه شکست بخورد، نقشه بیصدا کهنه میماند. من ساخت در زمان انتشار با یک هشدار پایش انتخاب میکنم؛ اگر تیم شما ظرفیت پایش ندارد، ساخت در زمان درخواست با کش کوتاه امنتر است.
اگر بخشی از این کارها خارج از توان تیم داخلی است، خدمات سئو سرورنت شامل بررسی فنی همین موارد است. در نهایت، تنها کاری که باید همین امروز انجام دهید این است: نقشه سایت را با curl -sI باز کنید و ببینید کد وضعیت ۲۰۰ است یا نه. بقیهٔ بحثها بعد از این جواب معنا پیدا میکنند.
پرسشهای پرتکرار
چرا گوگل نقشه سایت من را نمیخواند در حالی که در مرورگر باز میشود؟
معمولاً چون خزنده گوگل همان مسیری را طی نمیکند که مرورگر شما. اگر در robots.txt خط Disallow روی مسیر نقشه سایت باشد، یا فایل پشت یک لایه احراز هویت یا محدودیت IP باشد، گوگل به آن دسترسی ندارد. همچنین اگر سرور برای درخواستهای بدون user-agent مرورگری پاسخ متفاوتی بدهد، همین اتفاق میافتد. با curl -A "Googlebot" تست کنید.
آیا باید priority و changefreq را در نقشه سایت بنویسم؟
گوگل هر دو را نادیده میگیرد و خودش هم این را اعلام کرده است. نوشتنشان خطا نیست ولی هیچ سودی ندارد. اگر ابزار تولید نقشهتان خودکار اضافهشان میکند، لازم نیست حذفشان کنید. انرژیتان را روی درست بودن lastmod بگذارید که واقعاً اثر دارد.
حداکثر چند URL در یک نقشه سایت XML مجاز است؟
۵۰٬۰۰۰ URL و ۵۰ مگابایت حجم غیرفشرده برای هر فایل. برای بیشتر از این تعداد باید از sitemap index استفاده کنید که خودش هم سقف ۵۰٬۰۰۰ نقشهٔ فرزند دارد. در عمل، خیلی قبل از رسیدن به این سقف باید نقشه را بر اساس نوع محتوا تقسیم کنید تا گزارشها قابل تحلیل بمانند.
آیا نقشه سایت روی رتبه تأثیر دارد؟
مستقیماً نه. نقشه سایت ابزار کشف است، نه سیگنال رتبه. تأثیر غیرمستقیمش این است که صفحات تازه سریعتر پیدا و خزیده میشوند. اگر محتوای صفحه ضعیف باشد، بودنش در نقشه سایت هیچ کمکی نمیکند؛ فقط زودتر به همان نتیجه میرسید.
دیدگاهها ۰
هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید!