سئو و دیجیتال مارکتینگ

robots.txt: چرا Disallow صفحه را از گوگل حذف نمی‌کند

اگر بعد از Disallow در robots.txt هنوز صفحه‌ات در نتایج گوگل دیده می‌شود، مشکل از فایل نیست؛ از تفاوت خزش و ایندکس است. این‌جا دقیقاً کجا اشتباه می‌کنیم.

سئو و دیجیتال مارکتینگ

صفحه‌ای را در robots.txt مسدود کرده‌اید، دو هفته گذشته، و هنوز همان صفحه با عنوان و توضیح قدیمی در نتایج گوگل بالا می‌آید. یا بدتر: در Search Console ناگهان هشدار «Blocked by robots.txt» روی صفحاتی ظاهر شده که هیچ‌وقت نمی‌خواستید از دستشان بدهید. هر دو حالت یک ریشه دارند و آن ریشه، فایل robots.txt نیست. برداشت شما از کاری است که این فایل انجام می‌دهد.

robots.txt یک فایل متنی ساده در ریشه دامنه است که به خزنده‌ها می‌گوید کدام مسیرها را درخواست نکند. همین. نه بیشتر. نه حذف از ایندکس، نه پنهان‌کردن محتوا، نه محافظت از اطلاعات. اگر این یک جمله را درست بفهمید، نیمی از خطاهای این فایل خودبه‌خود از بین می‌رود.

Disallow خزش را می‌بندد، ایندکس را نه

وقتی گوگل‌بات به یک URL مسدودشده می‌رسد، محتوای صفحه را نمی‌خواند اما URL را می‌بیند. از کجا؟ از لینک‌های داخلی، از نقشه سایت، از بک‌لینک‌های خارجی. و چون نمی‌تواند بخواند، ممکن است همان URL را با عنوان و اسنیپت حدسی ایندکس کند. نتیجه این است: صفحه‌ای که شما «مسدود» کرده‌اید، در نتایج جست‌وجو دیده می‌شود، فقط بدون محتوای واقعی.

این‌جا اشتباه می‌کنند. مدیر سایت فکر می‌کند Disallow یعنی حذف، و وقتی می‌بیند صفحه هنوز در گوگل است، مسیر را عمیق‌تر مسدود می‌کند. مثلاً Disallow: / می‌گذارد تا «همه‌چیز پاک شود». علامت واقعی این خطا در Search Console این است: گزارش Pages پر می‌شود از «Indexed, though blocked by robots.txt» و هم‌زمان تعداد صفحات ایندکس‌شده بالا می‌رود، نه پایین. اگر این عبارت را در گزارش دیدید، مشکل دقیقاً همین است.

راه درست حذف یک صفحه از نتایج

ترتیب کار مهم است و اگر جابه‌جا شود، هیچ‌کدام جواب نمی‌دهد:

  1. اول تگ <meta name="robots" content="noindex"> را در <head> صفحه بگذارید و مطمئن شوید robots.txt اجازه خزش می‌دهد.
  2. صبر کنید گوگل صفحه را دوباره بخزد و تگ را ببیند. این ممکن است روزها طول بکشد.
  3. بعد از اینکه در گزارش Coverage وضعیت به «Excluded by noindex» تغییر کرد، تازه می‌توانید مسیر را در robots.txt مسدود کنید.

اگر مرحله یک و دو را رد کنید و مستقیم Disallow بزنید، گوگل هرگز تگ noindex را نمی‌بیند، چون اجازه خواندن صفحه را ندارد. صفحه برای همیشه در آن حالت معلق می‌ماند. برای حذف فوری هم ابزار Removals در Search Console هست، ولی آن موقتی است و بعد از حدود شش ماه منقضی می‌شود.

یک کاراکتر اضافه که کل سایت را از گوگل حذف می‌کند

رایج‌ترین فاجعه‌ای که در این فایل دیده‌ام، یک اسلش است. این دو خط را مقایسه کنید:

Disallow: /search
Disallow: /search/

خط اول هر مسیری که با search شروع شود را می‌بندد؛ از جمله /search-results و حتی /searchbox-help. خط دوم فقط پوشه را. اگر ساختار URL شما صفحات مهمی دارد که با همان پیشوند شروع می‌شوند، خط اول بی‌سروصدا آن‌ها را از خزش خارج می‌کند. نشانه‌اش این است: رتبه‌های سایت در بازه‌ای چند هفته‌ای افت می‌کند، ترافیک ارگانیک شیب ملایم نزولی می‌گیرد، و هیچ خطای سروری در لاگ نیست.

حالت بدتر، مسدودکردن فایل‌های CSS و JS است. گوگل برای رندر صفحه به آن‌ها نیاز دارد و اگر مسدود باشند، صفحه را ناقص می‌بیند. در Search Console گزارش «Page resources couldn't be loaded» ظاهر می‌شود و ارزیابی Core Web Vitals سایت عملاً بی‌معنی می‌شود. برای سنجش درست سرعت واقعی کاربران، مسیر فایل‌های استاتیک باید باز باشد.

الگوی امن برای یک سایت فارسی

این بلوک پایه را روی اکثر سایت‌هایی که مدیریت می‌کنم استفاده می‌کنم و بعد بر اساس ساختار واقعی سایت اصلاحش می‌کنم:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /*?orderby=
Disallow: /*?filter_
Disallow: /cart
Disallow: /checkout

Sitemap: https://example.com/sitemap_index.xml

دو نکته در همین بلوک. اول، Allow همیشه بر Disallow اولویت دارد وقتی طول مسیر برابر یا بیشتر باشد؛ به همین دلیل خط admin-ajax بعد از Disallow می‌آید و کار می‌کند. دوم، پارامترهای جست‌وجوی داخلی و فیلترها را می‌بندم چون هر ترکیب پارامتر یک URL جدید می‌سازد و بودجه خزش را می‌بلعد. اگر سایت شما هزاران صفحه فیلتر دارد، این کار تفاوت محسوسی در تعداد صفحات خزش‌شده روزانه ایجاد می‌کند.

هشدار عملی: الگوی /*?* را نزنید. خیلی از سایت‌ها پارامترهای مهمی مثل ?page=2 در آرشیو یا ?lang=fa دارند و با این الگو همه را از دست می‌دهند. اگر مطمئن نیستید کدام پارامترها بی‌ارزش‌اند، اول لاگ سرور را نگاه کنید و ببینید گوگل‌بات واقعاً چه چیزی می‌خزد.

خطای ۵۰۳ به‌جای ۴۰۴؛ اشتباهی که خزش را متوقف می‌کند

اگر robots.txt را حذف کنید یا اسمش را عوض کنید و به‌جایش پاسخ 404 بدهید، گوگل رفتار درست را انجام می‌دهد: فرض می‌کند محدودیتی نیست و همه‌چیز را می‌خزد. اما اگر سرور به‌جای 404، کد 503 یا 500 برگرداند، گوگل فایل را «موقتاً در دسترس نیست» تفسیر می‌کند و در بازه‌ای که این وضع ادامه دارد، خزش را متوقف نگه می‌دارد. اگر این حالت چند روز طول بکشد، افت ترافیک واقعی می‌بینید.

این اتفاق بیشتر وقتی می‌افتد که robots.txt را به یک اسکریپت پویا وصل کرده‌اید یا فایل را پشت CDN گذاشته‌اید و آن لایه، درخواست را به صفحه خطا ریدایرکت می‌کند. تست ساده‌اش این است:

curl -I https://example.com/robots.txt

باید HTTP/2 200 و content-type: text/plain ببینید. اگر 301 یا 302 دیدید، یعنی فایل جای درستی نیست. اگر 403 دیدید، یعنی WAF یا تنظیمات سرور جلوی دسترسی گوگل‌بات را گرفته و این خودش یک مشکل جدی‌تر است. برای بررسی لایه‌های DNS و دسترسی، از بررسی فنی دامنه و DNS شروع کنید تا مطمئن شوید مشکل از رکوردهای دامنه نیست.

وقتی robots.txt جواب نمی‌دهد و باید سراغ چیز دیگری رفت

سه سناریو هست که در آن‌ها به‌جای دست‌کاری robots.txt باید ابزار دیگری برداشت. اول، صفحات نتیجه جست‌وجوی داخلی: مسدودکردنشان در robots.txt درست است، ولی اگر لینک داخلی زیادی به آن‌ها اشاره کند، بهتر است لینک‌ها را nofollow کنید یا صفحه را noindex بزنید. دوم، صفحات بک‌اند مثل پنل کاربری: این‌ها را با احراز هویت ببندید، نه با robots.txt؛ چون robots.txt یک فایل عمومی است و هر کسی می‌تواند بخواندش. سوم، محتوای تکراری ناشی از پارامترهای UTM: اینجا تگ canonical بهتر از Disallow عمل می‌کند، چون سیگنال‌های لینک را حفظ می‌کند.

و یک هزینه که باید بدانید: هر خط Disallow یعنی گوگل اطلاعات کمتری درباره سایت شما دارد. اگر بیش از حد مسدود کنید، در تشخیص محتوای تکراری و انتخاب صفحه canonical ضعیف‌تر عمل می‌کند. من در عمل ترجیح می‌دهم کمترین تعداد مسیر را مسدود کنم و بقیه را با noindex و canonical مدیریت کنم. فقط وقتی Disallow می‌زنم که هدف صرفه‌جویی در بودجه خزش باشد، نه حذف از ایندکس.

ترتیب تست بعد از هر تغییر

بعد از هر ویرایش، این سه کار را به ترتیب انجام دهید. اول، فایل را در Search Console با ابزار robots.txt Tester یا گزارش Settings > robots.txt تست کنید. دوم، یک URL نمونه را با ابزار URL Inspection زنده تست کنید و ببینید گوگل چه منابعی را نتوانسته بارگذاری کند. سوم، لاگ سرور را برای کدهای 403 و 503 روی مسیرهای مهم بررسی کنید. اگر می‌خواهید فهرست کامل ابزارهای تشخیصی را یک‌جا داشته باشید، ابزارهای سئو و وب‌مستر نقطه شروع خوبی است.

یک نکته پایانی درباره زمان‌بندی: تغییر در robots.txt فوری اثر نمی‌گذارد. گوگل نسخه‌ای از فایل را کش می‌کند و ممکن است تا حدود یک روز از نسخه قدیمی استفاده کند. اگر بعد از چند ساعت تغییر را ندیدید، خرابی نیست؛ صبر کنید و دوباره تست بگیرید.

اگر تیم ندارید که این چرخه تست و بازبینی را مرتب انجام دهد، خدمات سئو سرورنت همین لایه فنی را پوشش می‌دهد؛ ولی حتی اگر خودتان انجام می‌دهید، عادت درست این است که قبل از هر Disallow یک سؤال بپرسید: می‌خواهم گوگل این صفحه را نخزد، یا می‌خواهم در نتایج نباشد؟ جواب این سؤال، ابزار را انتخاب می‌کند.

پرسش‌های پرتکرار

آیا Disallow در robots.txt صفحه را از نتایج گوگل حذف می‌کند؟

نه. Disallow فقط مانع خزش می‌شود و صفحه می‌تواند با عنوان و اسنیپت حدسی در نتایج باقی بماند. برای حذف واقعی باید ابتدا تگ noindex بگذارید، اجازه خزش بدهید تا گوگل آن را ببیند، و بعد در صورت نیاز مسیر را مسدود کنید.

چرا بعد از مسدودکردن یک مسیر، تعداد صفحات ایندکس‌شده بیشتر شد؟

این معمولاً یعنی گوگل URL را از لینک‌های دیگر کشف کرده ولی نمی‌تواند محتوایش را بخواند، پس آن را با اطلاعات ناقص ثبت می‌کند. گزارش «Indexed, though blocked by robots.txt» در Search Console همین وضعیت را نشان می‌دهد. راه‌حل، برداشتن Disallow و استفاده از noindex است.

اگر robots.txt را کامل حذف کنم چه اتفاقی می‌افتد؟

اگر سرور برای مسیر robots.txt کد 404 برگرداند، گوگل فرض می‌کند محدودیتی وجود ندارد و همه مسیرها را می‌خزد. اما اگر به‌جای 404 کد 503 یا 500 برگردد، گوگل خزش را موقتاً متوقف می‌کند و ممکن است افت ترافیک ببینید. با curl -I کد وضعیت را چک کنید.

آیا مسدودکردن فایل‌های CSS و JS در robots.txt مشکلی ایجاد می‌کند؟

بله. گوگل برای رندر صفحه به این فایل‌ها نیاز دارد و اگر مسدود باشند، صفحه را ناقص ارزیابی می‌کند. نتیجه‌اش خطای «Page resources couldn't be loaded» در Search Console و ارزیابی نادرست Core Web Vitals است. مسیر فایل‌های استاتیک را باز بگذارید.

پشتیبانی سرورنت

تیم فنی و تحریریه‌ی سرورنت — تخصص در زیرساخت، شبکه و میزبانی وب.

خدمات سئو
اشتراک‌گذاری:

دیدگاه‌ها ۰

هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید!

دیدگاه خود را بنویسید

سرویس مرتبط

خدمات سئو

سئو یک هزینه نیست، یک سرمایه‌گذاری است. تیم سرورنت با سئوی تکنیکال، استراتژی محتوا و لینک‌سازی اصولی، رتبه‌ی سایت شما را در گوگل بالا می‌برد و ترافیک ارگانیک واقعی و پایدار می‌سازد.