سازندهی robots.txt
ساخت فایل robots با قواعد درست و بدون اشتباه رایج.
دربارهی سازندهی robots.txt
فایل robots.txt به خزندههای موتور جستجو میگوید کدام بخشهای سایت را نخزند. با رشد خزندههای هوش مصنوعی، بسیاری از سایتها حالا GPTBot و ClaudeBot و مشابهها را هم مدیریت میکنند — این ابزار آن گزینهها را آماده دارد.
راهنمای استفاده از سازندهی robots.txt
- 1
مسیرهایی که نمیخواهید خزیده شوند را وارد کنید، مثل پیشخوان مدیریت یا صفحات جستجوی داخلی.
- 2
در صورت تمایل، دسترسی خزندههای هوش مصنوعی را ببندید.
- 3
آدرس نقشهی سایت خود را اضافه کنید تا خزندهها سریعتر صفحات را پیدا کنند.
- 4
فایل را در ریشهی دامنه قرار دهید؛ حتماً باید در مسیر ریشه باشد نه زیرپوشه.
پرسشهای متداول
robots.txt جلوی دسترسی به صفحه را میگیرد؟
خیر، و این یک سوءتفاهم خطرناک است. فایل فقط یک درخواست مؤدبانه به خزندههاست؛ هرکسی میتواند آن را بخواند و مسیرهای ممنوعه را ببیند. برای محافظت واقعی از احراز هویت استفاده کنید.
چرا صفحهای که در robots بستم هنوز در گوگل هست؟
چون مسدود کردن خزش با حذف از فهرست فرق دارد. اگر لینکی به آن صفحه وجود داشته باشد گوگل ممکن است آدرس را بدون محتوا فهرست کند. برای حذف قطعی از تگ noindex استفاده کنید — که آن هم مستلزم این است که صفحه در robots مسدود نباشد.
بستن خزندههای هوش مصنوعی کار درستی است؟
بستگی به راهبرد شما دارد. بستن، محتوا را از دادهی آموزشی دور نگه میدارد ولی از دیدهشدن سایت در پاسخهای دستیارهای هوش مصنوعی هم کم میکند.