robots.txt Üreteci

Yaygın hatalar olmadan doğru robots dosyası oluşturun.

Ücretsiz
Tüm araçlar tarayıcınızda çalışır; sunucularımıza hiçbir veri gönderilmez.
Dosyayı site kökünüze robots.txt adıyla kaydedin.

robots.txt Üreteci hakkında

robots.txt dosyası arama motoru tarayıcılarına sitenizin hangi bölümlerini atlayacağını söyler. Yapay zekâ tarayıcıları da devreye girince birçok site artık GPTBot, ClaudeBot ve benzerlerini yönetiyor — bu araçta o kurallar hazır duruyor.

robots.txt Üreteci nasıl kullanılır

  1. 1

    Taranmasını istemediğiniz yolları listeleyin, örneğin yönetim paneli veya iç arama sayfaları.

  2. 2

    İsterseniz yapay zekâ tarayıcı erişimini kapatın.

  3. 3

    Tarayıcıların sayfaları daha hızlı bulması için site haritası adresinizi ekleyin.

  4. 4

    Dosyayı alan adı kök dizinine yükleyin — alt klasörde değil, kökte olmalıdır.

Sıkça sorulan sorular

robots.txt sayfaya erişimi engeller mi?

Hayır ve bu yanlış anlama tehlikelidir. Dosya tarayıcılara yapılan kibar bir ricadır; herkes okuyup yasakladığınız yolları görebilir. Gerçek koruma için kimlik doğrulama kullanın.

Engellediğim sayfa neden hâlâ Google'da?

Taramayı engellemek dizinden çıkarmakla aynı şey değildir. Başka sayfalar bağlantı veriyorsa Google adresi içeriksiz dizine alabilir. Gerçekten kaldırmak için noindex etiketi gerekir — o da sayfanın robots ile engellenmemiş olmasını gerektirir.

Yapay zekâ tarayıcılarını engellemeli miyim?

Stratejinize bağlı. Engellemek içeriğinizi eğitim verisinden uzak tutar ama sitenizin yapay zekâ asistan yanıtlarında görünme sıklığını da azaltır.

İlgili araçlar

Meta Etiket & Open Graph Üreteci Başlık, açıklama, OG ve Twitter etiketlerini canlı önizlemeyle oluşturun. .htaccess Yönlendirme Üreteci HTTPS, www, sayfa ve alan adı yönlendirmeleri için hazır kurallar. UTM Bağlantı Oluşturucu Standart Google Analytics parametreleriyle kampanya bağlantısı oluşturun. HTML Entity Kodlayıcı & Çözücü Özel karakterleri entity'lere çevirin ve geri alın.
Tüm araçları gör