GPTBot, ClaudeBot, PerplexityBot: robots.txt Rehberi

GPTBot, ClaudeBot ve PerplexityBot'u robots.txt dosyanızdan tek tek yönetebilirsiniz. Eğitim amaçlı botları engellemek yapay zeka görünürlüğünüzü düşürmez, ancak arama botlarını engellemek doğrudan düşürür. Bu rehberde her botun görevini, hazır robots.txt şablonlarını ve engellemenin gerçekte ne kadar bağlayıcı olduğunu bulacaksınız.

Yapay zeka botları sitenizden her gün içerik alıyor. Peki hangisi size ziyaretçi geri gönderiyor, hangisi yalnızca veri topluyor? Bu soruyu yanıtlamadan robots.txt dosyanıza dokunmak risklidir.

Tek satırlık yanlış bir kural, markanızı ChatGPT ve Perplexity cevaplarından tamamen silebilir. Danışmanlık verdiğim sitelerde en sık gördüğüm hata da bu. İyi niyetle yazılmış bir Disallow satırı, aslında görünürlüğü kapatıyor.

İyi haber şu: OpenAI, Anthropic ve Perplexity artık botlarını amaçlarına göre ayırdı. Yani "eğitime hayır, aramaya evet" demek mümkün. Bu yazıda o ayrımı adım adım kuruyoruz.

robots.txt Nedir ve Yapay Zeka Botları İçin Ne İşe Yarar?

robots.txt, sitenizin ana dizininde duran basit bir metin dosyasıdır. Botlara hangi adresleri tarayabileceklerini söyler. GPTBot, ClaudeBot ve PerplexityBot gibi yapay zeka botları da siteye girmeden önce bu dosyayı okur. Yani yapay zeka görünürlüğünüzün ilk kapısı burasıdır.

Dosya her zaman aynı adreste bulunur: alanadiniz.com/robots.txt. Alt alan adları ayrı sayılır. blog.alanadiniz.com için ayrı bir dosya gerekir.

Önemli bir sınırı da baştan söyleyeyim. robots.txt erişimi düzenler, içeriğin kullanımını değil. Bir bot sayfayı çekmişse, o içeriğin nerede kullanılacağını bu dosya belirlemez. Bu ayrımı yazının ilerleyen bölümünde açacağım.

GPTBot, ClaudeBot ve PerplexityBot Ne İşe Yarar?

Üçü de farklı amaçlara hizmet eder. GPTBot ve ClaudeBot ağırlıklı olarak model eğitimi için içerik toplar. PerplexityBot ise sitenizi Perplexity sonuçlarında listelemek için tarar. Bu yüzden hepsini aynı kefeye koyup engellemek, aramadan gelen görünürlüğü de kapatır.

OpenAI botları: GPTBot, OAI-SearchBot ve ChatGPT-User

OpenAI üç ayrı bot kullanır. OpenAI'nin resmi bot dokümanına göre GPTBot temel modellerin eğitimi için içerik toplar. OAI-SearchBot, ChatGPT içindeki arama sonuçlarını besler. ChatGPT-User ise bir kullanıcı sizi sorduğunda sayfayı anlık olarak çeker.

Buradaki denge şudur: GPTBot'u engellemek eğitim verisini keser ama ChatGPT aramasındaki görünürlüğünüzü bitirmez. OAI-SearchBot'u engellemek ise sizi doğrudan sonuçlardan çıkarır.

Anthropic botları: ClaudeBot, Claude-User ve Claude-SearchBot

Anthropic da aynı mantığı izler. Anthropic'in site sahiplerine yönelik belgesinde ClaudeBot eğitim, Claude-User kullanıcı isteği, Claude-SearchBot ise arama kalitesi için tanımlanır. Kurallarınızı her alt alan adına ayrı yazmanız gerektiği de burada özellikle belirtilir.

Perplexity botları: PerplexityBot ve Perplexity-User

Perplexity'nin tarayıcı dokümanı iki bot tanımlar. PerplexityBot sitenizi sonuçlarda listelemek için tarar ve model eğitimi için kullanılmaz. Perplexity-User ise kullanıcı isteğiyle çalışır ve dokümanda açıkça yazdığı gibi robots.txt kurallarını genellikle yok sayar.

Hangi Botu Engellemeli, Hangisine İzin Vermelisiniz?

Kısa cevap: arama ve kullanıcı botlarına izin verin, eğitim botlarında kendi ticari kararınızı verin. GPTBot ile ClaudeBot'u engellemek içeriğinizin model eğitiminde kullanılmasını azaltır. OAI-SearchBot, Claude-SearchBot ve PerplexityBot'u engellemek ise markanızı yapay zeka cevaplarından siler. İkisi çok farklı sonuçlar doğurur.

İçerik üreticisi ve yayıncıysanız

İçerik sizin ana ürününüz. Eğitim botlarını kapatmak mantıklı olabilir. Ancak arama botlarını mutlaka açık tutun. Trafiğin geldiği kanal orasıdır.

Hizmet veya e-ticaret sitesi işletiyorsanız

Amacınız bulunmaktır. Hem GPTBot'a hem arama botlarına izin verin. Yalnızca sepet, hesap ve filtre sayfalarını kapatın. Bu sayfalar zaten kimseye fayda sağlamaz.

Üyelik veya abonelik modeliniz varsa

Ücretli bölümleri tüm botlara kapatın. Tanıtım sayfalarını ve blogu açık bırakın. Böylece hem içeriğinizi korursunuz hem de yeni kullanıcı kazanırsınız.

robots.txt Dosyası Nasıl Yazılır?

Söz dizimi sandığınızdan basit. Her blok bir User-agent satırıyla başlar, altına Allow ve Disallow kuralları gelir. Bot adları büyük küçük harf duyarlı değildir ama doğru yazmak şarttır. Yanlış yazılan bir bot adı sessizce görmezden gelinir.

Uygulamadan önce şu üç kuralı aklınızda tutun:

• Her bot için ayrı blok yazın ve blokları boş satırla ayırın
• Yıldız işaretiyle yazılan genel kural, ismi geçen bota uygulanmaz
• Site haritanızı dosyanın sonuna Sitemap satırıyla ekleyin

Şablon 1: Tüm yapay zeka botlarına açık

Önceliğiniz görünürlükse bu şablonu kullanın. Çoğu işletme için doğru başlangıç budur.

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://alanadiniz.com/sitemap.xml

Şablon 2: Eğitime kapalı, aramaya açık

İçeriğinizin model eğitiminde kullanılmasını istemiyor ama yapay zeka aramalarında görünmek istiyorsanız bu yapıyı kurun.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Şablon 3: Seçici erişim

Sitenin tamamına izin verip yalnızca hassas dizinleri kapatmak isterseniz bu yaklaşım işinizi görür.

User-agent: GPTBot
Disallow: /hesabim/
Disallow: /sepet/
Disallow: /uyelik/
Allow: /

Bu kuralları yazarken sitenizin genel tarama sağlığını da gözden geçirin. Teknik SEO kontrol listesi yazımdaki adımlar bu iş için iyi bir çerçeve sunar.

robots.txt Engellemesi Gerçekten Bağlayıcı mı?

Hayır, bağlayıcı değildir. robots.txt gönüllü bir standarttır ve teknik bir duvar kurmaz. Büyük sağlayıcılar kurallara uyar, ancak kullanıcı isteğiyle çalışan botlar bu kuralları yok sayabilir. Kesin engelleme istiyorsanız sunucu veya güvenlik duvarı seviyesinde çalışmanız gerekir.

Perplexity-User bunun en net örneğidir. Resmi doküman, kullanıcı bir soru sorduğu için bu botun robots.txt kurallarını genellikle dikkate almadığını söylüyor. Benzer durum ChatGPT-User için de geçerlidir.

Kesin çözüm için üç yol var. Bot adına göre güvenlik duvarı kuralı yazabilirsiniz. IP doğrulaması yapabilirsiniz. Ya da içeriği giriş duvarının arkasına alabilirsiniz. Üç sağlayıcı da resmi IP listelerini yayınlıyor, böylece sahte botları ayırt edebilirsiniz.

Content-Signal ile İçeriğinizin Kullanımını Nasıl Belirtirsiniz?

Content Signals, robots.txt dosyasına eklenen ve içeriğin taramadan sonra nasıl kullanılabileceğini belirten bir tercihtir. Üç sinyali vardır: search, ai-input ve ai-train. Erişimi değil, kullanım amacını ifade eder. Böylece "arama sonuçlarında kullan ama eğitimde kullanma" diyebilirsiniz.

Söz dizimi tek satır kadar basittir:

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

Cloudflare'in duyurduğu bu politika, yönetilen robots.txt kullanan 3,8 milyon alan adına otomatik olarak eklendi. Hukuki olarak bağlayıcı bir sözleşme değil, ancak niyetinizi kayıt altına alan açık bir beyan sunuyor.

robots.txt Kurulumunu Nasıl Test Edersiniz?

Dosyayı yayına aldıktan sonra kontrol etmeden bırakmayın. Aşağıdaki beş adım, kuralların gerçekten çalıştığını doğrular:

1. Dosyayı tarayıcıda açın. alanadiniz.com/robots.txt adresine gidin ve 200 kodu döndüğünü görün.
2. Sunucu loglarını inceleyin. GPTBot, ClaudeBot ve PerplexityBot hangi sayfaları çekiyor, hangi yanıtı alıyor bakın.
3. Search Console robots.txt raporunu kontrol edin. Söz dizimi hatalarını en hızlı burada yakalarsınız.
4. Bot adlarını doğrulayın. Küçük bir yazım hatası kuralı tamamen işlevsiz bırakır.
5. IP listelerini kullanın. Sağlayıcıların yayınladığı JSON listeleriyle sahte botları ayıklayın.

Botlar sayfayı çekse bile içeriği okuyamıyorsa çabanız boşa gider. Bu yüzden yapay zeka tarayıcılarının JavaScript çalıştırıp çalıştırmadığı konusunu da mutlaka birlikte değerlendirin.

En Sık Yapılan 5 robots.txt Hatası

• Her yapay zeka botunu topluca engellemek. Bu, eğitimle birlikte aramayı da kapatır ve görünürlüğü sıfırlar.
• Bot adını yanlış yazmak. GPT-Bot ya da Gptbot yazımı işe yaramaz, kural sessizce görmezden gelinir.
• Alt alan adlarını unutmak. Blogunuz ayrı bir alt alan adındaysa kendi dosyasına ihtiyaç duyar.
• robots.txt ile içeriği gizlediğini sanmak. Engellenen bir sayfa hâlâ bağlantılar üzerinden bilinir hale gelebilir.
• Dosyayı yazıp bir daha bakmamak. Bot isimleri değişiyor, kurallarınızı yılda birkaç kez gözden geçirin.

Bu hataların yapay zeka tarafındaki karşılıklarını GEO hataları yazımda topladım. İkisini birlikte okumanızı öneririm.

Üç şeyi hatırlayın. Birincisi, GPTBot ve ClaudeBot eğitim için tarar, arama botları ise görünürlüğünüzü besler. İkincisi, hepsini topluca engellemek en pahalı karardır. Üçüncüsü, robots.txt bağlayıcı bir duvar değil, bir tercih beyanıdır.

Bugün yapabileceğiniz en iyi şey basit: dosyanızı açın ve içinde hangi bot adlarının geçtiğine bakın. Çoğu sitede o dosya yıllardır güncellenmemiş durumdadır.

robots.txt yapınızı ve yapay zeka görünürlüğünüzü birlikte gözden geçirmemi isterseniz ücretsiz SEO analizi formunu doldurabilir ya da iletişim sayfasından bana ulaşabilirsiniz. Daha kapsamlı bir çalışma için SEO danışmanlığı hizmetimi inceleyebilirsiniz.

Sıkça Sorulan Sorular

GPTBot'u engellersem ChatGPT'de görünmez miyim?

Hayır. GPTBot model eğitimi için tarar, ChatGPT'nin arama sonuçlarını OAI-SearchBot besler. Görünürlüğünüzü korumak için OAI-SearchBot'a izin vermeniz yeterlidir. Bu ikisini karıştırmak en yaygın hatadır.

ClaudeBot ve PerplexityBot'u aynı anda nasıl yönetirim?

Her biri için ayrı bir User-agent bloğu yazın. Aynı blokta iki bot adı listelemek yerine blokları ayırmak daha güvenlidir. Kuralları her alt alan adına ayrıca eklemeyi unutmayın.

robots.txt yerine noindex kullanmalı mıyım?

İkisi farklı işler yapar. robots.txt taramayı, noindex ise dizine eklenmeyi engeller. Bir sayfayı robots.txt ile kapatırsanız bot noindex etiketini göremez. Dizinden çıkarmak istiyorsanız sayfayı taramaya açık bırakın.

Yapay zeka botlarını engellemek Google sıralamamı etkiler mi?

Doğrudan etkilemez. Googlebot ayrı bir bottur ve kendi kurallarına bakar. Ancak kural bloklarını yanlış yazarsanız istemediğiniz sonuçlar doğabilir. Değişiklikten sonra mutlaka test edin.

robots.txt değişikliği ne kadar sürede etkili olur?

Botlar dosyayı genellikle 24 saat içinde yeniden okur. Ancak daha önce toplanmış veriler geri alınmaz. Yani engelleme ileriye dönük çalışır, geçmişi silmez.