YZ Tarayıcıları İçin robots.txt: GPTBot, OAI-SearchBot, ClaudeBot ve Diğerlerini Doğru Ayarlamak
Büyük YZ sağlayıcıları artık eğitim tarayıcılarını arama tarayıcılarından ayırıyor. ChatGPT, Claude veya Perplexity'de kaynak olarak görünmek istiyorsanız en azından arama tarayıcılarına izin vermelisiniz. Eğitime izin verip vermemek ayrı bir karardır.
En önemli YZ tarayıcıları
| Sağlayıcı | Tarayıcı | Sağlayıcıya göre amaç |
|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT'de arama |
| OpenAI | GPTBot | Eğitim |
| OpenAI | ChatGPT-User | Kullanıcı sorduğunda getirme |
| Anthropic | Claude-SearchBot | Claude'da arama sonuçları |
| Anthropic | ClaudeBot | Eğitim |
| Anthropic | Claude-User | Kullanıcı sorduğunda getirme |
| Perplexity | PerplexityBot | Perplexity'de arama |
| Perplexity | Perplexity-User | Kullanıcı sorduğunda getirme |
| Googlebot | Google Arama, YZ Modu ve YZ Özetleri dahil | |
| Google-Extended | Gemini eğitiminde kullanımı kontrol eder, sıralamaya etkisi yok |
Not: Sağlayıcılara göre kullanıcı adına yapılan getirmeler (ChatGPT-User, Perplexity-User) bir kişi adına hareket ettikleri için robots.txt'yi aynı şekilde uygulamayabilir.
Örnek: görünür ol, eğitime izin ver
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: PerplexityBot Allow: / Sitemap: https://www.alan-adiniz.at/sitemap.xml
digtatur.com böyle ayarlı. Eğitimi hariç tutup aramada görünür kalmak istiyorsanız GPTBot, ClaudeBot ve Google-Extended için Disallow: / yazın, arama tarayıcılarına izin vermeye devam edin.
Sık yapılan hatalar
- Toptan engelleme: Bazı güvenlik eklentileri veya hosting güvenlik duvarları tüm botları engeller. Sunucu kayıtlarına bakın.
- „YZ'yi durdurmak için“ Googlebot'u engellemek: Böylece tüm Google Arama'dan çıkarsınız.
- İçerik yalnızca JavaScript ile: Tüm YZ tarayıcıları JavaScript çalıştırmaz. Önemli metinler HTML'de olmalı.
Peki llms.txt?
llms.txt, dil modelleri için bir genel bakış dosyası önerisidir. Resmi bir standart değildir ve Google kendi açıklamasına göre bunu kullanmıyor. Zararı yoktur ve hızla oluşturulur, ama iyi bir robots.txt'nin ve net içeriklerin yerini tutmaz.
Bunu sizin için memnuniyetle kontrol eder ve kurarız: Viyana GEO Ajansı. Platform ayrıntıları: ChatGPT, Claude, Perplexity.
Sık sorulan sorular
robots.txt dosyamı nerede bulurum?
alan-adiniz.at/robots.txt adresinde. WordPress'te genellikle bir SEO eklentisi oluşturur.
GPTBot'u engellersem Google'da gerilerim mi?
Hayır. GPTBot OpenAI'ye aittir ve Google sıralamasıyla ilgisi yoktur.
