Bot kararı: üç soru
17. derste envanterin karar sütununu bilerek boş bırakmıştık. Şimdi her bot türü için tek bir soru soruyoruz. Eğitim botları için: içeriğimin bir modelin eğitiminde kullanılmasını istiyor muyum? OpenAI’nin belgesine göre GPTBot’u engellemek bu isteği bildirmenin yolu ve ChatGPT’nin aramasındaki görünürlüğünüzü etkilemiyor. Google tarafında aynı işi Google-Extended belirteci görüyor; Google Arama’ya dahil edilmenizi etkilemediği belgede yazılı.
Arama botları için soru şu: bu asistanın cevaplarında kaynak olarak görünmek istiyor muyum? OAI-SearchBot’a kapalı bir site ChatGPT’nin arama cevaplarında gösterilmiyor. Bu ay GEO çalışan biri için bu botları engellemek, emeğini kendi eliyle geri almak olur. Yine de karar sizin: içeriği ücretli olan bir yayıncının cevabı farklı olabilir.
Kullanıcı tetiklemeli botlarda kararın etkisi sınırlı. OpenAI, ChatGPT-User için robots.txt kurallarının geçerli olmayabileceğini; Perplexity, Perplexity-User’ın bu kuralları genellikle yok saydığını yazıyor. Politika belgenize bunu olduğu gibi not ediyorsunuz: bu tür için robots.txt bir rica, engel değil.
Google’ın AI Overviews ve AI Mode’u için robots.txt’te satır aramayın. O karar Search Console’daki ayarla veriliyor ve varsayılanı “dahil et”. Belgenize ayarın bugünkü durumunu ve neden öyle bıraktığınızı yazmanız yeterli.
Kararı robots.txt’e işlemek
Politika belgesi insan için, robots.txt botlar için yazılıyor ve ikisi aynı şeyi söylemeli. Dosyayı 9. derste kurmuştunuz; bu kez gruplar çoğalıyor ve bir ayrıntı önem kazanıyor. Google’ın robots.txt belgesine göre bir bot, kendi adına en özel uyan grubu buluyor ve diğer grupları yok sayıyor; bota özel gruplar ile genel grup birleştirilmiyor. Diğer botlar için de güvenli varsayım bu. GPTBot için ayrı bir grup yazdıysanız genel gruptaki kurallar ona uygulanmaz; kapalı tutmak istediğiniz yönetim dizinlerini o gruba da yazmanız gerekir.
Değişikliği asistana yaptırabilirsiniz; doğrulamayı siz yapıyorsunuz. Dosya yayına girdikten sonra adresini tarayıcıda açın ve gruplara tek tek bakın. OpenAI, robots.txt değişikliklerinin sistemlerine yansımasının yaklaşık 24 saat sürebildiğini yazıyor. Aynı gün içinde sonuç beklemeyin.
Kritikte dosyanın kendisine değil, belgeyle arasındaki farka bakıyoruz. Politika “eğitim botlarına kapalıyız” diyor, dosyada yalnızca GPTBot var; ClaudeBot ve Google-Extended unutulmuş. Envanterinizdeki her eğitim botu için dosyada bir satır arayın.
IndexNow: değişikliği bildirmek
IndexNow, bir sayfa eklendiğinde, değiştiğinde ya da silindiğinde bunu arama motorlarına sizin bildirmenizi sağlayan açık bir protokol. Katılımcılar arasında Bing, Yandex, Naver, Seznam ve Yep var; Google listede yok. Bir katılımcıya yaptığınız bildirim diğerleriyle otomatik paylaşılıyor.
Kurulum iki adım. 8 ile 128 karakter arasında bir anahtar üretiyor ve onu sitenizin kökünde anahtarın adını taşıyan UTF-8 bir metin dosyasına koyuyorsunuz. Sonra değişen adresleri gönderiyorsunuz: tek adres için bir GET isteği, toplu gönderim için tek POST isteğinde 10.000 adrese kadar bir JSON listesi. Cevap 200 ise bildirim alındı; 202 ise alındı, anahtar doğrulaması bekliyor; 403 anahtarın geçersiz olduğunu söylüyor.
İki sınırı var. Protokolün kendi belgesine göre bildirim dizine eklenmeyi garanti etmiyor; yalnızca keşfi hızlandırıyor. İkincisi, değişmeyen sayfaları göndermek için tasarlanmadı: her derlemede bütün site haritasını yollayan bir betik protokolü yanlış kullanıyor. Asistana yazdıracağınız betik yalnızca o yayında değişen adresleri göndermeli. Bunu AGENTS.md’ye kural olarak yazıyoruz.
Sprint: on gerçek temas
Varlık planınızdaki on hedefe bu ay gerçekten yazıyorsunuz. İlk e-posta kısa: kim olduğunuz, onlarla ilişkiniz, okurlarına ne sunduğunuz ve tek bir somut istek. “Sitemize yer verir misiniz” bir istek değildir. “Üye listenizde firmamızın adresi eski görünüyor, güncel bilgiler ekte” bir istektir. Özgün verinizi gösterdiğiniz yayına da veriyi, yöntemini ve kimin topladığını gönderiyorsunuz.
Sprintin ölçüsü kazanılan bağlantı sayısı değil, yapılan temas ve tutulan kayıt. Temas kaydının her satırında tarih, kişi, ne gönderdiğiniz ve sonuç var: cevap yok, reddetti, yayımladı, daha sonra dedi. Cevapsız kalan satır başarısızlık değildir; iki hafta sonra bir kez hatırlatıyor, sonra bırakıyorsunuz.
Bir kural daha var ve pazarlığı yok. Bu ay içinde biri size ücret karşılığı yayın teklif ederse, 19. derste okuduğumuz politikayı hatırlayın: bağlantı sponsored ya da nofollow ile işaretlenecek ve bu, temas kaydına yazılacak.
Bu ödev nasıl kritik edilir?
Gelecek ayın ilk dersinde üç şeye bakıyoruz. Politika belgeniz ile robots.txt dosyanız aynı şeyi söylüyor mu? 18. derste kurduğunuz 20 promptluk seti ilk ölçümle aynı koşullarda yeniden çalıştırdığınızda ne değişti? Temas kaydınızdaki on satırın kaçı gerçek bir kişiye ulaştı?
İkinci ölçümü dersten önce alıyorsunuz ve bu kez her promptu üçer kez çalıştırıyorsunuz; aynı soru iki kez sorulduğunda farklı kaynaklar çıkabiliyor. Büyük bir fark beklemiyoruz, beklemenizi de istemiyoruz. Bir ay kısa bir süre; ölçümün asıl değeri, aynı seti aynı biçimde ikinci kez çalıştırmayı öğrenmiş olmanız.
