Robots.txt ile AI Crawler Bot'ları Engelleme

İçerik üreticisi misiniz? Özgün ve yüksek kaliteli benzersiz içerik üreten bir blog yazarı mısın? 

Bundan geçimini sağlıyor olabilirsin ya da sadece zevk için de yazıyor olabilirsin.

OpenAI veya CCBot gibi AI platformlarının, sizin izniniz olmadan algoritmalarını eğitmek için, sizin uzun saatler belki günlerce emek vererek oluşturduğunuz içeriğinizi kullandığını mı fark ettiniz?

Bu AI tarayıcılarının web sitenize veya blogunuza erişmesini robots.txt dosyasını kullanarak engelleyebilirsiniz.

Robots.txt dosyası nedir?

Robots.txt, arama motoru robotları gibi robotlara, web sitelerindeki sayfaları nasıl tarayacaklarını ve dizine ekleyeceklerini söyleyen bir metin dosyasından başka bir şey değildir. 

Robots.txt dosyanızı takip eden iyi veya kötü botları engelleyebilir/izin verebilirsiniz. 

Tek bir botu bir kullanıcı aracısı kullanarak engellemek için söz dizimi aşağıdaki gibidir

user-agent: {BOT-NAME-HERE}
disallow: /

Kullanıcı aracısını kullanarak belirli botların web sitenizi taramasına nasıl izin vereceğiniz aşağıda açıklanmıştır:

User-agent: {BOT-NAME-HERE}
Allow: /

Robots.txt dosyanızı nerede tutmalısınız?

Blogger kullanıyor iseniz; Ayarlar > Tarayıcılar ve dizine ekleme > Özel ads.txt içeriğini etkinleştir dedikten sonra hemen alt satırındaki "Özel robots.txt" alanına tıklayarak txt içeriğini kopyala+yapıştır yöntemi ile bu alana ekleyin.

Kendi sunucunuz var ise, dosyayı web sitenizin kök klasörüne yükleyin. 

URL şu şekilde görünecektir:

https://hayalmeyal.org/robot.txt

Robots.txt hakkında daha fazla bilgi için aşağıdaki kaynaklara bakın:

Google'dan robots.txt'ye giriş

Neden AI Botlarını Engellemelisiniz?

AI üreten firmalara baktığımızda, fazla bir açıklama yapmaya pek gerek görmüyorum.
OpenAI, Google Bard, Microsoft Bing veya başka bir AI'nin insanların yararına bir şey yapmaya çalıştıklarını düşünmüyorum.

Bu daha çok nasıl para kazanırım ve yeni bir şeyler nasıl satarım planına benziyor.

Şahsen deneme amaçlı bir kaç yazıda içerik ile ilgili metinler aldım, kendi yazılarıma göre ziyaretçi trafiği ortalamanın üstünde mi olacak yoksa altında mı kalacak sorusuna cevap arıyordum.

Bu yazıları okuduğumda bir robotttan çıktığı çok bariz belli oluyor, başka bir blogta görsem hemen anlarım.

Bu faaliyet dışında ne işimle ilgili ne de özel hayatımla ilgili hiçbir konuda herhangi bir AI'den yararlanmadım.

Senelerdir blog yazıyorum, bazı içerikler üretiyorum, ve bunu yaparken de ana odağım para kazanmak bile değilken, benim günler ayırdığım içerikleri saniyeler içerisinde kopyalayıp, sonra o içerik ile ilgili soru soran birisine benim yazımı göstermek yerine içeriği harmanlayıp göstermesi ve bunun üzerinden devasa paralar kazanmaları bana doğru gelmiyor.

Belki AI'leri engellemek için geç kaldık, toplayacaklarını topladılar ama bundan sonraki yazılarımı olabildiğince bunlardan uzak tutmaya çalışacağım.

Bu blogtan gelir beklentim olmadığı için sorun etmesem de, içerik üreterek belirli bir gelir eden kişilerin gelirlerinin yarıya yarıya düştüğüne emini,m, çünkü bu AI'ler popülerleştikçe, ziyaretçi sayıları düşmeye başladı, artan içeriğe rağmen ziyaretçi sayısında %50'ye yakın düşüş var.

Benimle aynı fikirde olmayın, ürettiğiniz her içeriği AI'lerin hizmetine sunabilirsiniz. Şu an da Robot.txt kontrolü sağlamalarının en büyük nedenlerinden birisi yazarların ve kitap basan şirketlerin bunlara dava açmaları. Yoksa robot.txt kontrolü sağlamadan içeriğimizi izinsiz sömürürlerdi.

Evet içeriğim kamuya açık, bir üyelik vs istemiyorum ama bir robot gelip içeriğimi benden izinsiz almamalı.

Robots.txt dosyasını kullanarak AI tarayıcı botlarını nasıl engellersiniz?

Söz dizimi aynıdır:

user-agent: {AI-Ccrawlers-Bot-Name-Here}
disallow: /

Robots.txt dosyasını kullanarak OpenAI'yi engelleme

Robots.txt dosyanıza aşağıdaki dört satırı ekleyin:

User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /

Yapay zeka botları robots.txt dosyamı görmezden gelebilir mi?

Google ve OpenAI gibi köklü şirketler genellikle robots.txt protokollerine uyar. Ancak bazı kötü tasarlanmış AI botları robots.txt'nizi görmezden gelecektir.

Örnek robots.txt dosyası

Robots.txt kullanarak engellenebilecek AI botları şunlardır

User-agent: Amazonbot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Applebot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Meta-ExternalFetcher
Disallow: /
User-agent: Omgili
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Timpibot
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: PerplexityBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Applebot
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Claude-Web
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: ImagesiftBot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Omgili
Disallow: /
User-agent: YouBot
Disallow: /

ya da istediğiniz botlara izin verip diğer her şeyi engelleyen bir txt dosyası da oluşturabilirsiniz. Tabi bu seçenekte bir çok botu gözden kaçırmış olabilirsiniz örneğin GoogleNews gibi

User-agent: *
Disallow: /

User-agent: Googlebot
User-agent: Bingbot
User-agent: DuckDuckBot
User-agent: DuckDuckGo

Güzel bir Robot.txt doğrulama web sitesi

AI Botları ve Yapay Zeka Üzerine Özetlersek

Kazançlarını telif hakkıyla korunan yazılımlar üreterek size parayala satan, üzerine sizin verilerinizi kullanan, olur olmadık reklamlar çıkartan, yapay zekasını sizin ile eğitim sonra size ürün satacak ya da belki de sizi işinizden edecek olan Windows'tan kurtulmak için Linux (Fedora) ya geçtim, pc'imdeki kullandığım tüm yazılımlar özgür ve açık kaynaklı yazılımlar.

Büyük teknolojiden, yapay zekadan, sosyal medyadan, benim davranışımı takip etmelerinden artık sıtkım sıyrıldı!

Ben kendimce bu işlerden kendimi sıyırabildiğim kadar sıyırmaya çalışacağım, sizlere de bunu tavsiye ederim.

Bunun üzerine fazlaca söylemek istediğim şey var, o yüzden yazıyı uzatmıyor ve bu konuyu ilerleyen dönemde daha detaylı olarak yazıya döküyor olacağım.

Benim gibi uzun yıllardır blog yazan, youtube, sosyal medya vb... alana yönelmeyen tüm blogglera selam olsun.