Yapay Zeka İçin Robots.txt: Yapay Zeka Tarayıcılarını Kontrol Etme & İçeriğinizi Koruma Rehberi (2026)

Yapay zeka tarayıcıları, OpenAI, Anthropic, Google ve Perplexity gibi şirketler tarafından işletilen ve web sitenizi ziyaret ederek yapay zeka modellerini eğitmek, yapay zeka arama özelliklerini desteklemek veya her ikisi için içerik toplayan otomatik botlardır. robots.txt dosyanız, hangi yapay zeka tarayıcılarının içeriğinize erişebileceğini kontrol etmenin birincil mekanizmasıdır — ve 2026'da çoğu web sitesi bunu yapay zeka çağı için hiç yapılandırmamıştır.

Şu anda düzinelerce yapay zeka tarayıcısı internetteki web sitelerini ziyaret ediyor, büyük ölçekte içerik indiriyor ve bunları büyük dil modellerine, eğitim veri setlerine ve yapay zeka arama motorlarına besliyorlar. Bu tarayıcıların bazıları kendilerini dürüstçe tanımlar. Diğerleri belirsiz kullanıcı aracısı dizeleri kullanır. Ve robots.txt dosyanız — 1994'ten beri var olan basit bir metin dosyası — içeriğinize kimin erişip kimin erişemeyeceğine karar vermek için ön cephe savunmasıdır.

Sorun şu ki, çoğu web sitesi sahibi bu tarayıcıların var olduğunu bilmiyor, nasıl yönetileceğini hiç bilmiyor. Sonuç, yapay zeka şirketlerinin hiçbir kısıtlama olmadan içerik topladığı kontrolsüz bir serbest ortam. Spektrumun diğer tarafında, bazı web siteleri her yapay zeka tarayıcısını engelleyerek aşırı tepki gösterdi — artık gerçek yönlendirme trafiği sağlayan ChatGPT, Perplexity ve diğer yapay zeka destekli arama platformlarındaki görünürlüklerini istemeden yok etti.

Bu rehber, 2026'da robots.txt ile yapay zeka tarayıcılarını yönetmek için kesin referanstır. Bilinen her yapay zeka tarayıcısının tam bir dizinini, dört farklı strateji için kopyala-yapıştır yapılandırmalarını ve spesifik iş hedeflerinize dayalı olarak neyin engellenmesi ve neye izin verilmesi gerektiğine karar vermek için net bir çerçeve içerir.

Yapay Zeka Tarayıcıları Nedir? Arama Motoru Botlarından Farkları

Yapay zeka tarayıcıları, içeriğinizi yapay zekayla ilgili amaçlar için indiren web botlarıdır: makine öğrenimi modellerini eğitmek, gerçek zamanlı yapay zeka arama yanıtlarını desteklemek veya erişim artırılmış üretim (RAG) dizinleri oluşturmak. Googlebot ve Bingbot gibi geleneksel arama motoru tarayıcılarından birkaç kritik açıdan farklıdırlar.

Geleneksel arama tarayıcıları (Googlebot, Bingbot) içeriğinizi arama sonuçlarında görünmesi için indeksler. Bir kullanıcı arama sonucuna tıkladığında web sitenizi ziyaret eder. Açık bir değer değişimi vardır: taramaya izin verirsiniz ve karşılığında organik trafik alırsınız. Bu model 25 yılı aşkın süredir webin temeli olmuştur.

Yapay zeka eğitim tarayıcıları (GPTBot, CCBot, Bytespider) içeriğinizi yapay zeka modellerini eğitmek için indirir. İçeriğiniz modelin bilgisinin bir parçası olur, ancak genellikle atıf, geri bağlantı veya web sitenize trafik yoktur. Bu tek yönlü bir değer çıkarımıdır — yapay zeka şirketi fayda sağlar, ancak siz sağlamayabilirsiniz.

Yapay zeka arama tarayıcıları (ChatGPT-User, PerplexityBot, OAI-SearchBot) kullanıcılar soru sorduğunda içeriğinize gerçek zamanlı olarak erişir. Web sitenizi kaynak olarak gösteren, genellikle bir bağlantı içeren yapay zeka destekli yanıtlar üretirler. Bu model geleneksel arama değer değişimine daha yakındır — erişim karşılığında trafik ve atıf alırsınız.

Bu ayrımı anlamak çok önemlidir çünkü robots.txt stratejinizi belirler. Yapay zeka eğitim tarayıcılarını engellemek fikri mülkiyetinizi korur. Yapay zeka arama tarayıcılarını engellemek sizi büyüyen bir trafik kanalından çıkarır. Çoğu web sitesi için en uygun yaklaşım, bir kategoriyi izin verirken diğerini kısıtlamaktır.

Kapsamlı Yapay Zeka Tarayıcı Dizini (2026)

Bu, mevcut en kapsamlı yapay zeka tarayıcı referans tablosudur. Web sitenizi ziyaret edebilecek her büyük yapay zeka botunu, hangi şirketin işlettiğini, içeriğinizle ne yaptığını ve robots.txt dosyanızda belirli bir kuralınız yoksa varsayılan olarak izin verilip verilmediğini kapsar.

Yapay Zeka Tarayıcı Trafik Payı (2026 Tahminleri)

Binlerce web sitesinde toplanan sunucu günlüğü analizlerine dayanarak, 2026'daki büyük yapay zeka tarayıcılarının tahmini trafik payı yüzdeleri şunlardır:

GPTBot internetteki en aktif yapay zeka tarayıcısıdır ve tüm yapay zeka bot trafiğinin yaklaşık %45'ini oluşturur. PerplexityBot, Perplexity'nin yapay zeka arama motoru olarak popülaritesindeki artışı yansıtarak 2024'ten bu yana hızla büyümüştür. ClaudeBot'un payı daha küçük olmakla birlikte istikrarlı bir şekilde büyümektedir. "Diğerleri" kategorisi Bytespider, CCBot, FacebookBot, cohere-ai ve diğer daha az yaygın tarayıcıları içerir.

robots.txt Nasıl Çalışır — Kısa Bir Tekrar

robots.txt dosyası, web sitenizin kök dizinine yerleştirilen (örneğin, https://example.com/robots.txt) ve web tarayıcılarına sitenizin hangi sayfalarına veya bölümlerine erişmelerine izin verildiğini veya verilmediğini söyleyen düz metin dosyasıdır. 1994'ten beri bir web standardıdır ve RFC 9309 olarak resmileştirilmiştir.

Dosya, üç temel direktifle basit bir sözdizimi kullanır:

# Temel robots.txt sözdizimi
User-agent: BotAdı        # Bu kuralın hangi bot için geçerli olduğu
Disallow: /private/       # Bu yola erişimi engelle
Allow: /public/           # Bu yola erişime açıkça izin ver
Sitemap: https://example.com/sitemap.xml  # Botlara site haritanızın yerini söyle

Anlaşılması gereken temel kurallar:

• User-agent: * TÜM botlar için geçerlidir. Belirli User-agent kuralları, o belirli bot için joker karakteri geçersiz kılar.
• Disallow: / belirtilen bot için tüm siteye erişimi engeller.
• Disallow: (boş değer) belirtilen bot için tüm siteye erişime izin verir.
• Daha spesifik kurallar kazanır. Disallow: /blog/ ve Allow: /blog/public/ varsa, bot /blog/public/'a erişebilir ancak /blog/ altındaki başka hiçbir şeye erişemez.
• robots.txt gönüllüdür. Botlardan bu kurallara uymaları istenir, ancak teknik olarak zorlanmazlar. Meşru şirketler (OpenAI, Google, Anthropic, Perplexity) robots.txt'ye uyar. Kötü niyetli kazıyıcılar uymayabilir.
• Her bot grubu kendi bloğuna ihtiyaç duyar. Birden fazla User-agent satırını tek bir kural seti ile birleştiremezsiniz (bazı uygulamalar bunu desteklese de, ayırmak en güvenli yoldur).

Karar Süreci: Neyin Engelleneceğine Nasıl Karar Verilir

Herhangi bir robots.txt kuralı yazmadan önce net bir karar çerçevesine ihtiyacınız var. Strateji olmadan rastgele botları engellemek veya izin vermek ya aşırı engellemeye (yapay zeka trafiği kaybı) ya da yetersiz engellemeye (içeriği bedavaya verme) yol açar. Bu beş adımlı süreci kullanın:

Adım 1: Sitenizi hangi yapay zeka botlarının ziyaret ettiğini belirleyin. Sunucu erişim günlüklerinizi yukarıdaki dizin tablosundaki botlarla eşleşen user-agent dizeleri için kontrol edin. Çoğu web sitesi, aldıkları yapay zeka tarayıcı trafiğinin hacminden şaşırır — bazı siteler insan ziyaretçilerden daha fazla yapay zeka bot isteği alır.

Adım 2: Değer değişimini değerlendirin. Her bot için şunu sorun: "Bu bota izin vermek web siteme fayda sağlıyor mu?" PerplexityBot net alıntılarla yönlendirme trafiği gönderir. GPTBot size doğrudan bir fayda sağlamadan eğitim verisi alır. Cevap, engellemenizi veya izin vermenizi belirler.

Adım 3: Yapılandırmanızı yazın. Değerlendirmenize göre aşağıdaki dört stratejiden birini seçin ve ilgili robots.txt kurallarını uygulayın.

Adım 4: Yapılandırmanızı test edin. Google'ın robots.txt test aracını (Google Search Console'da) ve çoğu SEO paketinde yerleşik robots.txt doğrulama araçlarını kullanarak sözdizimini doğrulayın. Tek bir yazım hatası yanlışlıkla tüm tarayıcıları engelleyebilir veya engellemeyi amaçladıklarınıza izin verebilir.

Adım 5: Sonuçları izleyin. Kurallarınızı uyguladıktan sonra, GA4'te yapay zeka yönlendirme trafiğinizi (chatgpt.com, perplexity.ai, claude.ai'den yönlendirmeler) ve sunucu günlüklerindeki bot trafiğinizi takip edin. Gözlemlerinize göre stratejinizi ayarlayın.

Yapay Zeka Tarayıcı Yönetimine 4 Stratejik Yaklaşım

Yapay zeka tarayıcıları için tek bir "doğru" robots.txt yapılandırması yoktur. Doğru yaklaşım içerik türünüze, iş modelinize ve stratejik hedeflerinize bağlıdır. İşte dört temel strateji ve her birinin ne zaman uygun olduğuna dair net rehberlik.

Strateji 1: Tüm Yapay Zeka Tarayıcılarını Engelle

En uygun: Ücretli içerik, özel araştırma, premium yayınlar, hukuki/tıbbi içerik veritabanları ve içeriğin ürünün kendisi olduğu her işletme.

Bu en koruyucu yaklaşımdır. Bilinen her yapay zeka tarayıcısının web sitenizin herhangi bir bölümüne erişmesini engellersiniz. İçeriğiniz yapay zeka eğitimi için kullanılmaz, ChatGPT veya Perplexity yanıtlarında görünmez ve hiçbir yapay zeka arama motoru tarafından alıntılanmaz. Tüm yapay zeka ekosistemi için görünmez olursunuz.

Ne zaman kullanılmalı: Geliriniz, kullanıcıların içeriğe erişmek için web sitenizi ziyaret etmesine bağlıysa (abonelikler, ücretli duvarlar, kapılı içerik yoluyla potansiyel müşteri oluşturma), yapay zeka tarayıcılarını engellemek bu içeriğin yapay zeka sistemleri tarafından özetlenip ücretsiz sunulmasını önler. The New York Times ve The Wall Street Journal gibi büyük yayıncılar bu yaklaşımı kullanır.

Ödün: Yapay zeka arama platformlarından sıfır yönlendirme trafiği alırsınız. Yapay zeka destekli arama büyüdükçe, bu, potansiyel ziyaretçilerin artan bir kısmının içeriğinizi asla keşfedemeyeceği anlamına gelir. Ayrıca dijital otoritenin bir formu haline gelen yapay zeka alıntıları potansiyelinizi de kaybedersiniz.

Strateji 2: Tüm Yapay Zeka Tarayıcılarına İzin Ver

En uygun: Açık kaynak projeleri, eğitim kaynakları, devlet web siteleri, kar amacı gütmeyen kuruluşlar ve amacı maksimum dağıtım olan her içerik.

En basit yaklaşım: hiçbir şey yapmayın. robots.txt dosyanızda belirli yapay zeka tarayıcı kuralları yoksa, varsayılan olarak tüm botlara izin verilir. İçeriğiniz eğitim için kullanılır, yapay zeka arama sonuçlarında görünür ve platformlar arası alıntılanır. Bu, yapay zeka görünürlüğünüzü ve potansiyel yönlendirme trafiğinizi en üst düzeye çıkarır.

Ne zaman kullanılmalı: Hedefiniz bilgiyi mümkün olduğunca geniş yaymaksa — açık kaynak dokümantasyonu, akademik araştırma, halk sağlığı bilgileri veya devlet kaynakları — tüm yapay zeka tarayıcılarına izin vermek, içeriğinizin yapay zeka platformları aracılığıyla dahil olmak üzere mümkün olan maksimum kitleye ulaşmasını sağlar.

Ödün: İçeriğiniz tazminatsız olarak yapay zeka modellerini eğitmek için kullanılacaktır. Yapay zeka sistemleri içeriğinizi o kadar kapsamlı özetleyebilir ki kullanıcılar web sitenizi asla ziyaret etmez. Yapay zeka sistemlerinin içeriğinizi veya bağlamını nasıl temsil ettiği üzerinde hiçbir kontrolünüz yoktur.

Strateji 3: Seçici İzin (Çoğu İşletme İçin Önerilen)

En uygun: Çoğu işletme, blog, e-ticaret sitesi, SaaS şirketi ve yapay zeka arama trafiği isteyen ancak içeriklerini eğitimden korumak isteyen ajanslar.

Web sitelerinin çoğunluğu için önerdiğimiz strateji budur. Eğitim odaklı tarayıcıları (GPTBot, CCBot, Bytespider, anthropic-ai, cohere-ai) engellerken arama odaklı tarayıcılara (ChatGPT-User, OAI-SearchBot, PerplexityBot, ClaudeBot) izin verirsiniz. Bu şekilde içeriğiniz atıf ve yönlendirme trafiğiyle yapay zeka arama sonuçlarında görünür, ancak rakip yapay zeka modellerini eğitmek için kullanılmaz.

Ne zaman kullanılmalı: Yapay zeka arama görünürlüğünün faydalarını (alıntılar, yönlendirme trafiği, otorite oluşturma) içeriğinizi model eğitimi için vermeden istiyorsanız. Bu, 2026'da çoğu içerik odaklı işletme için en uygun dengedir.

Ödün: "Arama" ve "eğitim" arasındaki ayrım her zaman net değildir. Bazı şirketler arama tarama verilerini modellerini dolaylı olarak geliştirmek için kullanabilir. Ancak açıkça eğitim odaklı tarayıcıları engelleyerek içerik kullanım tercihleriniz hakkında net bir hukuki ve teknik sinyal gönderirsiniz.

Strateji 4: İçerik Bölümüne Göre Kademeli Erişim

En uygun: Farklı içerik türlerine sahip büyük web siteleri — blog ve ürün sayfaları olan e-ticaret, dokümantasyon ve fiyat sayfaları olan SaaS, ücretsiz ve premium içeriğe sahip yayıncılar.

En gelişmiş yaklaşım: web sitenizin farklı bölümlerine farklı kurallar uygularsınız. Örneğin, yapay zeka tarayıcılarının genel blogunuza (yapay zeka alıntılarından fayda sağlayan) erişmesine izin verirken, ürün katalogunuzdan (özel fiyatlandırma ve açıklamalar içeren), müşteri destek alanınızdan ve iç dokümantasyonunuzdan engelleyebilirsiniz.

Ne zaman kullanılmalı: Web sitenizin farklı bölümleri yapay zeka tarayıcı erişimi için farklı değer tekliflerine sahip olduğunda. Blogunuz yapay zeka alıntılarından ve yönlendirme trafiğinden fayda sağlar. Ürün verileriniz, fiyatlandırmanız veya özel içerikleriniz sağlamaz.

Ödün: Yapılandırması ve bakımı daha karmaşıktır. URL yapınızın Disallow ve Allow kurallarının doğru bölümleri etkili bir şekilde hedefleyebilecek kadar temiz olduğundan emin olmanız gerekir. Yeni sayfalar ve bölümler eklendikçe düzenli denetim gerektirir.

Kopyala-Yapıştır robots.txt Yapılandırmaları

İşte her strateji için birer tane olmak üzere dört kullanıma hazır robots.txt yapılandırması. Seçtiğiniz stratejiye uyan yapılandırmayı kopyalayın ve robots.txt dosyanıza ekleyin. Bu yapılandırmalar Mart 2026 itibarıyla bilinen tüm yapay zeka tarayıcılarını kapsar.

Yapılandırma 1: Tüm Yapay Zeka Tarayıcılarını Engelle

# ============================================
# TÜM YAPAY ZEKA TARAYICILARINI ENGELLE
# Yapay zeka eğitimini VE yapay zeka arama indekslemesini önler
# ============================================

# OpenAI (ChatGPT, GPT modelleri)
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

# Anthropic (Claude)
User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

# Google Yapay Zeka Eğitimi (Google Arama'yı ETKİLEMEZ)
User-agent: Google-Extended
Disallow: /

# Perplexity
User-agent: PerplexityBot
Disallow: /

# ByteDance (TikTok)
User-agent: Bytespider
Disallow: /

# Common Crawl
User-agent: CCBot
Disallow: /

# Meta (Facebook/Instagram Yapay Zeka)
User-agent: FacebookBot
Disallow: /

# Cohere
User-agent: cohere-ai
Disallow: /

# Apple Intelligence
User-agent: Applebot-Extended
Disallow: /

# Normal arama motorlarına izin ver
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

Sitemap: https://example.com/sitemap.xml

Yapılandırma 2: Tüm Yapay Zeka Tarayıcılarına İzin Ver

# ============================================
# TÜM YAPAY ZEKA TARAYICILARINA İZİN VER
# Maksimum yapay zeka görünürlüğü ve keşfedilebilirlik
# ============================================

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Yapılandırma 3: Seçici İzin (Önerilen)

# ============================================
# SEÇİCİ: Eğitimi Engelle, Aramaya İzin Ver
# Çoğu web sitesi için en iyi denge (2026)
# ============================================

# ENGELLE — Yapay Zeka Eğitim Tarayıcıları
User-agent: GPTBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# İZİN VER — Yapay Zeka Arama Tarayıcıları (alıntı + trafik sağlar)
User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

# İZİN VER — Geleneksel Arama Motorları
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

Sitemap: https://example.com/sitemap.xml

Yapılandırma 4: İçerik Bölümüne Göre Kademeli Erişim

# ============================================
# KADEMELİ: İçerik bölümüne göre farklı kurallar
# Blog = açık, Ürünler/API = korumalı
# ============================================

# Tüm yapay zeka eğitim botlarını tamamen engelle
User-agent: GPTBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

# Yapay zeka arama botları: bloga izin ver, ürünleri ve dahili alanları engelle
User-agent: ChatGPT-User
Allow: /blog/
Allow: /guides/
Disallow: /products/
Disallow: /api/
Disallow: /account/
Disallow: /admin/

User-agent: OAI-SearchBot
Allow: /blog/
Allow: /guides/
Disallow: /products/
Disallow: /api/
Disallow: /account/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /blog/
Allow: /guides/
Disallow: /products/
Disallow: /api/
Disallow: /account/
Disallow: /admin/

User-agent: ClaudeBot
Allow: /blog/
Allow: /guides/
Disallow: /products/
Disallow: /api/
Disallow: /account/
Disallow: /admin/

# Geleneksel arama motorları: tam erişim
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

Sitemap: https://example.com/sitemap.xml

İçerik Türü Kararları: Neyi Engellemeli, Neye İzin Vermeli

Tüm içerikler yapay zeka tarayıcı erişimi için aynı değer teklifine sahip değildir. Web sitenizdeki her içerik türü için doğru yaklaşımı belirlemek üzere bu öncelik tablosunu kullanın:

Bu kararları verirken aşağıdaki ilkeleri göz önünde bulundurun:

• Dağıtımdan fayda sağlayan içeriklere izin verilmelidir. Blog yazıları, rehberler, nasıl yapılır makaleleri ve eğitim içerikleri yapay zeka platformları aracılığıyla daha geniş dağıtımdan fayda sağlar. Daha fazla alıntı, daha fazla otorite ve daha fazla trafik demektir.
• Ürünün kendisi olan içerik korunmalıdır. Kullanıcılar içeriğinize erişmek için ödeme yapıyorsa (abonelikler, kurslar, araştırma raporları), yapay zeka tarayıcılarının bunu ücretsiz olarak özetlemesine izin vermek iş modelinizi baltalar.
• Rekabet değeri taşıyan içerik dikkatle değerlendirilmelidir. Ürün açıklamaları, fiyat verileri ve özel metodoloji rekabet avantajlarıdır. Bu veriler üzerinde yapay zeka eğitimine izin vermek, aynı yapay zeka modellerini kullanan rakiplere yardımcı olabilir.
• Özel içerik her zaman engellenmelidir. Kullanıcı hesapları, yönetim panelleri, iç araçlar ve müşteri verileri sadece yapay zeka tarayıcıları için değil, TÜM tarayıcılar için engellenmelidir. Bu temel bir güvenlik uygulamasıdır.

robots.txt'nin Ötesi: Ek İçerik Koruma Yöntemleri

robots.txt, yapay zeka tarayıcılarını yönetmek için birincil araç olsa da tek araç değildir. İçerik kullanım tercihlerinizi yapay zeka sistemlerine iletmek için başka mekanizmalar da mevcuttur ve bazıları daha güçlü koruma sunar.

Meta Robots Etiketleri

HTML'nizdeki <meta name="robots"> etiketi, tarama ve indeksleme davranışı üzerinde sayfa düzeyinde kontrol sağlar. Geleneksel olarak arama motorları için kullanılsa da Google, yapay zekaya özel direktifler tanıttı:

<!-- Belirli bir sayfa için Google yapay zeka eğitimini engelle -->
<meta name="googlebot" content="noai, noimageai">

<!-- Standart robots direktifleri (hâlâ gerekli) -->
<meta name="robots" content="index, follow">

noai direktifi Google'a bu sayfanın içeriğini yapay zeka eğitimi (Gemini) için kullanmamasını söylerken, noimageai özellikle görsel kullanımını engeller. Bunlar, dizin düzeyinde çalışan robots.txt kurallarından daha ayrıntılı sayfa düzeyinde kontrollerdir.

X-Robots-Tag HTTP Başlığı

HTML olmayan içerikler (PDF'ler, görseller, belgeler) için aynı direktifleri iletmek üzere X-Robots-Tag HTTP başlığını kullanabilirsiniz:

# .htaccess veya sunucu yapılandırmasında
Header set X-Robots-Tag "noai, noimageai"

Bu özellikle meta etiket yerleştirebileceğiniz bir HTML <head> bölümü olmayan görselleri, PDF'leri ve diğer dosyaları korumak için kullanışlıdır.

ai.txt Önerisi

Birçok sektör grubu, yapay zeka içerik kullanım politikalarını iletmek için robots.txt'den ayrı, özel bir standart olarak ai.txt'yi önermiştir. ai.txt önerisi, web sitesi sahiplerinin içeriklerinin eğitim için kullanılıp kullanılamayacağını, atıf gerekip gerekmediğini ve hangi lisans koşullarının geçerli olduğunu belirtmesine olanak tanır. Mart 2026 itibarıyla ai.txt henüz resmi olarak kabul edilmiş bir standart değildir, ancak birçok büyük yapay zeka şirketi buna destek ifade etmiştir. İzlemeye değerdir.

TDM (Metin ve Veri Madenciliği) Politikaları

AB Dijital Tek Pazar Direktifi ve diğer yargı bölgelerindeki benzer mevzuat, metin ve veri madenciliği konusunda yasal çerçeveler oluşturmuştur. TDM saklama başlıkları (TDMRep), web sitesi sahiplerinin yapay zeka eğitimi dahil metin ve veri madenciliği için kullanılan içerik üzerindeki haklarını yasal olarak saklamasına olanak tanır. Bir TDM politikası uygulamak, robots.txt tarafından sağlanan teknik kontrollerin yasal bir tamamlayıcısıdır.

SEO/AEO Dengesi: Neler Kazanır, Neler Kaybedersiniz

Her robots.txt kararı, içerik koruması ile yapay zeka görünürlüğü arasında bir denge içerir. Yapay zeka tarayıcılarını engellemek, içeriğinizi tazminatsız kullanılmaktan korur. Yapay zeka tarayıcılarına izin vermek, web sitenizi yapay zeka sistemlerinin alıntıladığı, önerdiği ve trafik gönderdiği bir kaynak olarak konumlandırır. Bu dengeyi nicel olarak anlamak daha iyi kararlar vermenize yardımcı olur.

Yapay zeka arama tarayıcılarına izin vererek kazandıklarınız:

• Yapay zeka yönlendirme trafiği: Perplexity alıntılarında, ChatGPT göz atma sonuçlarında ve Google AI Overview'da görünen web siteleri ölçülebilir yönlendirme trafiği alır. İlk veriler, optimize edilmiş sitelerde yapay zeka yönlendirme trafiğinin yıldan yıla 3-5 kat büyüdüğünü göstermektedir.
• Marka otoritesi: Yapay zeka sistemleri web sitenizi sürekli olarak kaynak gösterdiğinde, yapay zeka aramayı birincil bilgi aracı olarak kullanan büyüyen kitle arasında marka bilinirliği ve algılanan otorite oluşturur.
• AEO/GEO puanları: Yapay zeka tarayıcılarına izin vermek, Answer Engine Optimization (AEO) ve Generative Engine Optimization (GEO) için bir ön koşuldur. Botlar içeriğinize erişemezse, yapay zeka alıntıları için optimizasyon yapamazsınız.
• Rekabet avantajı: Rakipleriniz yapay zeka tarayıcılarını engelliyorsa ve siz engellemiyorsanız, yapay zeka sistemleri onlar yerine sizi alıntılayacaktır — potansiyel olarak rakiplere gidecek trafik ve otoriteyi ele geçirecektir.

Yapay zeka eğitim tarayıcılarına izin vererek kaybettikleriniz:

• İçerik münhasırlığı: İçeriğiniz yapay zeka eğitim veri setlerinin parçası olur. Yapay zeka sistemleri, içeriğinizi atıf olmadan etkili bir şekilde çoğaltan yanıtlar üretebilir ve web sitenizi ziyaret etmenin benzersiz değerini azaltır.
• Rekabet riski: İçeriğinizle eğitilmiş yapay zeka araçlarını kullanan rakipler, dolaylı olarak çalışmanızdan fayda sağlar. Özel metodolojiniz, benzersiz verileriniz ve yaratıcı çıktınız paylaşılan bir modelin parçası olur.
• Bant genişliği maliyetleri: Yapay zeka tarayıcıları agresif olabilir ve önemli miktarda sunucu bant genişliği tüketebilir. Özellikle GPTBot'un bireysel web sitelerine günde binlerce istek yaptığı bildirilmiştir, bu da sunucu performansını etkileyebilir ve barındırma maliyetlerini artırabilir.

Çoğu işletme için stratejik tatlı nokta Seçici İzin yaklaşımıdır: fikri mülkiyetinizi korumak için eğitim botlarını engellerken, yapay zeka arama görünürlüğünün trafik, alıntı ve otorite avantajlarını elde etmek için arama botlarına izin vermek. Bu, dezavantajları en aza indirirken avantajları yakalar.

Yapay Zeka Tarayıcı Etkinliğini Nasıl İzlersiniz

robots.txt dosyanız yapılandırıldıktan sonra, çalışıp çalışmadığını doğrulamanız ve sonuçları takip etmeniz gerekir. Web sitenizdeki yapay zeka tarayıcı etkinliğini izlemek için üç yöntem:

Sunucu Erişim Günlükleri

Sunucu erişim günlükleriniz, user-agent dizesi dahil olmak üzere web sitenize yapılan her isteği kaydeder. Yukarıdaki dizin tablosunda listelenen yapay zeka tarayıcı user-agent'ları için günlüklerinizi arayın. Çoğu barındırma paneli (cPanel, Plesk, Kinsta) ham günlüklere veya ayrıştırılmış günlük görüntüleyicilere erişim sağlar.

Sunucu günlüklerinizden takip edilecek temel metrikler:

• Bot başına istek hacmi: Her yapay zeka tarayıcısının günlük/haftalık kaç istek yaptığı
• Erişilen sayfalar: Yapay zeka tarayıcılarının en sık hangi sayfaları ziyaret ettiği
• Yanıt kodları: robots.txt kurallarınız çalışıyor mu? Engellenen botlar engellenen yolları ziyaret etmeyi bırakmalıdır (ancak robots.txt dosyasının kendisini talep etmeye devam edebilirler)
• Tüketilen bant genişliği: Yapay zeka tarayıcılarının ne kadar sunucu bant genişliği kullandığı

GA4 Yönlendirme Trafiği

Google Analytics 4'te Raporlar > Edinme > Trafik Edinme bölümüne gidin ve yapay zeka kaynaklı yönlendirme trafiğini belirlemek için kaynağa göre filtreleyin. Şu alan adlarını arayın:

• chatgpt.com — ChatGPT'nin alıntılı kaynak bağlantılarından gelen trafik
• perplexity.ai — Perplexity'nin numaralı alıntılarından gelen trafik
• claude.ai — Claude'un web arama alıntılarından gelen trafik
• bing.com/chat — Bing Copilot'tan gelen trafik

GA4'te tüm yapay zeka yönlendirme kaynaklarını bir araya getiren özel bir "Yapay Zeka Araması" kanal grubu oluşturun. Bu size zaman içinde takip edebileceğiniz tek bir KPI verir: "Yapay zeka platformlarından ne kadar trafik alıyorum?" robots.txt değişikliklerini uyguladıktan sonra bu sayı sıfıra düşerse, eğitim tarayıcılarıyla birlikte yapay zeka arama tarayıcılarını da yanlışlıkla engellemiş olabilirsiniz.

robots.txt Doğrulama

robots.txt dosyanızın sözdizimsel olarak doğru olduğundan ve amaçlanan sonuçları ürettiğinden emin olmak için düzenli olarak doğrulayın:

• Google Search Console: Googlebot ve Google-Extended için hangi URL'lerin engellendiğini doğrulamak için robots.txt test aracını kullanın
• seoscore.tools: Tarayıcımız, yapay zeka tarayıcı kurallarının spesifik analizi dahil 136+ SEO, AEO ve GEO kontrolünün parçası olarak robots.txt yapılandırmanızı kontrol eder
• Manuel test: Dosyanın erişilebilir ve doğru biçimlendirilmiş olduğunu doğrulamak için robots.txt dosyanızı düzenli olarak doğrudan ziyaret edin (alanadiniz.com/robots.txt)

Sıkça Sorulan Sorular

Temel Çıkarımlar

1. robots.txt dosyanız, yapay zeka içerik toplama işlemine karşı ilk savunma hattınızdır. Belirli yapay zeka tarayıcı kuralları olmadan içeriğiniz, internetteki her yapay zeka eğitim ve arama botuna açıktır. Web sitelerinin %73'ünden fazlasının yapay zekaya özel kuralı yoktur — onlardan biri olmayın.
2. Yapay zeka eğitim botları ile yapay zeka arama botlarını ayırt edin. GPTBot, CCBot ve Bytespider, karşılığında trafik olmadan eğitim için içerik alır. ChatGPT-User, PerplexityBot ve ClaudeBot alıntılar ve yönlendirme trafiği sağlar. İlk grubu engelleyin, ikincisine izin vermeyi düşünün.
3. Seçici İzin stratejisi çoğu işletme için en uygunudur. Eğitim tarayıcılarını (GPTBot, CCBot, Bytespider, anthropic-ai, Google-Extended, FacebookBot, cohere-ai) engellerken arama tarayıcılarına (ChatGPT-User, OAI-SearchBot, PerplexityBot, ClaudeBot) izin verin. Bu, yapay zeka arama görünürlüğünü korurken fikri mülkiyetinizi korur.
4. Asla Googlebot'u engellemeyin. Googlebot'u engellemek sizi Google Arama'dan tamamen kaldırır. Arama sıralamalarınızı veya AI Overview görünürlüğünüzü etkilemeden Gemini yapay zeka eğitimini kontrol etmek için Google-Extended'ı kullanın.
5. robots.txt gönüllüdür, uygulanabilir değildir. Meşru şirketler buna uyar, ancak kötü niyetli kazıyıcılar uymayabilir. Kapsamlı koruma için robots.txt'yi meta robots etiketleri, X-Robots-Tag başlıkları, Kullanım Şartları ve sunucu taraflı hız sınırlama ile birleştirin.
6. Sonuçlarınızı izleyin. GA4'te yapay zeka yönlendirme trafiğini (chatgpt.com, perplexity.ai, claude.ai kaynakları) takip edin, sunucu günlüklerini yapay zeka bot etkinliği için gözden geçirin ve robots.txt yapılandırmanızı düzenli olarak doğrulayın. 136+ kontrol üzerinden yapay zeka taranabilirliğinizi denetlemek için seoscore.tools'u kullanın.
7. Ortam geliştikçe stratejinizi güncelleyin. Düzenli olarak yeni yapay zeka tarayıcıları ortaya çıkar. ai.txt ve TDM politikaları gibi yeni standartlar gelişmektedir. Güncel kalmak için robots.txt yapılandırmanızı en az üç ayda bir gözden geçirin ve güncelleyin.