Robots.txt oluşturucu, tarayıcılara sitenizin hangi bölümlerini ziyaret edebileceklerini söyleyen küçük metin dosyasını yazar. Bir temel kural seçin, engellenecek yolları ve izin verilecek istisnaları yazın, site haritası URL’sini ekleyin ve isterseniz yapay zekâ eğitim botlarını engelleyin. Sonucu kopyalayın ve sitenizin ana dizinine robots.txt adıyla kaydedin.
Öne çıkan noktalar
- Robots.txt taramayı kontrol eder, dizine eklemeyi değil. Bir sayfayı Google’dan çıkarmak için noindex kullanın.
- Disallow: / gibi tek bir hatalı satır, tüm siteyi arama sonuçlarından silebilir. Her zaman iki kez kontrol edin.
- Yapay zekâ botlarını engellemek bir iş kararıdır: içeriği korur, ancak yapay zekâ yanıtlarındaki görünürlüğü azaltabilir.
Dosya nasıl oluşturulur?
- Yayındaki bir site için temel kuralı Tüm arama motorlarına izin ver olarak bırakın.
- Aramada değeri olmayan klasörleri her satıra bir tane olacak şekilde yazın: /wp-admin/, /sepet/ veya site içi arama sonuçları gibi.
- Açık kalması gereken istisnaları ekleyin; WordPress’teki /wp-admin/admin-ajax.php gibi. Hazır ayar düğmesi ikisini de sizin için doldurur.
- Tarayıcıların tüm önemli sayfaları bulması için site haritası URL’sini yapıştırın.
- Sonucu https://alanadiniz.com/robots.txt adresinde açılacak şekilde kaydedin.
Tarama, dizine ekleme değildir
Bu, teknik SEO’nun en çok yanlış anlaşılan noktasıdır. Disallow, kurallara uyan botların bir URL’yi çekmesini engeller; ancak başka siteler o URL’ye bağlantı veriyorsa Google adresi içeriği olmadan yine de dizine ekleyebilir. Bir sayfayı sonuçlardan çıkarmak için taranmasına izin verin ve meta etiket oluşturucu ile hazırlayabileceğiniz bir noindex etiketi ekleyin. Bir sayfayı robots.txt’de engelleyip aynı anda noindex eklemek işe yaramaz, çünkü tarayıcı etiketi hiçbir zaman göremez.
Neyi engellemeli, neyi açık bırakmalı?
| Genellikle engelleyin | Asla engellemeyin |
|---|---|
| Yönetim ve giriş alanları | CSS ve JavaScript dosyaları |
| Sepet, ödeme ve müşteri hesabı | Görsel aramada görünmesini istediğiniz görseller |
| Site içi arama ve sonsuz filtre URL’leri | Sıralanmasını istediğiniz sayfalar |
| Test kopyaları (tüm sunucu) | Site haritanız |
Google sayfaları bir tarayıcı gibi işler. CSS ve komut dosyalarınızı yükleyemezse her sayfanın düzenini ve mobil uyumluluğunu yanlış değerlendirebilir.
Tarama bütçesi ve tekrarlanan URL’ler
Büyük mağazalar ve rehber siteleri, sıralama, filtre ve oturum parametreleriyle çoğu zaman binlerce neredeyse aynı URL üretir. Tarayıcılar bunlarla vakit kaybeder ve asıl sayfalar daha seyrek taranır. Bu kalıpları robots.txt’de engellemek, örneğin Disallow: /*?orderby= ile, tarama bütçesinden (Crawl Budget) tasarruf sağlar. Hâlâ bağlantı değeri aktarması gereken kopyalar için ise kanonik etiket kullanın; böylece sinyaller kaybolmak yerine ana sürüme akar.
Yapay zekâ botları ve GEO
GPTBot, ClaudeBot, CCBot, Google-Extended ve PerplexityBot gibi botlar, yapay zekâ modelleri ve yanıt motorları için içerik toplar. Onları engellemek içeriğinizi eğitimde kullanılmaktan korur, ancak yapay zekâ asistanlarının sizi alıntılama ve size bağlantı verme olasılığını da azaltabilir. Yapay zekâ yanıtlarında önerilmek isteyen işletmelerin çoğuna, yanıt motoru botlarını açık bırakmalarını ve yalnızca eğitim amaçlı botlar için duruma göre karar vermelerini öneriyoruz. GEO hizmetimiz, müşterilerinizin nerede arama yaptığına göre seçim yapmanıza yardımcı olur.
Yüklemeden önce ve sonra test edin
Yüklemeden önce dosyayı satır satır okuyun: her User-agent grubu yalnızca adını verdiği botlar için geçerlidir ve en özel kural kazanır. Yükledikten sonra alanadiniz.com/robots.txt adresini tarayıcıda açarak yayında olduğunu doğrulayın, ardından Google Search Console’daki robots.txt raporunda getirme hatalarına bakın. Taşımalardan, tema değişikliklerinden sonra ve bir test sitesi yayına alındığında testi tekrarlayın; test sitesinin kurallarının canlı siteye kopyalanması, gördüğümüz ani trafik düşüşlerinin en yaygın nedenlerinden biridir. Bazı önemli sayfaları SEO analiz aracıyla kontrol ederek hâlâ dizine eklenebilir olduklarından emin olun.
WordPress için güvenli bir başlangıç dosyası
Çoğu WordPress sitesi için en iyi dosya kısa olanıdır: her şeye izin verin, admin-ajax.php’ye izin vererek /wp-admin/ klasörünü engelleyin ve SEO eklentinizin oluşturduğu site haritasını, örneğin /sitemap_index.xml’i belirtin. /wp-content/ veya /wp-includes/ klasörlerini engellemeyin, çünkü Google’ın sayfalarınızı işlemesi için gereken CSS, komut dosyaları ve görseller buradadır. Binlerce URL üreten bir filtre parametresi gibi net bir nedeniniz olmadıkça başka kural eklemeyin. Kısa bir dosyayı denetlemek daha kolaydır ve yanlışlıkla bozmak çok daha zordur.
Hazır e-ticaret altyapıları için not
Ticimax, İdeasoft, T-Soft veya Shopify gibi hazır altyapılar çoğu zaman kendi robots.txt dosyasını üretir ve yalnızca sınırlı düzenlemeye izin verir. Bu durumda kontrol edebildiğiniz şeylere odaklanın: zayıf sayfalar için noindex, ürün varyantları için kanonik etiket ve temiz bir site haritası. Bu oluşturucuyu WordPress ve dosya erişimi olan siteler için ya da yazılımcınıza veya ajansınıza göndereceğiniz bir şablon olarak kullanın.
Ücretsiz bir araçtan fazlasına mı ihtiyacınız var?
Ekibimiz 10 dilde siteler için denetim, düzeltme ve büyüme planları hazırlar.Sık sorulan sorular
Robots.txt dosyasını nereye yüklerim?
WordPress’te hazır bir robots.txt var mı?
Robots.txt özel sayfaları gizleyebilir mi?
Yapay zekâ botlarını engellemeli miyim?
Google değişiklikleri ne kadar sürede okur?
Bu aracı nasıl hazırladık: Kontroller ve eşik değerler Google Search Central belgelerine, Schema.org ve IETF/W3C standartlarına dayanır; bunları her ay müşteri sitelerinde gördüklerimize göre güncelleriz. Araç tarayıcınızda çalışır ve girdiğiniz metinleri ya da URL’leri saklamaz. Bir sorunuz mu var veya hata mı gördünüz? Bize yazın.