Ücretsiz Robots.txt Oluşturucu

Robots.txt oluşturucu, tarayıcılara sitenizin hangi bölümlerini ziyaret edebileceklerini söyleyen küçük metin dosyasını yazar. Bir temel kural seçin, engellenecek yolları ve izin verilecek istisnaları yazın, site haritası URL’sini ekleyin ve isterseniz yapay zekâ eğitim botlarını engelleyin. Sonucu kopyalayın ve sitenizin ana dizinine robots.txt adıyla kaydedin.

Öne çıkan noktalar

  • Robots.txt taramayı kontrol eder, dizine eklemeyi değil. Bir sayfayı Google’dan çıkarmak için noindex kullanın.
  • Disallow: / gibi tek bir hatalı satır, tüm siteyi arama sonuçlarından silebilir. Her zaman iki kez kontrol edin.
  • Yapay zekâ botlarını engellemek bir iş kararıdır: içeriği korur, ancak yapay zekâ yanıtlarındaki görünürlüğü azaltabilir.

Dosya nasıl oluşturulur?

  1. Yayındaki bir site için temel kuralı Tüm arama motorlarına izin ver olarak bırakın.
  2. Aramada değeri olmayan klasörleri her satıra bir tane olacak şekilde yazın: /wp-admin/, /sepet/ veya site içi arama sonuçları gibi.
  3. Açık kalması gereken istisnaları ekleyin; WordPress’teki /wp-admin/admin-ajax.php gibi. Hazır ayar düğmesi ikisini de sizin için doldurur.
  4. Tarayıcıların tüm önemli sayfaları bulması için site haritası URL’sini yapıştırın.
  5. Sonucu https://alanadiniz.com/robots.txt adresinde açılacak şekilde kaydedin.

Tarama, dizine ekleme değildir

Bu, teknik SEO’nun en çok yanlış anlaşılan noktasıdır. Disallow, kurallara uyan botların bir URL’yi çekmesini engeller; ancak başka siteler o URL’ye bağlantı veriyorsa Google adresi içeriği olmadan yine de dizine ekleyebilir. Bir sayfayı sonuçlardan çıkarmak için taranmasına izin verin ve meta etiket oluşturucu ile hazırlayabileceğiniz bir noindex etiketi ekleyin. Bir sayfayı robots.txt’de engelleyip aynı anda noindex eklemek işe yaramaz, çünkü tarayıcı etiketi hiçbir zaman göremez.

Neyi engellemeli, neyi açık bırakmalı?

Genellikle engelleyinAsla engellemeyin
Yönetim ve giriş alanlarıCSS ve JavaScript dosyaları
Sepet, ödeme ve müşteri hesabıGörsel aramada görünmesini istediğiniz görseller
Site içi arama ve sonsuz filtre URL’leriSıralanmasını istediğiniz sayfalar
Test kopyaları (tüm sunucu)Site haritanız

Google sayfaları bir tarayıcı gibi işler. CSS ve komut dosyalarınızı yükleyemezse her sayfanın düzenini ve mobil uyumluluğunu yanlış değerlendirebilir.

Tarama bütçesi ve tekrarlanan URL’ler

Büyük mağazalar ve rehber siteleri, sıralama, filtre ve oturum parametreleriyle çoğu zaman binlerce neredeyse aynı URL üretir. Tarayıcılar bunlarla vakit kaybeder ve asıl sayfalar daha seyrek taranır. Bu kalıpları robots.txt’de engellemek, örneğin Disallow: /*?orderby= ile, tarama bütçesinden (Crawl Budget) tasarruf sağlar. Hâlâ bağlantı değeri aktarması gereken kopyalar için ise kanonik etiket kullanın; böylece sinyaller kaybolmak yerine ana sürüme akar.

Yapay zekâ botları ve GEO

GPTBot, ClaudeBot, CCBot, Google-Extended ve PerplexityBot gibi botlar, yapay zekâ modelleri ve yanıt motorları için içerik toplar. Onları engellemek içeriğinizi eğitimde kullanılmaktan korur, ancak yapay zekâ asistanlarının sizi alıntılama ve size bağlantı verme olasılığını da azaltabilir. Yapay zekâ yanıtlarında önerilmek isteyen işletmelerin çoğuna, yanıt motoru botlarını açık bırakmalarını ve yalnızca eğitim amaçlı botlar için duruma göre karar vermelerini öneriyoruz. GEO hizmetimiz, müşterilerinizin nerede arama yaptığına göre seçim yapmanıza yardımcı olur.

Yüklemeden önce ve sonra test edin

Yüklemeden önce dosyayı satır satır okuyun: her User-agent grubu yalnızca adını verdiği botlar için geçerlidir ve en özel kural kazanır. Yükledikten sonra alanadiniz.com/robots.txt adresini tarayıcıda açarak yayında olduğunu doğrulayın, ardından Google Search Console’daki robots.txt raporunda getirme hatalarına bakın. Taşımalardan, tema değişikliklerinden sonra ve bir test sitesi yayına alındığında testi tekrarlayın; test sitesinin kurallarının canlı siteye kopyalanması, gördüğümüz ani trafik düşüşlerinin en yaygın nedenlerinden biridir. Bazı önemli sayfaları SEO analiz aracıyla kontrol ederek hâlâ dizine eklenebilir olduklarından emin olun.

WordPress için güvenli bir başlangıç dosyası

Çoğu WordPress sitesi için en iyi dosya kısa olanıdır: her şeye izin verin, admin-ajax.php’ye izin vererek /wp-admin/ klasörünü engelleyin ve SEO eklentinizin oluşturduğu site haritasını, örneğin /sitemap_index.xml’i belirtin. /wp-content/ veya /wp-includes/ klasörlerini engellemeyin, çünkü Google’ın sayfalarınızı işlemesi için gereken CSS, komut dosyaları ve görseller buradadır. Binlerce URL üreten bir filtre parametresi gibi net bir nedeniniz olmadıkça başka kural eklemeyin. Kısa bir dosyayı denetlemek daha kolaydır ve yanlışlıkla bozmak çok daha zordur.

Hazır e-ticaret altyapıları için not

Ticimax, İdeasoft, T-Soft veya Shopify gibi hazır altyapılar çoğu zaman kendi robots.txt dosyasını üretir ve yalnızca sınırlı düzenlemeye izin verir. Bu durumda kontrol edebildiğiniz şeylere odaklanın: zayıf sayfalar için noindex, ürün varyantları için kanonik etiket ve temiz bir site haritası. Bu oluşturucuyu WordPress ve dosya erişimi olan siteler için ya da yazılımcınıza veya ajansınıza göndereceğiniz bir şablon olarak kullanın.

Ücretsiz bir araçtan fazlasına mı ihtiyacınız var?

Ekibimiz 10 dilde siteler için denetim, düzeltme ve büyüme planları hazırlar.
SEO hizmetlerimizi inceleyin

Sık sorulan sorular

Robots.txt dosyasını nereye yüklerim?

Alan adının kök dizinine; böylece https://alanadiniz.com/robots.txt adresinde açılır. Her alt alan adının kendi dosyası olmalıdır.

WordPress’te hazır bir robots.txt var mı?

WordPress sanal bir dosya oluşturur. Gerçek bir dosya yüklemek veya Rank Math ya da Yoast üzerinden düzenlemek onun yerini alır.

Robots.txt özel sayfaları gizleyebilir mi?

Hayır. Dosya herkese açıktır ve yalnızca kurallara uyan botlara yönelik bir ricadır. Özel içeriği şifre veya giriş sistemiyle koruyun.

Yapay zekâ botlarını engellemeli miyim?

Hedeflerinize bağlıdır. Engellemek içeriği eğitimden korur; yanıt motorlarına izin vermek ise yapay zekâ aramasından görünürlük ve ziyaret getirebilir.

Google değişiklikleri ne kadar sürede okur?

Google robots.txt’yi genellikle 24 saate kadar önbellekte tutar. Search Console raporundan yenileme isteyebilirsiniz.

Bu aracı nasıl hazırladık: Kontroller ve eşik değerler Google Search Central belgelerine, Schema.org ve IETF/W3C standartlarına dayanır; bunları her ay müşteri sitelerinde gördüklerimize göre güncelleriz. Araç tarayıcınızda çalışır ve girdiğiniz metinleri ya da URL’leri saklamaz. Bir sorunuz mu var veya hata mı gördünüz? Bize yazın.

1

Web siteniz için ücretsiz 1 aylık SEO

Her şeyi kapsayan ücretsiz 1 aylık SEO sunuyoruz: teknik analiz, rakip analizi, anahtar kelime araştırması, müşteri hedefi, SEO temelleri, sayfa içi SEO ve yapay zekâ arama optimizasyonu (GEO). Tüm çalışma özel bir ekip tarafından yürütülür.

Ücretsiz ayımı başlat
WhatsApp ile ücretsiz danışmanlık
تم التصميم والسيو بواسطة قروش السيوواتساب +20 112 057 7167أعلن معنا