AnyTools
🤖

Robots.txt Oluşturucu

Arama motoru şablonları ve tarayıcı kurallarıyla robots.txt dosyalarını görsel olarak oluşturun

Şablon Seçimi

Bir şablon seçin

Özel Yorumlar

Tarayıcı Kuralları

Kural 1: *
User-Agent
All Crawlers
İzin Verilen Yollar
Engellenen Yollar

Crawl Delay

saniyeOpsiyonel. Tarayıcı istekleri arasındaki süre (önerilen: 1-10 saniye)

Sitemap'ler

Oluşturulan Robots.txt

❓Robots.txt Oluşturucu Nedir

Robots.txt Oluşturucu, arama motoru tarayıcılarının sitenizi nasıl tarayacağını belirleyen robots.txt dosyalarını kolayca üretmenizi sağlar. Robots.txt, sitenin kök dizinine yerleştirilen ve tarayıcılara talimat veren düz metin bir dosyadır. Temel özellikler: birden fazla User-agent için kurallar (Googlebot, Bingbot, tüm botlar), Disallow/Allow direktifleriyle yol erişim kontrolü, Crawl-delay ayarları, Sitemap entegrasyonu, joker karakter desteği (*, $), sözdizimi doğrulama, hazır şablonlar ve gerçek zamanlı ön izleme. Başlıca direktifler: User-agent (hedef botu belirtir), Disallow (erişimi engeller), Allow (istisna tanımlar), Sitemap (XML sitemap adresi), Crawl-delay (istekler arası gecikme). Kullanım alanları: SEO optimizasyonu, hassas içeriklerin korunması, yinelenen sayfaların engellenmesi, sunucu yükünün azaltılması, sitemap bildirimi ve test ortamlarını gizleme. En iyi uygulamalar: önemli içerikleri engellemeyin, CSS/JS dosyalarına izin verin, sitemap ekleyin, Google Search Console ile doğrulayın, kuralları sade tutun ve düzenli olarak güncelleyin. Yaygın hatalar: her şeyi engellemek, CSS/JS'i kapatmak, robots.txt'yi güvenlik mekanizması olarak görmek, yazım hataları yapmak veya sitemap belirtmemek. Çalışma prensibi: bot önce sitenize gelir, robots.txt dosyasını okur, User-agent eşleşmesine göre kuralları uygular ve yalnızca izin verilen yolları tarar. Unutmayın: robots.txt güvenlik aracı değildir ve herkes tarafından görülebilir; gerçek koruma için kimlik doğrulaması kullanın. Bu araç verilerinizi sunucuya göndermeden tarayıcınızda robots.txt üretir.

✨Öne Çıkan Özellikler

🤖

Çoklu User-Agent Desteği

Farklı tarayıcılar için (Googlebot, Bingbot, Baiduspider vb.) ayrı kurallar tanımlayın
📝

Kural Şablonları

Yaygın kullanım senaryoları için önceden hazırlanmış şablonlardan hızlıca başlayın
✅

Sözdizimi Doğrulama

Robots.txt sözdizimini otomatik kontrol ederek hatalı kuralları engeller
📊

Ön İzleme ve Dışa Aktarma

Oluşturulan dosyayı anında görüntüleyin, kopyalayın veya indirerek yayınlayın

📋Kullanım Rehberi

1️⃣
Şablon Seçin
Sitenizin yapısına uygun hazır şablonu seçin veya tüm tarayıcılara izin veren basit bir yapıdan başlayın
2️⃣
Kuralları Düzenleyin
User-agent tanımlayın, izin verilecek veya engellenecek yolları ekleyin, gerekiyorsa crawl-delay belirleyin
3️⃣
Sitemap Ekleyin
Arama motorlarının içeriğinizi bulmasını hızlandırmak için sitemap URL'lerinizi tanımlayın
4️⃣
Dosyayı Dışa Aktarın
Oluşturulan robots.txt içeriğini ön izleyin, ardından kopyalayın veya indirip site kök dizinine yükleyin

📚Teknik Tanıtım

📜Robots Dışlama Protokolü

Robots.txt, 1994 yılında geliştirilen Robots Exclusion Protocol'e (REP) dayanır ve web sitesi sahiplerinin tarayıcılarla iletişim kurmasını sağlar. Dosya, sitenin kök dizinine yerleştirilmeli ve 'robots.txt' olarak adlandırılmalıdır. User-agent, Disallow, Allow, Sitemap ve Crawl-delay gibi direktiflerle tarayıcı davranışı kontrol edilir.

🤖User-Agent Direktifi

User-agent direktifi, kuralların hangi tarayıcıya uygulanacağını belirtir. '*' tüm botlara uygulanırken Googlebot, Bingbot veya Baiduspider gibi belirli botlar hedeflenebilir. Her User-agent bölümü, erişime izin verilen ve engellenen yolları tanımlayan çok sayıda Allow ve Disallow direktifi içerebilir.

🚫Allow ve Disallow Kuralları

Disallow, tarayıcıların erişmemesi gereken yolları belirtir; Allow ise engellenen alan içindeki belirli yollar için istisna tanımlar (her bot desteklemese de). Yollar büyük/küçük harfe duyarlıdır ve joker karakter (*) ile satır sonu eşleşmesi ($) destekler. Örneğin Disallow: /*.pdf$ tüm PDF dosyalarını engeller.

🗺️Sitemap Bildirimi

Sitemap direktifi, arama motorlarına XML sitemap dosyalarınızın nerede bulunduğunu bildirir. Birden fazla sitemap tanımlanabilir. URL'ler protokol dahil tam adres olmalıdır ve bu sayede tarayıcılar içeriğinizi daha hızlı keşfeder.
❓

Sık Sorulan Sorular

❓

Robots.txt dosyası nedir?

Robots.txt, arama motoru tarayıcılarına sitenizin hangi bölümlerini tarayabileceklerini söyleyen düz metin dosyasıdır. Konumu sitenin kök dizinidir (ör. example.com/robots.txt). Başlıca direktifler: User-agent (botu belirtir), Disallow (yolları engeller), Allow (istisnalar), Sitemap (sitemap URL'si), Crawl-delay (istek aralığı). Amaç: tarayıcı trafiğini yönetmek, hassas sayfaları gizlemek, yinelenen içerikleri önlemek ve sunucu yükünü azaltmaktır. Güvenlik önlemi değildir.
💬

Robots.txt SEO’ya nasıl katkı sağlar?

Robots.txt, tarama bütçesini optimize ederek önemli sayfaları öne çıkarır, düşük değerli veya yinelenen sayfaları engeller, gereksiz taramaları azaltarak sunucu yükünü düşürür ve sitemap bildirimiyle indekslemeyi hızlandırır. En iyi uygulamalar: kritik içerikleri engellemeyin, CSS/JS dosyalarını açık tutun, Google Search Console ile doğrulayın ve mutlaka sitemap ekleyin.
🔍

Disallow ile Allow arasındaki fark nedir?

Disallow, tarayıcıların erişmesini istemediğiniz yolları belirtir (ör. /admin/, /private/). Allow ise engellenen alan içinde izin verilen istisnalar tanımlar (ör. Disallow: /private/, Allow: /private/public/). Daha spesifik kural öncelik kazanır; joker karakter (*) ve satır sonu işareti ($) kullanılabilir. Gereksiz engellemelerden kaçının.
💡

Tüm tarayıcılar robots.txt kurallarına uyar mı?

Hayır. Google, Bing, Yandex gibi saygın botlar kurallara uyar, ancak kötü niyetli botlar ve spam tarayıcılar görmezden gelebilir. Robots.txt yalnızca nezaket protokolüdür, herkese açıktır ve güvenlik aracı değildir. Gerçek koruma için kimlik doğrulama, güvenlik duvarı ve hız sınırlama gibi yöntemler kullanılmalıdır.
📚

Robots.txt dosyası nasıl test edilir?

Çevrim içi doğrulayıcılarla sözdizimini kontrol edin, Google Search Console robots.txt test aracını kullanın, tarayıcıda yoursite.com/robots.txt adresini ziyaret ederek çıktıyı doğrulayın, farklı User-agent'larla tarayıcı simülasyonları yapın ve sunucu loglarını inceleyerek bot davranışlarını izleyin.

💡Nasıl Kullanılır

1️⃣

Şablon Seçin

Tümüne izin ver, tümünü engelle veya özel yapıda hazır şablonlardan birini seçerek başlayın.
2️⃣

Kuralları Yapılandırın

User-agent, Disallow/Allow yolları ve isteğe bağlı crawl-delay değerlerini belirleyin.
3️⃣

Sitemap Ekleyin

https://example.com/sitemap.xml gibi sitemap adreslerini girin; gerekirse birden fazla ekleyin.
4️⃣

Doğrulayın ve Oluşturun

Sözdizimini doğrulayın; araç robots.txt içeriğini üretir, ön izleyip düzenleyin.
5️⃣

İndirin ve Yayınlayın

Dosyayı indirip site kök dizinine (yoursite.com/robots.txt) yükleyin, ardından test edip tarama günlüklerini takip edin.

🔗Related Documents

📖Resmi Robots.txt Kaynağı-Robots.txt protokolü hakkında resmi belgeler ve örnekler
🔧Google Robots.txt Kılavuzu-Google'ın robots.txt yönergeleri ve uygulama önerileri
🧪Google Search Console Test Aracı-Robots.txt dosyanızı Google üzerinden test edin
📚Bing Robots.txt Kılavuzu-Bing Webmaster Tools için robots.txt oluşturma rehberi
💡Moz Robots.txt Eğitimleri-SEO açısından robots.txt kullanımını anlatan kapsamlı rehber

📦Önerilen Bileşenler

User Comments

0 / 2000
Loading...