robots.txt Test Aracırobots.txt test aracı ile tarama engellerini kontrol edin.
Bir adresin Googlebot ve diğer arama motoru tarayıcıları tarafından taranıp taranamayacağını, hangi robots.txt kuralının uygulandığını ve dosyanın tamamını görün.
Test edilecek adresi yazın
Taranıp taranamayacağını öğrenmek istediğiniz sayfanın tam adresini girin; robots.txt dosyası aynı alan adından alınır.
Sonuç
robots.txt test aracı neleri gösterir?
Araç, arama motoru tarayıcısının sitenizin robots.txt dosyasını okuyup verdiği kararı adım adım gösterir.
İzin / engel sonucu
Seçtiğiniz tarayıcının adresi tarayıp tarayamayacağı ve diğer tarayıcılar için karşılaştırma.
Uygulanan kural
Kararı belirleyen Allow / Disallow satırı ve tarayıcının hangi User-agent grubuna dahil olduğu.
Dosyanın tamamı
robots.txt içeriği satır numaralarıyla; eşleşen kural ve grup vurgulanır.
Dosya durumu
Dosyanın bulunup bulunmadığı, sunucu hataları, 500 KiB sınırı ve site haritası satırları.
Kurallar Google'ın yorumlama biçimine (RFC 9309) göre değerlendirilir: en uzun eşleşen kural uygulanır, eşitlikte Allow kazanır. robots.txt taramayı engeller ama bir sayfanın arama sonuçlarında görünmesini tek başına engellemez; bunun için noindex kullanılır.
robots.txt yazarken nelere dikkat etmelisiniz?
Küçük bir yazım hatası sitenin önemli bölümlerini arama motorlarına kapatabilir.
- "Disallow: /" tüm siteyi kapatırYalnızca belirli klasörleri kapatmak istiyorsanız tam yolu yazın (ör. Disallow: /wp-admin/).
- Tarayıcıya özel grupGooglebot için ayrı bir grup yazarsanız Googlebot "User-agent: *" grubundaki kuralları artık uygulamaz; ortak kuralları o gruba da ekleyin.
- * ve $ işaretleri* herhangi bir karakter dizisini, satır sonundaki $ adresin bittiği yeri ifade eder (ör. Disallow: /*.pdf$).
- CSS ve JavaScript'i engellemeyinGoogle sayfayı oluştururken bu dosyalara ihtiyaç duyar; engellenmeleri sayfanın yanlış değerlendirilmesine yol açabilir.
- Site haritasını ekleyin"Sitemap: https://alanadiniz.com/sitemap.xml" satırı arama motorlarının site haritanızı bulmasını kolaylaştırır.
Siteniz için
Sık sorulan sorular
robots.txt, tarama ve dizine ekleme hakkında kısa cevaplar.
robots.txt nedir?
robots.txt, sitenin kök dizininde (alanadiniz.com/robots.txt) bulunan ve arama motoru tarayıcılarına sitenin hangi bölümlerini tarayabileceklerini söyleyen düz metin dosyasıdır. Kurallar "User-agent" satırıyla başlayan gruplardan ve bu gruplardaki "Allow" ve "Disallow" satırlarından oluşur.
robots.txt bir sayfayı Google'dan kaldırır mı?
Hayır. robots.txt yalnızca taramayı engeller; başka sitelerden bağlantı alan bir sayfa taranmasa bile arama sonuçlarında açıklamasız olarak görünebilir. Bir sayfanın sonuçlarda görünmesini istemiyorsanız noindex etiketi kullanın ve o sayfayı robots.txt ile engellemeyin; aksi halde Google noindex etiketini göremez.
Kurallar nasıl değerlendirilir?
Tarayıcı önce kendi adının geçtiği User-agent grubunu, yoksa "User-agent: *" grubunu uygular. Grup içinde adrese uyan kurallardan en uzun olanı geçerlidir; Allow ve Disallow kuralları aynı uzunluktaysa Allow kazanır. * işareti herhangi bir karakter dizisini, satır sonundaki $ adresin bittiği yeri ifade eder. Bu araç kuralları Google'ın uyguladığı RFC 9309 standardına göre değerlendirir.
robots.txt dosyası yoksa ya da hata veriyorsa ne olur?
Dosya yoksa (404 gibi bir 4xx yanıtı) Google tüm siteyi taranabilir kabul eder. Sunucu hatası (5xx) veriyorsa ya da dosyaya ulaşılamıyorsa Google siteyi geçici olarak hiç taramayabilir. Bu yüzden robots.txt adresinin her zaman 200 ya da 404 döndürmesi önemlidir.
Googlebot için ayrı bir grup yazarsam ne olur?
Googlebot kendi adının geçtiği grubu bulduğunda "User-agent: *" grubundaki kuralları artık uygulamaz. Örneğin genel grupta /wp-admin/ engelliyse ve Googlebot için ayrı bir grup yazdıysanız, aynı kuralı Googlebot grubuna da eklemeniz gerekir.
GPTBot ve Google-Extended nedir?
GPTBot, OpenAI'ın web tarayıcısıdır ve robots.txt ile engellenebilir. Google-Extended ise ayrı bir tarayıcı değil, Google'ın içeriğinizin Gemini gibi yapay zekâ modellerinde kullanılıp kullanılamayacağını belirlemek için okuduğu bir robots.txt adıdır; Google-Extended'ı engellemek sitenizin Google arama sonuçlarındaki yerini etkilemez.
Sonuçlar ne kadar güncel?
robots.txt dosyası aynı alan adı için 10 dakika boyunca saklanır; bu sürede farklı adresleri ve tarayıcıları dosya yeniden indirilmeden test edebilirsiniz. Dosyayı yeni değiştirdiyseniz kısa bir süre sonra tekrar deneyin. IP adresi başına saatte 40 test yapılabilir.