Ücretsiz Araç
robots.txt Oluşturucu
robots.txt oluşturucu, hangi sayfaların taranıp taranmayacağını belirleyen robots.txt dosyanızı üretir. Engellenecek yolları ve sitemap adresini girerek geçerli bir dosya elde edersiniz; bu dosya sitenizin kök dizininde /robots.txt olarak yayınlanmalıdır.
User-agent: *
Allow: /robots.txt Oluşturucu nasıl kullanılır?
- 1Sitenin taranmasına izin verip vermeyeceğinizi seçin.
- 2Engellemek istediğiniz yolları (ör. /admin) ekleyin.
- 3Sitemap adresinizi girip oluşan dosyayı kök dizine yükleyin.
Sık sorulan sorular
robots.txt neyi engeller?+
robots.txt, botların hangi URL'leri taramayacağını belirtir. Ancak indekslemeyi kesin engellemez; bunun için 'noindex' meta etiketi gerekir.
Sitemap'i robots.txt'e eklemeli miyim?+
Evet. Sitemap satırı eklemek, arama motorlarının içerik haritanızı hızlıca bulmasını sağlar.
Sitenizin SEO potansiyelini ücretsiz keşfedin
48 saat içinde sitenizin teknik durumunu, anahtar kelime fırsatlarını ve rakip karşılaştırmasını içeren ücretsiz bir analiz hazırlıyoruz.