Robots.txt Nedir? Nasıl Kullanılır?

Robots.txt dosyası bir web sitesinin arama motorları tarafından hangi dizinleri indekslenmesi gerektiğini, hangi dosyaların arama sonuçlarında gösterilmemesi gerektiğini bildirir. Yani Robots.txt dosyası Google, Yandex gibi arama botlarının siteyi gezerken hangi klasörlerin insanlara sıralamada göstermemesi gerektiğini anlatır.

Örneğin sitenizde siteadi.com adresinizde gizli bir dosya varsa robots.txt ile bu dosyayı gizleyebilir ve arama sonuçlarında insanların karşısına çıkmasını önleyebilirsiniz. Böylelikle arama botlarına yol gösterirsiniz ve işlerini kolaylaştırırsınız.

Robot.txt dosyasının SEO’da kullanımı

Robots.txt dosyası SEO’da, arama motorlarının erişmesini istediğiniz, dizine eklemesini ve hatta taramasını istemediğiniz dosyaları kontrol etmenize olanak tanır. 

• İçerik özeldir ve arama sonuçlarında görülmesini istemeyebilirsiniz.
• İçerik düşük değerlidir ve SEO açısından değerli değildir ve sitenin değerini düşürmesini istemediğinizde robots.txt dosyasını kullanabilirsiniz.

Robots.txt yapısı

Sitedeki robots.txt dosyası şöyle görünür:

User-agent:

Disallow:

Allow:

User-agent: Google bot gibi botlara belli bir yörünge belirtmek istiyorum anlamına gelir ve devamını botlar okumaya başlar. Tüm botları dahil etmek istiyorsanız User-agent’ı kullanırsınız: *

Disallow , sitenin belirli bölümlerinin veya belirli sayfaların taranmasını önlemek için kullanılır.

Allow , belirli sayfalara izin vermek için kullanılabilir. Web sitenizdeki her sayfa ve bölüm için varsayılan değer izin verilmiş olmalıdır.

Robots.txt hataları

Robots.txt dosyası meta noindex etiketleri veya standart etiketlerle karıştırılmamalıdır. 

Robots.txt ile gördüğümüz en yaygın hata  , tüm web sitesini yanlışlıkla engellemektir . eğer sayfaları engellemek istiyorsanız noindex gibi etiketler kullanabilirsiniz robots.txt dosyasını sadece dizin engellemede kullanmanızı öneririz. Çünkü acemi kullanım tüm sitenizi arama motorları tarafından indexlenmemesine neden olabilir.

Örnek bir WordPress robots.txt dosyasını sizin ile paylaşacağız. WordPress kullanmayanlar içinde hemen hemen aynı parametırları kullanabilirsiniz.

User-agent: *
Disallow: */trackback/
Disallow: */xmlrpc.php
Disallow: /wp-*.php
Disallow: /cgi-bin/

Allow: */wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Allow: /blog/

Sitemap: https://www.baytronik.com/sitemap_index.xml

Böylelikle yukarıdaki koda baktığımızda User-agent: diyerek tüm botlara komut vermiş oluyoruz.
Disallow: etiketi kullanarak da bu dizinlere girmeyin veya bunları arama sonuçlarında göstermemelerine emir vermiş oluyoruz.
Allow etiketi ile de bu dizinleri giriş yapın ve arama sonuçlarında gösterin dedik.
Sitemap: etiketi ile sitenin site haritasını gösterdik.

Burada amaç doğru kullanım ve botlara hakim olmaktır. Bu kodları kullanırken dikkatli olmanız gerekmektedir. Çünkü yanlış kullanım tüm sitenizi engelleyebilirsiniz. Bizim ile iletişime geçerek sizin için ücretsiz robots.txt dosyası oluşturabiliriz.

Sıkça sorulan sorular

Paylaşmak Güzeldir!