Robots.txt Nedir? Nasıl Kullanılır?

Robots.txt bir web sitesinin arama motorları tarafından hangi dizinleri indexlemesi gerektiğini hangi dizinleri taramaması gerektiğini bildirir. Yani Robots.txt dosyası Google, Yandex arama botlarının siteyi gezerken hangi dosyaları veri tabanına eklemesi gerektiğini bildirir.

Örneğin sitenizde siteadi.com adresinizde /gizli/ bir dosya varsa robots.txt ile bu gizli dosyanızı gizlersiniz ve arama sonuçlarında çıkmasını önlersiniz. Botlara yol gösterirsiniz ve işlerini kolaylaştırırsınız.

Robot.txt dosyasının SEO’da kullanımı

Robots.txt dosyası SEO’da, arama motorlarının erişmesini istediğiniz, dizine eklemesini ve hatta taramasını istemediğiniz dosyaları kontrol etmenize olanak tanır. 

• İçerik özeldir ve arama sonuçlarında görülmesini istemeyebilirsiniz;
• İçerik düşük değerlidir ve SEO açısından değerli değildir ve sitenin değerini düşürmesini istemediğinizde robots.txt dosyasını kullanabilirsiniz.

Robots.txt yapısı

Sitedeki robots.txt dosyası şöyle görünür:

User-agent:

Disallow:

Allow:

User-agent: Google bot gibi botlara belli bir yörünge belirtmek istiyorum anlamına gelir ve devamını botlar okumaya başlar. Tüm botları dahil etmek istiyorsanız User-agent’ı kullanırsınız: *

Disallow , sitenin belirli bölümlerinin veya belirli sayfaların taranmasını önlemek için kullanılır.

Allow , belirli sayfalara izin vermek için kullanılabilir. Web sitenizdeki her sayfa ve bölüm için varsayılan değer izin verilmiş olmalıdır.

Robots.txt hataları

Robots.txt dosyası meta noindex etiketleri veya standart etiketlerle karıştırılmamalıdır. 

Robots.txt ile gördüğümüz en yaygın hata  , tüm web sitesini yanlışlıkla engellemektir . eğer sayfaları engellemek istiyorsanız noindex gibi etiketler kullanabilirsiniz robots.txt dosyasını sadece dizin engellemede kullanmanızı öneririz. Çünkü acemi kullanım tüm sitenizi arama motorları tarafından indexlenmemesine neden olabilir.

Örnek bir WordPress robots.txt dosyasını sizin ile paylaşacağız. WordPress kullanmayanlar içinde hemen hemen aynı parametırları kullanabilirsiniz.

User-agent: *
Disallow: */trackback/
Disallow: */xmlrpc.php
Disallow: /wp-*.php
Disallow: /cgi-bin/

Allow: */wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Allow: /blog/

Sitemap: https://www.baytronik.com/sitemap_index.xml

Böylelikle yukarıdaki koda baktığımızda User-agent: diyerek tüm botlara komut vermiş oluyoruz.
Disallow: etiketi kullanarak da bu dizinlere girmeyin veya bunları arama sonuçlarında göstermemelerine emir vermiş oluyoruz.
Allow etiketi ile de bu dizinleri giriş yapın ve arama sonuçlarında gösterin dedik.
Sitemap: etiketi ile sitenin site haritasını gösterdik.

Burada amaç doğru kullanım ve botlara hakim olmaktır. Bu kodları kullanırken dikkatli olmanız gerekmektedir. Çünkü yanlış kullanım tüm sitenizi engelleyebilirsiniz. Bizim ile iletişime geçerek sizin için ücretsiz robots.txt dosyası oluşturabiliriz.