Robots.txt dosyası bir web sitesinin arama motorları tarafından hangi dizinleri indekslenmesi gerektiğini, hangi dosyaların arama sonuçlarında gösterilmemesi gerektiğini bildirir. Yani Robots.txt dosyası Google, Yandex gibi arama botlarının siteyi gezerken hangi klasörlerin insanlara sıralamada göstermemesi gerektiğini anlatır. Örneğin sitenizde siteadi.com adresinizde...