Makalecin - Güncel Blog Yazıları
Tarama Etiketi

SEO

Robots.txt Nedir, Nasıl Oluşturulur?

Robots.txt, arama motorlarına bir sitenin nasıl taranacağı hakkında açıklama yapan, botlara bir yol haritası çizen metin dosyalarıdır. Aynı zamanda REP yani robot dışlama protokolünün de bir parçası olan robots.txt dosyası genellikle site…