robots.txt nasıl oluşturulur?
robots.txt nasıl oluşturulur?
En basit robots.txt dosyası iki kural kullanır: User-agent: aşağıdaki kuralın geçerli olduğu robot Disallow: engellemek istediğiniz URL Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz. robots.txt dosyasındaki her bölüm ayrıdır ve önceki bölümleri esas almaz. Örneğin: User-agent: * Disallow: [...]
RSS
Facebook
FriendFeed
Twitter
