En basit robots.txt dosyası iki kural kullanır:
User-agent: aşağıdaki kuralın geçerli olduğu robot
Disallow: engellemek istediğiniz URL

Bu iki satır, dosyada tek bir giriş sayılır. İstediğiniz kadar çok giriş ekleyebilirsiniz. Tek girişe birden çok Disallow satırı ve birden çok user-agent ekleyebilirsiniz.

robots.txt dosyasındaki her bölüm ayrıdır ve önceki bölümleri esas almaz. Örneğin:
User-agent: *
Disallow: /klasor1/

User-Agent: Googlebot
Disallow: /klasor2/

Popularity: 17% [?]