robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文字檔案，它通常告訴網絡搜尋引擎的漫遊器（又稱網絡蜘蛛），此網站中的哪些內容是不應被搜尋引擎的漫遊器取得的，哪些是可以被漫遊器取得的。因為一些系統中的URL是大小寫敏感的，所以robots.txt的檔名應統一為小寫。robots.txt應放置於網站的根目錄下。如果想單獨定義搜尋引擎的漫遊器造訪子目錄時的行為，那麼可以將自訂的設置合併到根目錄下的robots.txt，或者使用robots元數據（Metadata，又稱元數據）。
robots.txt協定並不是一個規範，而只是約定俗成的，所以並不能保證網站的私隱。注意robots.txt是用字串比較來確定是否取得URL，所以目錄末尾有與沒有斜槓「/」表示的是不同的URL。robots.txt允許使用類似"Disallow: *.gif"這樣的萬用字元[1][2]。
其他的影響搜尋引擎的行為的方法包括使用robots元數據：
<meta name="robots" content="noindex,nofollow" />這個協定也不是一個規範，而只是約定俗成的，有些搜尋引擎會遵守這一規範，有些則不然。通常搜尋引擎會辨識這個元數據，不索引這個頁面，以及這個頁面的鏈出頁面。
例子
允許所有的機械人：
User-agent: *
Disallow:
另一寫法
User-agent: *
Allow:/
僅允許特定的機械人：（name_spider用真實名字代替）
User-agent: name_spider
Allow:
攔截所有的機械人：
User-agent: *
Disallow: /
禁止所有機械人造訪特定目錄：
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
僅禁止壞爬蟲造訪特定目錄（BadBot用真實的名字代替）：
User-agent: BadBot
Disallow: /private/
禁止所有機械人造訪特定檔案類型[2]：
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
非標準擴充協定
自動發現Sitemaps檔案
Sitemap指令被幾大搜尋引擎支援（包括Google、Yahoo、Bing和Ask），指定了網站Sitemaps檔案的位置。Sitemaps檔案包含了網站頁面所在的URL的一個列表。Sitemap指令並不受User-agent指令的限制，所以它可以放在robots.txt檔案中的任意位置。[3]
唯一要注意的就是要使用網站地圖指令，<sitemap_location>,並將URL的"location"值換成網站地圖的地址，例如，下面就是一個網站地圖指令的例子：
Sitemap: <http://www.example.com/sitemap.xml>
如何編寫Sitemaps檔案，請參考sitemaps.org（英文）上的說明。
Crawl-delay指令
幾大抓取工具支援Crawl-delay參數，設置為多少秒，以等待同伺服器之間連續請求：[4]
User-agent: *
Crawl-delay: 10
Allow指令
一些大的Crawlers支援一項Allow指令，可以抵消先前Disallow指令。比如Googlebot。[5]
替代
雖然robots.txt是最為廣泛接受的方法，但也可以與robots META標籤一起使用。robots META標籤主要是針對一個獨立的頁面設置，與其他的META標籤（如使用的語言、頁面的描述、關鍵詞等）一樣，robots META標籤也是放在頁面的HEAD標籤中，專門用來告訴搜尋引擎robots如何抓取該頁的內容。註
<head>
<meta name="robots" content="noindex,nofollow" />
</head>參考文獻
- ↑ 使用robots.txt文件阻止或删除网页. Google網站站長工具幫助 (HTML).
- ↑ 2.0 2.1 完全指南：如何写好WordPress博客的robots.txt文件 (HTML). The Observing Mind. [2013-02-14].
- ↑ Jerri L.Ledord著馬煜譯. 搜索引擎优化宝典. : 257.
- ↑ MSNBot is crawling a site too frequently (HTML). Troubleshoot issues with MSNBot and site crawling. [2007-02-08] （英語）.
- ↑ 如何攔截Googlebot（Google網站站長工具幫助）（簡體中文）