網站檔案
robots.txt是一個網站檔案，用於指導搜尋引擎的機器人（也被稱為搜尋蜘蛛或網路爬蟲）訪問和抓取網站內容。
這個檔案通常位於網站的根目錄下，是一個ASCII編碼的純文本檔案。在robots.txt中，網站管理員可以聲明不想被搜尋引擎訪問的部分，或者指定搜尋引擎只收錄指定的內容。如果robots.txt檔案存在，搜尋引擎的機器人會按照檔案中的內容來確定訪問和抓取的範圍；如果該檔案不存在，搜尋引擎的機器人將能夠訪問網站上所有沒有被口令保護的頁面。
robots.txt是一種協定，而不是命令，大多數主流搜尋引擎都會尊重這個檔案。