Robots.txt 是一箇存放在網站根目錄下的 ASCII 編碼的文本文件，用於指導搜索引擎的爬蟲（也稱爲網絡蜘蛛或漫遊器）訪問網站時的行爲。它通過列出網站的某些頁面或目錄，告訴搜索引擎哪些內容是允許被抓取的，哪些是不允許的。這種文件是網站所有者和搜索引擎之間的一種協議，旨在控制搜索引擎對網站內容的抓取範圍，以避免不必要的數據抓取和索引，從而減輕網站服務器的負擔，並確保網站內容的隱私和安全。Robots.txt 文件通常對搜索引擎機器人（爬蟲）的訪問行爲設定了規則，但這些規則並不是絕對的，搜索引擎可以繞過 Robots.txt 文件抓取它認爲有價值的內容。