答：搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網上的網頁并獲取網頁信息。
可以在網站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網站中不想被robot訪問的部分，這樣，該網站的部分或全部內容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內容。
robots.txt文件應該放在網站根目錄下。舉例來說，當robots訪問一個網站（比如http://www.abc.com）時，首先會檢查該網站中是否存在http://www.abc.com/robots.txt這個文件，如果機器人找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。
旗下網站：耐思智慧 - 淘域網 - 我的400電話 - 中文域名：耐思尼克.cn 耐思尼克.top
耐思智慧 © 版權所有 Copyright © 2000-2024 IISP.COM,Inc. All rights reserved
備案號碼：
粵ICP備09063828號
公安備案號：
粵公網安備 44049002000123號
域名注冊服務機構許可：粵D3.1-20240003
CN域名代理自深圳萬維網
聲明：本網站中所使用到的其他各種版權內容，包括但不限于文章、圖片、視頻、音頻、字體等內容版權歸原作者所有，如權利所有人發(fā)現(xiàn)，請及時告知，以便我們刪除版權內容
本站程序界面、源代碼受相關法律保護, 未經授權, 嚴禁使用; 耐思智慧 © 為我公司注冊商標, 未經授權, 嚴禁使用
舉報不良網站
高新企業(yè)證書編號：GR201644000568