网站声明爬虫可访问范围的文本规则文件。
网站给爬虫贴了张后厨告示：哪扇门能进、哪口锅别碰，守不守全凭自觉。
它引导搜索和采集程序绕开页面，却挡不住故意闯入的爬虫。
Agent-readable Web它向遵守规则的网页代理声明哪些路径不该抓取。
Common Crawl抓取网页数据时，通常会参考它排除受限页面。