Crawl-delay是雅虎搜索引擎Slurp爬虫支持的扩展指令，用于设定网络爬虫对站点抓取请求的最低间隔时间，数值单位为秒。其配置格式为在
robots.txt文件中声明User-agent与Crawl-delay参数，例如User-agent: * Crawl-delay: 10表示爬虫两次抓取间隔需≥10秒。该指令通过延长抓取间隔降低服务器负载压力，常见于部分网站（如github）的robots.txt文件。
如果
搜索引擎对
网页抓取频率太高的情况下，需要用Crawl-delay语句来控制搜索引擎的抓取频率，时间以秒为单位。例如设定搜索引擎两次抓取的时间间隔为15秒。则在
robots协议中的指令如下：
百度于2012年9月20在
百度站长平台发出通知。该通知表明：百度对网站访问频率不再参考该设置，即不支持Crawl-delay配置，如果您希望配置网站针对百度spider的访问频率，建议您使用百度站长平台的抓取压力反馈工具，先查询网站在百度近一个月的天级抓取量趋势图，可调节百度spider每天访问您网站的抓取压力上限，供百度参考，避免百度spider对站点抓取压力过大，造成
网站服务器负载及抓取异常。