爬虫记录

此页面用于记录搜索引擎的爬虫请求，可以非常及时的知道是否有爬虫访问过网站的页面。

设置

• 启用爬虫记录：取消勾选之后将不会再进行记录。

• 记录保留时间：超过这个时间将自动删除旧数据。

• 保留最近多少条记录：超过设置的值后，将自动删除旧数据。

记录视图

此外，此页面也提供了另外的记录视图，可以看到所有爬虫请求的详细记录。

创建重定向

记录视图可以非常方便的检查出无法访问或者访问有异常的页面，建议根据实际情况为这些链接创建重定向请求，避免死链。