了解日志文件 现在您的日志文件已准备好进行分析 我们可以深入研究并开始了解我们的数据。日志文件可以采用多种格式来处理多个不同的数据点 但它们通常包括以下内容 服务器 日期和时间 服务器请求方法 例如  请求的 状态码 用户代理 如何快速确定您的扫描预算 抓取预算是搜索引擎每次访问您的网站时抓取的页面数。许多因素都会影响您的抓取预算 包括链接资产或域权限、网站速度等。通过分析日志文件 我们可以了解您网站的抓取预算是多少 以及哪里发生了导致抓取预算浪费的问题。 

或出版物这将确保您的

理想情况下 我们希望为扫描仪提供最高效的扫 意大利号码数据 描体验。抓取不应浪费在低 值页面上 并且优先页面 例如产品页面 不应出现较慢的索引编制和抓取速度。请记住 良好的抓取预算转化等于更好的自然搜索性能。 查看用户代理抓取的 通过查看网站 的爬网频率 您可以快速确定搜索引擎将时间花在爬网的位置上。 如果您有兴趣查看单个用户代理的行为 那么就像过滤 中的相应列一样简单。在本例中 使用 格式的日志文件我们使用 过滤 用户代理 列。

客座文章到达正确

然后过滤 列以显示 抓取此示例网站的主 欧盟电话号码 页的次数。 这是通过 找出单个用户代理是否存在任何问题区域的快速方法。 从这个主菜单中我们可以看到哪些 包括资源文件 正在被爬取 以快速识别任何有问题的 例如不应爬取的参数化 。 了解哪些机器人进行爬行、移动机器人如何在台式计算机上爬行 将帮助您立即了解哪些爬行预算被浪费以及网站的哪些区域需要改进。 查找低附加值的 抓取预算不应该花在低附加值的 上。 返回日志文件并过滤包含“?”的 或者 列中的问号 包含 的基础。