现在我们已经对搜索系统和 Googlebot 的工作原理有了大致了解，接下来我们将深入探讨几个影响爬取和索引的关键部分。

在本课中，我们将了解

• HTTP 状态码基础知识。
• 元数据以及 Web 爬虫在解析 Web 内容时寻找的内容。
• 如何与 Google 通信，以便其搜索爬虫知道你的网站上是否有新内容。
• 如何利用元机器人标签和规范链接来指示搜索引擎你所需的索引状态。