搜索引擎SEO之开发者指南

标题：搜索引擎SEO之开发者指南

注：以下为Google为例

人们在运营网站时，使网站的内容易于搜索很重要，因为这样可以吸引更多相关用户浏览我们的内容。这种做法称为搜索引擎优化(SEO)，可为网站带来更多感兴趣的用户。如果搜索引擎无法理解我们的网页，那么就可能会错过重要的流量来源。

一、了解搜索引擎如何去发现网站

网络爬虫 是搜索引擎 的网页抓取漫游器，可发现新网页和更新过的网页并将它们添加到搜索引擎的索引中。

有人可能会惊讶地发现，网络爬虫 并不总能看到自己在浏览器中看到的所有内容。在下例中，Google的网络爬虫（称：Googlebot） 不知道该网页上有图片，因为该网页使用了一项不受Googlebot 支持的 JavaScript 功能。

下图展示了用户在查看该网页时看到的网页样貌。用户可以在浏览器中看到图片和文字。

二、检查您的链接

爬虫通过跟踪链接、站点地图和重定向在网址间导航。爬虫会将每个网址都作为在您的网站上看到的第一个也是唯一一个网址来处理。为了确保 爬虫 能够找到我们网站上的所有网址，需要执行以下操作：

1）使用包含有效网址的 <a href>。确保网站上的所有网页均能通过其他可找到的网页上的链接找到。确保引荐链接包括与目标网页相关的文字（对于图片，则应包括Alt 属性）。可抓取的链接是具有 href 属性的标记。

2）构建并提交站点地图，协助爬虫 更智能地抓取您的网站。站点地图是一种文件，可在其中提供与我们网站中的网页、视频或其他文件有关的信息，也可以说明这些内容之间的关系。

3）对于只有1 个 HTML 网页的 JavaScript 应用，请确保每个屏幕或每项具体内容都有一个网址。

三、检查 JavaScript 使用方式

虽然Googlebot 能够运行 JavaScript，但在设计网页和应用时需要考虑一些差异和限制，以适应抓取工具访问和呈现您的内容的方式。现如今国内所有的搜索引擎的理论来源都是源于Google，所以参考Google搜索引擎的JavaScript规则能最大限度的适应市面上所有的搜索引擎的规则。

四、当内容发生更改后及时告知搜索引擎

为确保确保搜索引擎能够快速找到我们的新网页或更新过的网页，一般需要遵循以下要求：

1）提交站点地图。

2）让搜索引擎重新抓取您的网址。

3）在适用时使用相关的索引API对爬虫进行引导。

如果相关网页仍然无法编入索引，请查看服务器日志中是否有错误。

五、别忘了网页上所用的字词

一般来说网络爬虫只能找到以文字形式显示的内容。例如，Googlebot目前无法看到视频中的文字。为确保Google 搜索能够理解您的网页主题，我们就需要遵循以下要求：

确保为相关的视觉内容附加文字形式的说明。例如，如果某个商品类别网页包含一系列衬衫图片，但不含任何与每张图片有关的文字内容，那么该网页就会效果欠佳。在商品类别网页中，每张图片都应附有一些文字说明。

确保每个网页都有描述性标题和元描述。独特的标题和元描述有助于搜索引擎显示相关的网页与用户的相关程度，从而提升网站的搜索流量。

使用语义HTML。尽管主流的爬虫都会将HTML、PDF 内容、图片和视频编入索引，但它不会将那些需要使用插件（例如，Java 或 Silverlight）的内容或在画布中呈现的内容编入索引。请尽可能为相关内容使用语义HTML 标记，而不要使用插件。

六、将内容的其他版本告知搜索引擎

爬虫一般来说都是无法自动知晓您的网站或内容有多个版本。例如，网站的移动版本、桌面版本或多国语言版本。要确保搜索引擎向用户提供正确的版本，您可以：

1）整合重复网址。

2）将网站的本地化版本告知搜索引擎。

3）使您的AMP 网页可被轻松发现。

七、控制搜索引擎看到的内容

可通过多种方法禁止爬虫 处理您的内容，如下所示：

1）若要禁止爬虫 查找您的网页，请仅允许已登录的用户访问您的内容（例如，设置登录页面或使用密码保护您的网页）。

2）若要禁止爬虫 抓取您的网页，请创建robots.txt。robots.txt 并不是一种阻止 搜索引擎 访问某个网页的机制。若要阻止搜索引擎 访问某个网页，请使用 noindex 标记/指令，或者使用密码保护该网页。

3）若要禁止搜索引擎 将您的网页编入索引，但仍允许抓取，请添加 noindex 标记。混用多种抓取指令和索引编制指令可能会导致某些指令与其他指令产生冲突。请参阅如何合并使用抓取指令与索引编制/内容显示指令，了解如何正确配置这些指令。

如果您的内容未显示在目标引擎的搜索中，但您想让它显示在其中，请按以下步骤操作：

1）使用网址检查工具检查相关搜索引擎的爬虫 能否访问该网页。

2）检查您的robots.txt 文件，看看您是否在无意中禁止了 网络爬虫 抓取自己的网站。

3）检查您的HTML，看看元标记中是否有 noindex 规则。

八、为网站启用富媒体搜索结果

富媒体搜索结果可包含样式、图片或其他互动功能，帮助我们的网站在搜索结果中脱颖而出。您可以在网页上添加结构化数据，提供与网页含义有关的明确线索，从而帮助搜索引擎 更好地了解您的网页并在搜索引擎 搜索中显示富媒体搜索结果。如果您不确定从何处着手，我想相关的搜索引擎都会有自己的开放功能库，去查查吧！