Skip to main content

SEO优化之网站收录

为什么我自己搭建的网站，百度、谷歌、必应等搜索引擎搜索不到？这很可能是你的网站还没有被搜索引擎收录。

1. 搜索引擎收录​

搜索引擎收录是指搜索引擎通过其网络爬虫（也称为蜘蛛或机器人）自动抓取互联网上的网页内容，并将这些内容存储在其数据库中的过程。这个过程使得用户在搜索引擎中输入查询时，能够找到相关的网页。

2. 查询你的网站是否被搜索引擎收录​

使用高级搜索，在搜索引擎的搜索框内键入site:你的网站域名来验证你的网站是否被收录, 百度、Google、必应、搜狗 方法相同。如检查我的网站阳光日志是否被搜索引擎收录：搜索框中输入 site:sunlogging.com。

搜索引擎是否被收录查询结果
百度是
必应否
搜狗否

3. 将网站信息提交给搜索引擎​

如果自己的网站没有被搜索引擎收录，不要慌，我们可以主动提交自己的网站给搜索引擎。

我们就以百度搜索引擎举例，如何将自己的网站提交给搜索引擎。

3.1. 将网站信息提交给百度搜索引擎​

  1. 首先，进入百度搜索资源平台

  2. 点击 "添加网站"。 如果你是首次使用，可能会要求你完善百度账号的信息。填写相关信息，然后保存即可。

  3. 填写你的网站协议和域名。

  4. 选择网站的领域类型，可多选。

  5. 验证网站，验证方式有两种：文件验证 和 HTML标签验证，建议选择文件验证，不与网站主页的内容耦合。

    1. 下载验证文件(baidu_verify_XXX.html)，然后将其放在hexo项目的source的根目录下。
    2. hexo g生成静态文件，可能会添加额外的html标签。为保留原始的文件内容，需修改_config.yml的配置，如下：
    skip_render: 
     - XXX
     - baidu_verify_vyAu8kfOUx.html

3.2. 资源提交​

除了将我们的网站告诉搜索引擎，还要将网站的内容（最新的网页）让搜索引擎收录。

百度搜索引擎收录网页的方式有三种方式:

  • API提交： 通过百度的API接口，将网站的URL自动提交给百度搜索引擎。
  • sitemap： 将网站的sitemap文件提交给百度搜索引擎。
  • 手动提交： 将单个或多个URL手动输入并提交给百度搜索引擎。

3.2.1. 添加sitemap​

**Sitemap（站点地图）**是一个XML文件，用于列出网站上的网页，以便搜索引擎（如Google、Bing等）能够更有效地抓取和索引网站内容。

下面讲解sitemap的添加过程。

  1. 给hexo项目添加自动生成sitemap的插件。

    npm install hexo-generator-sitemap --save
    npm install hexo-generator-seo-friendly-sitemap --save
    npm install hexo-generator-baidu-sitemap --save
    • hexo-generator-sitemap: 生成单一的sitemap文件，包含所有页面和文章。生成的文件默认为网站根目录下的sitemap.xml。
    • hexo-generator-seo-friendly-sitemap: 会生成索引型的sitemap，包含page-sitemap、post-sitemap、tag-sitemap、category-sitemap。生成的文件默认为网站根目录下的sitemap.xml。
    • hexo-generator-baidu-sitemap 是专门使用与百度的sitemap插件。生成的文件默认为网站根目录下的baidusitemap.xml。

    执行hexo g后会在public目录下生成sitemap.xml文件。

  2. 百度搜索资源平台添加sitemap。

    1. 资源提交 -> 普通收录 -> sitemap。然后设置sitemap的URL。
    2. 如果输入框和提交按钮置灰，说明没有对应的配额，需要申请，申请链接： https://iwenjuan.baidu.com/?code=pkkz91

3.2.2. 添加robots.txt​

robots.txt 文件是一个用于指示网络爬虫（如搜索引擎的爬虫）如何抓取网站内容的文本文件。它通常位于网站的根目录下，通过特定的语法规则，告诉爬虫哪些页面或文件可以被访问和索引，哪些应该被忽略。

  1. 在 .../source 路径下创建robots.txt文件，里面输入你的robots配置如下：

    User-agent: *
    Disallow:
    Sitemap: http://sunlogging.com/sitemap.xml

    User-agent: Baiduspider
    Disallow:
    Sitemap: Sitemap: http://sunlogging.com/baidusitemap.xml

  2. 将网站域名替换成自己的域名，更多robots.txt的语法参考下一章的内容。

  3. robots.txt发布后，在 资源提交 -> 普通收录 -> sitemap 点击“检查并更新”，验证robots.txt文件是否生效。

3.2.3. 主动推送网站页面​

  1. 安装插件

    npm install hexo-baidu-url-submit --save

  2. 修改_config.yml配置

    # 百度搜索引擎收录（主动推送）
    baidu_url_submit:
    count: 20                   # 提交最新的多少个链接
    host: sunlogging.com        # 在百度站长平台中添加的域名
    token: XXX                  # 秘钥
    path: baidu_urls.txt        # 文本文档的地址， 新链接会保存在此文本文档里
    • token: 搜索资源平台里接口调用地址里的token=xxx
    • count: 填写搜索资源平台里对你这个站点分配的每日提交配额。

  3. _config.yml添加新的deploy

    deploy:
    - type: git ## git的deployer
        repo:
        branch:
    - type: baidu_url_submitter ## 百度提交链接的deploy

3.3. 各搜索引擎的站点管理平台​

各搜索引擎的站点收录管理平台的链接如下：

搜索引擎管理平台链接
谷歌(Google)Google-Search Consolehttps://search.google.com/search-console
百度百度-搜索资源平台https://ziyuan.baidu.com/
必应(Bing)Webmasters Toolshttps://www.bing.com/webmasters/home
搜狗搜狗-资源平台https://zhanzhang.sogou.com/

4. sitemap​

4.1. 什么是sitemap​

**Sitemap（站点地图）**是一个XML文件，用于列出网站上的网页，以便搜索引擎（如Google、Bing等）能够更有效地抓取和索引网站内容。Sitemap可以提供以下信息：

  • 网页的URL： 列出网站上的所有重要页面。
  • 最后修改时间： 告诉搜索引擎每个页面最后一次更新的时间。
  • 更改频率： 表示页面内容的更新频率，如“始终”、“每天”、“每周”等。
  • 优先级： 指示每个页面对网站的重要性，范围从0.0到1.0。

Sitemap示例

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/</loc>
      <lastmod>2023-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>1.0</priority>
   </url>
   <url>
      <loc>http://www.example.com/page1.html</loc>
      <lastmod>2023-01-02</lastmod>
      <changefreq>weekly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

4.2. 什么是索引型sitemap？​

索引型Sitemap（Index Sitemap）是一种特殊的Sitemap文件，用于列出其他Sitemap文件的URL。它主要用于管理大量Sitemap文件的网站，通过一个索引文件来汇总所有Sitemap文件的位置，从而方便搜索引擎爬虫更高效地抓取和索引网站内容。

索引型Sitemap的结构:

索引型Sitemap文件的格式与普通Sitemap文件类似，但它的根元素是<sitemapindex>，每个子元素是<sitemap>，用于列出其他Sitemap文件的URL。而普通Sitemap文件的根元素通常是<urlset>。

以下是一个索引型Sitemap文件的示例：

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="sitemap.xsl"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
        <loc>http://sunlogging.com/post-sitemap.xml</loc>
        <lastmod>2024-08-31T07:11:41.861Z</lastmod>
    </sitemap>
    ...
    <sitemap>
        <loc>http://sunlogging.com/tag-sitemap.xml</loc>
        <lastmod>2024-08-31T07:11:41.861Z</lastmod>
    </sitemap>
</sitemapindex>

5. 参考文档​

https://zhuanlan.zhihu.com/p/344927945