如何利用robots.txt文件进行WordPress网站SEO优化?

如何利用robots.txt文件进行WordPress网站SEO优化?

Robots是网站与蜘蛛通信的重要渠道。该站点通过Robots文件声明网站不希望被搜索引擎收录,或者指定搜索引擎只收录特定的部分。WordPress网站如何利用robots.txt文件进行SEO优化?

搜索引擎机器人访问该网站时,它将首先在站点的根目录中查找robots.txt文件。如果有此文件,它将根据该文件的内容来确定该文件的范围,如果没有,则默认访问并包括所有页面。

如何利用robots.txt文件进行WordPress网站SEO优化? WordPress 第1张

了解Robots协议的作用,以下是WordPress网站如何编写robots.txt文件的具体说明:

默认情况下,WordPress站点是在浏览器中输入的:http://您的域名/robots.txt,显示如下内容:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

这是WordPress自动生成的,这意味着搜索引擎被告知不要抓取后台进程文件。

User-agent: *

  Disallow: /wp-admin/

  Disallow: /wp-includes/

  Disallow: /*/comment-page-*

  Disallow: /*?replytocom=*

  Disallow: /category/*/page/

  Disallow: /tag/*/page/

  Disallow: /*/trackback

  Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  Disallow: /?s=*

  Disallow: /*/?s=*\

  Disallow: /*?*

  Disallow: /attachment/

用法:创建一个名为robots.txt文本文件,将上面的内容放入其中,并将其上传到站点的根目录,或者单击下面的命令下载机器人文件并将其上传到站点的根目录。

以下是对每个项目的作用的单独解释:

1.Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要爬行守护进程文件页。

2.Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

搜索引擎被禁止爬行相关链接,如评论分页。

3.Disallow: /category/*/page/和Disallow: /tag/*/page/

搜索引擎禁止爬行包含类别和标签的网页。

4.Disallow: /*/trackback

禁止搜索引擎抓取类似trackback之类的垃圾信息

5.Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎爬行以包含提要链接。提要仅用于订阅此站点,而不考虑搜索引擎。

6.Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎在车站爬行搜索结果

7.Disallow: /*?*

不要搜索和爬行动态页面

8.Disallow: /attachment/

禁止搜索引擎爬行附件页,如无意义的图片附件页。

上面只是一些基本的写作,当然还有很多,我们可以根据自己的需要修改,修改并上传到站点的根目录,我们也可以使用百度搜索资源平台Robots工具来创建、验证、更新robots.txt文件,或者查看站点robots.txt文件在百度中的有效性。

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

如需转载,请注明文章出处和来源网址:https://www.54u.net/1322.html

评论已关闭。