首页 > CMS应用 > 正文
WordPress的replytocom参数避免被百度蜘蛛抓取的解决办法

使用WordPress的朋友会发现,百度会抓取一些类似于587.html?replytocom=111的链接。造成同一个页面重复收录。而且似乎是WordPress程序的通病,大部分主题都是使用这种方法来回复评论的。

而Google却没有收录这样的链接,那是因为在WordPress头部有这样一句话:<link rel=’canonical’ href=’http://liboseo.com/587.html’ /> 。rel=’canonical’参数是告诉抓取的搜索引擎蜘蛛,这个网址才是标准的URL,这样会避免因为尾部有不同参数而重复抓取的情况。很可惜百度不支持这个参数。

而我们其实还有解决方案,那就是将这个参数屏蔽掉。

打开网站根目录下的robots.txt文件,添加下面内容:

User-agent: *
Disallow: /*?replytocom=*

这个代表的意思就是任何蜘蛛都禁止抓取带replytocom的参数的URL。

原文来自:http://liboseo.com/587.html

文章评论

共有 3 条评论

  1. 网店货源

    不得不说这又是一小技巧呀 ❓

    1. Past Dust

      兄弟
      ip已经贡献
      你这网站ping值还是不错的
      不过首页打开时间有些久了
      建议优化一下

  2. 雨婷

    我惊呆了,好贴啊,很难得的好贴

Top