利用Robots.txt优化你的WordPress站点

WordPress8635.5K阅读模式

利用Robots.txt优化你的WordPress站点

很多建站新手对robots.txt文件的重要作用不是很清楚,利用这篇文章普及一下WordPress站点robots.txt文件编写知识。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

搜索引擎机器人访问网站时,首先会寻找站点根目录有没有 robots.txt文件,如果有这个文件就根据文件的内容确定收录范围,如果没有就按默认访问以及收录所有页面。另外,当搜索蜘蛛发现不存在robots.txt文件时,会产生一个404错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个robots.txt文件还是很重要的。

知道Robots协议的作用后,下面具体说一下WordPress站点如何编写robots.txt文件。

WordPress站点默认在浏览器中输入:http://你的域名/robots.txt,会显示如下内容:

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-includes/

这是由WordPress自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。

但这是远远不够的,比较完整的WordPress站点robots.txt文件内容如下:

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。

下面分别解释一下各项的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*

禁止搜索抓取动态页面

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

上面只是些基本的写法,当然还有很多,不过够用了。

 

本站文章大部分始于原创,用于个人学习记录,可能对您有所帮助,仅供参考!

weinxin
我的微信
版权声明
本站原创文章转载请注明文章出处及链接,谢谢合作!
 
知更鸟
评论  86  访客  78  作者  2
    • 过客
      过客 0

      学习了!正好我还没有,拿来用用。谢了!

        • 网站基础优化
          网站基础优化 0

          @ 过客 写的不错,学习了,robots设置属于网站的基础优化范畴,基础优化有很多个需要注意的地方,

          有需要的大家可以交流一下。

        • 江南
          江南 0

          不错,我博客启用了新的主题就是你的,很好,谢谢

          • chasonma
            chasonma 1

            :idea: 支持一下!

            • 消灭星星
              消灭星星 3

              交换友链 http://huanglv.me/p 消灭星星

              • 我爱书籍
                我爱书籍 5

                哈哈 支持 鸟哥 今天我提问的
                很全面 我已经上传了

                • 脑精
                  脑精 3

                  请教一个跟主题并不相干的问题,也是没地方问这类问题,博主多才,这个可能不难解决。这是我在别人网站看的效果。像图片里,可以隐藏几个字,一点击,就显示出来了。这个是什么代码控制的呢,大大?wordpress中如何实现呢?如有空暇,望能解答,非常感谢![img]http://i2.tietuku.com/4d6f4bbc1be9f5ff.png[/img]

                    • 知更鸟
                      知更鸟

                      @ 脑精 只是简单的网页JS应用,比如这个页面
                      http://zmingcx.com/wordpress-theme-ality.html

                        • 脑精网
                          脑精网 3

                          @ 知更鸟 对的对的,那样的已经很好了。我问了一个博主,说可以付费给我弄。也没说多少钱,或许是拿来主义惯了,我还没去找他。呵呵,能分享吗?谢谢了

                          • 脑精网
                            脑精网 3

                            @ 知更鸟 问了两天度娘,奔走了无数家博主家。隐藏效果终于是出来了,不过问题又出来新的了。那就是如果内容少,隐藏的内容就会在摘要中显示。我的主题刚好还是手工摘要无效的,所以,我中间再插了一段话。也是逼得没办法了。呵呵,只有先将就着用,到时再看能不能解决好了

                        • boke123网址大全
                          boke123网址大全 5

                          我平时也就只有几个,没想到这里有这么全面的,拿走了,谢谢分享

                          • 怎么样在网上赚钱
                            怎么样在网上赚钱 2

                            之前看有说需要禁止抓取动态URL的,需要设置吗?

                            • 主机测评
                              主机测评 2

                              如果把sitemap添加进rebots.txt的话就更加完整了!

                              • Win7en乐园
                                Win7en乐园 7

                                攒钱买鸟哥的新主题,嘿嘿! 发现买的D8大前端越来月不好看了。

                                  • 脑精网
                                    脑精网 3

                                    @ Win7en乐园 这个是通病,没折腾的主题都漂亮。呵呵,不过鸟哥这主题是算cms吧?适合自己的就好,我也很次都把精力花在折腾上,内容倒是没那么积极。

                                  • 老虎
                                    老虎 6

                                    不错。

                                    • 脑精网
                                      脑精网 3

                                      刚用上了,刚发现,留言竟然说了这么多不相干的,呵呵,感谢鸟哥大量了。我的不知道是什么原来来的,ftp登陆上去,没有robots文件,但是直接域名后加上鸟哥给的链接,也出来了robots页面,里面也有内容,不过没有鸟哥上面的这么详细。我就新建了一个给换了。

                                      • 美股大全
                                        美股大全 2

                                        这个robot会不会导致image不被收录呢?image是放在wp-content里的,要不要再加一行允许wp-content/upload/ ?

                                        • 同盟源
                                          同盟源 3

                                          学习了,暂时没写ROBOTS文件

                                          • 竞价托管
                                            竞价托管 1

                                            不错,网站比较干净~~

                                            • 梁园里
                                              梁园里 0

                                              博主的文章专业、精致,希望与博主交换友链,本人不胜感激!

                                              • 它季
                                                它季 2

                                                robots.txt中的设置信息确实很重要,对搜索引擎尤其重要。

                                                • Kael
                                                  Kael 7

                                                  鸟哥,还得请教个问题,hotnews主题,我换了域名后,所有头像都是裂了,哪里还需要改下?

                                                    • 知更鸟
                                                      知更鸟

                                                      @ Kael 这个与主题无关,参阅:http://zmingcx.com/replace-gravatar-server.html

                                                    • 搞笑电影
                                                      搞笑电影 0

                                                      学习啦!

                                                      • 鲜活
                                                        鲜活 3

                                                        robots.txt的用法真不错

                                                        • hanbing17
                                                          hanbing17 2

                                                          robots.txt的用法真不错

                                                          • obert
                                                            obert 1

                                                            谢谢分享,持续关注。

                                                            • 落英缤纷
                                                              落英缤纷 4

                                                              不错 已经用上了。。。。。。。。。

                                                              • 海蓝辰风
                                                                海蓝辰风 2

                                                                谁知道如何设置弹窗的下载链接呢 :mad:

                                                                • 秋叶博客
                                                                  秋叶博客 2

                                                                  feed页面是有用的~

                                                                  • 秋叶博客
                                                                    秋叶博客 2

                                                                    虽然不收录

                                                                    • 迷城
                                                                      迷城 0

                                                                      您好, 你博客文章怎么让他显示标题命名.html 呢

                                                                      • vps推荐
                                                                        vps推荐 0

                                                                        很全,基本上也就这些了,其他的看自己的在添加就行了

                                                                        • BT搜搜
                                                                          BT搜搜 1

                                                                          BT搜搜 http://www.btsoso.org 如果有站点地图的话加上更好。

                                                                          • 菠萝格格 from 博客志 www.daquan8.com
                                                                            菠萝格格 from 博客志 www.daquan8.com 1

                                                                            喜欢拿来主义

                                                                            • 萨龙龙
                                                                              萨龙龙 4

                                                                              现在很多站点都使用MU来创建,其中有些网站不想让搜索引擎搜索,这个如何设置?

                                                                              • 青蛙不是猪
                                                                                青蛙不是猪 0

                                                                                为啥我输入域名加robots.txt没有这个文件呢

                                                                                • 一二三福利
                                                                                  一二三福利 0

                                                                                  谢谢鸟哥分享。。

                                                                                  • 2015夏季必备衬衫
                                                                                    2015夏季必备衬衫 0

                                                                                    这个东西找了很久,终于见到了,下载保存试试看

                                                                                    • 极草5x
                                                                                      极草5x 0

                                                                                      这个确实写的非常详细,很有用!

                                                                                      • 神州网络
                                                                                        神州网络 2

                                                                                        动态网页用禁止吗现在

                                                                                        • 美Win网
                                                                                          美Win网 4

                                                                                          图片页要给屏蔽掉吗?

                                                                                          • 西贝博客
                                                                                            西贝博客 3

                                                                                            请问一下,如果博客的预览页面(比如我写了一篇博客,在发布之前我会在预览的页面打开看看是否有些地方需要调整)总是被抓取该怎么解决呢?总是看到这个预览页面非蜘蛛抓取,然后正式的文章发布出去的时候,再去看被抓取的页面的时候就会出现404页面了,求指导,谢谢!

                                                                                            • 秦皇岛婚纱摄影哪家好
                                                                                              秦皇岛婚纱摄影哪家好 2

                                                                                              图片都是哪找到的 好清晰 好创意

                                                                                              • Aaron
                                                                                                Aaron 3

                                                                                                不错。又来学习了。。

                                                                                                • 番茄
                                                                                                  番茄 2

                                                                                                  我的robots文件看来得修改一下了。

                                                                                                  • 张new
                                                                                                    张new 0

                                                                                                    感谢分享。

                                                                                                    • 静心堂佛珠
                                                                                                      静心堂佛珠 1

                                                                                                      很不错,已经用上了,

                                                                                                      • 流量营销
                                                                                                        流量营销 2

                                                                                                        我就是那类不知道robots文件如何用的人,现在明白了。

                                                                                                        • 热腾吧
                                                                                                          热腾吧 2

                                                                                                          我的还没写robots文件。明天要写上了

                                                                                                            • 我爱动感单车网
                                                                                                              我爱动感单车网 7

                                                                                                              @ 热腾吧 :razz: 想当初因为自己对WordPress程序不熟悉,为了尽可能拟写好这个robots.txt文本文件,那可是查找了很多资料和不断思索才最终搞定。感兴趣的朋友可以去参考下我的博客是怎么写的,大家多多交流、共同进步。

                                                                                                            • 009
                                                                                                              009 4

                                                                                                              建议文章标题参考之前的主题看看

                                                                                                              • 三月福利吧
                                                                                                                三月福利吧 2

                                                                                                                不错,正愁这个呢!!!!

                                                                                                                • 枯叶蚁
                                                                                                                  枯叶蚁 1

                                                                                                                  用上了,谢谢

                                                                                                                  • 龙之游
                                                                                                                    龙之游 1

                                                                                                                    用上了,谢谢http://www.lzyhll.com

                                                                                                                    • Noob工厂手表
                                                                                                                      Noob工厂手表 0

                                                                                                                      感谢知更鸟无私的分享,对于我来说太有用了!

                                                                                                                      • 嘻嘻不要
                                                                                                                        嘻嘻不要 1

                                                                                                                        robots金典教程,大家圈起来,考试要考

                                                                                                                        • 五牛
                                                                                                                          五牛 1

                                                                                                                          呵呵,简单实用的!谢谢博主!

                                                                                                                          • 驴行路上乐悠悠
                                                                                                                            驴行路上乐悠悠 4

                                                                                                                            刚试了一下发现我的robots.txt这个文件里多了个:Allow: /wp-admin/admin-ajax.php,这个ms是搞错了吧,抓取后台的文件了?

                                                                                                                            • 逆袭风暴
                                                                                                                              逆袭风暴 0

                                                                                                                              受教了,刚好用上,谢谢分享。

                                                                                                                              • 唯美图片网
                                                                                                                                唯美图片网 0

                                                                                                                                用上了,总结的不错,再写一个sitemap就更好了!
                                                                                                                                www.weimeitupian.com

                                                                                                                                • 猎乐网
                                                                                                                                  猎乐网 2

                                                                                                                                  很好,不过要注意的是,百度的可以用utf8编码 谷歌的会报错, 谷歌要保存成ANSI编码的

                                                                                                                                  • Bravo
                                                                                                                                    Bravo 0

                                                                                                                                    我想问下您的代码高亮是用的是那个插件???谢谢!

                                                                                                                                    • 还有谁
                                                                                                                                      还有谁 0

                                                                                                                                      呵呵哈哈哈机甲

                                                                                                                                      • 淘宝优惠券查询系统
                                                                                                                                        淘宝优惠券查询系统 2

                                                                                                                                        屏蔽了各种蜘蛛还是乱抓取。。。

                                                                                                                                        • 玩游戏赚钱
                                                                                                                                          玩游戏赚钱 0

                                                                                                                                          谢谢博主啊,我直接拿来用了!在你博客学到好多东西,感谢!

                                                                                                                                          • 洛伊元
                                                                                                                                            洛伊元 1

                                                                                                                                            用上了,谢谢http://www.lyy928.com

                                                                                                                                            • 发大水
                                                                                                                                              发大水 0

                                                                                                                                              苟富贵升大概桂丰大厦

                                                                                                                                              • 爸妈质选
                                                                                                                                                爸妈质选 0

                                                                                                                                                谢谢博主,已经上传啦

                                                                                                                                                • 怡文
                                                                                                                                                  怡文 0

                                                                                                                                                  学习了,自己的博客站正好用上。www.meibaseo.com

                                                                                                                                                  • 瞎折腾
                                                                                                                                                    瞎折腾 0

                                                                                                                                                    阿里云负载突然100%,现在又好了,是不是有爬虫在爬啊

                                                                                                                                                    • 福利啊
                                                                                                                                                      福利啊 1

                                                                                                                                                      感谢博主,已经用上http://fulia.net

                                                                                                                                                      • 精斑检测试纸
                                                                                                                                                        精斑检测试纸 0

                                                                                                                                                        很实用每次都来复制下

                                                                                                                                                        • 学美文网
                                                                                                                                                          学美文网 1

                                                                                                                                                          学习了

                                                                                                                                                          • 最佳损友
                                                                                                                                                            最佳损友 2

                                                                                                                                                            鸟哥牛逼!学就完事了。

                                                                                                                                                            • 崩天的勾玉
                                                                                                                                                              崩天的勾玉 2

                                                                                                                                                              这个不错,感谢!
                                                                                                                                                              https://www.bengtian.club

                                                                                                                                                              • 林枫
                                                                                                                                                                林枫 0

                                                                                                                                                                楼主分享的不错,已经用到了,www.wfcool.com

                                                                                                                                                              匿名

                                                                                                                                                              发表评论

                                                                                                                                                              匿名网友
                                                                                                                                                              :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

                                                                                                                                                              拖动滑块以完成验证