利用Robots.txt优化你的WordPress站点

知更鸟
知更鸟
知更鸟
1632
文章
6929
评论
2015年4月11日11:03:188633.2K157

利用Robots.txt优化你的WordPress站点

很多建站新手对robots.txt文件的重要作用不是很清楚,利用这篇文章普及一下WordPress站点robots.txt文件编写知识。

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

搜索引擎机器人访问网站时,首先会寻找站点根目录有没有 robots.txt文件,如果有这个文件就根据文件的内容确定收录范围,如果没有就按默认访问以及收录所有页面。另外,当搜索蜘蛛发现不存在robots.txt文件时,会产生一个404错误日志在服务器上,从而增加服务器的负担,因此为站点添加一个robots.txt文件还是很重要的。

知道Robots协议的作用后,下面具体说一下WordPress站点如何编写robots.txt文件。

WordPress站点默认在浏览器中输入:http://你的域名/robots.txt,会显示如下内容:

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-includes/

这是由WordPress自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。

但这是远远不够的,比较完整的WordPress站点robots.txt文件内容如下:

  1. User-agent: *
  2. Disallow: /wp-admin/
  3. Disallow: /wp-content/
  4. Disallow: /wp-includes/
  5. Disallow: /*/comment-page-*
  6. Disallow: /*?replytocom=*
  7. Disallow: /category/*/page/
  8. Disallow: /tag/*/page/
  9. Disallow: /*/trackback
  10. Disallow: /feed
  11. Disallow: /*/feed
  12. Disallow: /comments/feed
  13. Disallow: /?s=*
  14. Disallow: /*/?s=*\
  15. Disallow: /*?*
  16. Disallow: /attachment/

使用方法:新建一个名称为robots.txt文本文件,将上面的内容放进去,然后上传到网站根目录即可。

下面分别解释一下各项的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告诉搜索引擎不要抓取后台程序文件页面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取评论分页等相关链接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收录分类和标签的分页。

4、Disallow: /*/trackback

禁止搜索引擎抓取收录trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站内搜索结果

7、Disallow: /*?*

禁止搜索抓取动态页面

8、Disallow: /attachment/

禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

上面只是些基本的写法,当然还有很多,不过够用了。

 

文件下载
利用Robots.txt优化你的WordPress站点
weinxin
版权声明
本站原创文章转载请注明文章出处
WordPress 删除xmlrpc.php防DDOS攻击 WordPress

WordPress 删除xmlrpc.php防DDOS攻击

可能很多WordPress用户都不知道这个xmlrpc.php是什么,简单地说就是Wordpress 为手机等客户端提供的接口文件,早期的Wordpress 这个接口就是个万恶之源,虽然经过多次的升级...
WordPress 5.6.1 维护更新 WordPress

WordPress 5.6.1 维护更新

WordPress 5.6.1 维护更新,修复20个错误及7个区块编辑器问题,无安全更新,中文版同期发布。 看了一下更新日志,只有少数几个程序的错误,基本都是修正默认主题的错误。 该版本是一个短周期维...
登录用户显示不同的 WordPress 菜单 WordPress

登录用户显示不同的 WordPress 菜单

如果让登录用户与未登录浏览者,显示不同的菜单,可以通过下面的代码实现: 登录用户显示不同的 WordPress 菜单 将下面代码添加到当前主题函数模板functions.php中: if( is_us...
手动开启WordPress站点维护模式 WordPress

手动开启WordPress站点维护模式

在更新程序或插件中,WordPress前端会显示处于维护模式,如果想临时启用维护模式,让用户知道你的站点在维护中,可以通过下面的代码实现。 开启WordPress站点维护模式 将下面代码添加到当前主题...
匿名

发表评论

匿名网友

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:86   其中:访客  78   博主  2   引用   6
    • 过客 过客 0

      学习了!正好我还没有,拿来用用。谢了!

        • 网站基础优化 网站基础优化 0

          @ 过客 写的不错,学习了,robots设置属于网站的基础优化范畴,基础优化有很多个需要注意的地方,

          有需要的大家可以交流一下。

        • 江南 江南 0

          不错,我博客启用了新的主题就是你的,很好,谢谢

          • chasonma chasonma 1

            :idea: 支持一下!

            • 消灭星星 消灭星星 3

              交换友链 http://huanglv.me/p 消灭星星

              • 我爱书籍 我爱书籍 5

                哈哈 支持 鸟哥 今天我提问的
                很全面 我已经上传了

                • 脑精 脑精 3

                  请教一个跟主题并不相干的问题,也是没地方问这类问题,博主多才,这个可能不难解决。这是我在别人网站看的效果。像图片里,可以隐藏几个字,一点击,就显示出来了。这个是什么代码控制的呢,大大?wordpress中如何实现呢?如有空暇,望能解答,非常感谢![img]http://i2.tietuku.com/4d6f4bbc1be9f5ff.png[/img]

                    • 知更鸟 知更鸟

                      @ 脑精 只是简单的网页JS应用,比如这个页面
                      https://zmingcx.com/wordpress-theme-ality.html

                        • 脑精网 脑精网 3

                          @ 知更鸟 对的对的,那样的已经很好了。我问了一个博主,说可以付费给我弄。也没说多少钱,或许是拿来主义惯了,我还没去找他。呵呵,能分享吗?谢谢了

                          • 脑精网 脑精网 3

                            @ 知更鸟 问了两天度娘,奔走了无数家博主家。隐藏效果终于是出来了,不过问题又出来新的了。那就是如果内容少,隐藏的内容就会在摘要中显示。我的主题刚好还是手工摘要无效的,所以,我中间再插了一段话。也是逼得没办法了。呵呵,只有先将就着用,到时再看能不能解决好了

                        • boke123网址大全 boke123网址大全 5

                          我平时也就只有几个,没想到这里有这么全面的,拿走了,谢谢分享

                          • 怎么样在网上赚钱 怎么样在网上赚钱 2

                            之前看有说需要禁止抓取动态URL的,需要设置吗?

                            • 主机测评 主机测评 2

                              如果把sitemap添加进rebots.txt的话就更加完整了!

                              • Win7en乐园 Win7en乐园 7

                                攒钱买鸟哥的新主题,嘿嘿! 发现买的D8大前端越来月不好看了。

                                  • 脑精网 脑精网 3

                                    @ Win7en乐园 这个是通病,没折腾的主题都漂亮。呵呵,不过鸟哥这主题是算cms吧?适合自己的就好,我也很次都把精力花在折腾上,内容倒是没那么积极。

                                  • 老虎 老虎 5

                                    不错。

                                    • 脑精网 脑精网 3

                                      刚用上了,刚发现,留言竟然说了这么多不相干的,呵呵,感谢鸟哥大量了。我的不知道是什么原来来的,ftp登陆上去,没有robots文件,但是直接域名后加上鸟哥给的链接,也出来了robots页面,里面也有内容,不过没有鸟哥上面的这么详细。我就新建了一个给换了。

                                      • 美股大全 美股大全 2

                                        这个robot会不会导致image不被收录呢?image是放在wp-content里的,要不要再加一行允许wp-content/upload/ ?

                                        • 同盟源 同盟源 3

                                          学习了,暂时没写ROBOTS文件

                                          • 竞价托管 竞价托管 1

                                            不错,网站比较干净~~

                                            • 梁园里 梁园里 0

                                              博主的文章专业、精致,希望与博主交换友链,本人不胜感激!

                                              • 它季 它季 2

                                                robots.txt中的设置信息确实很重要,对搜索引擎尤其重要。

                                                • Kael Kael 7

                                                  鸟哥,还得请教个问题,hotnews主题,我换了域名后,所有头像都是裂了,哪里还需要改下?

                                                    • 知更鸟 知更鸟

                                                      @ Kael 这个与主题无关,参阅:https://zmingcx.com/replace-gravatar-server.html

                                                    • 搞笑电影 搞笑电影 0

                                                      学习啦!

                                                      • 鲜活 鲜活 3

                                                        robots.txt的用法真不错

                                                        • hanbing17 hanbing17 2

                                                          robots.txt的用法真不错

                                                          • obert obert 1

                                                            谢谢分享,持续关注。

                                                            • 落英缤纷 落英缤纷 4

                                                              不错 已经用上了。。。。。。。。。

                                                              • 海蓝辰风 海蓝辰风 2

                                                                谁知道如何设置弹窗的下载链接呢 :mad:

                                                                • 秋叶博客 秋叶博客 2

                                                                  feed页面是有用的~

                                                                  • 秋叶博客 秋叶博客 2

                                                                    虽然不收录

                                                                    • 迷城 迷城 0

                                                                      您好, 你博客文章怎么让他显示标题命名.html 呢

                                                                      • vps推荐 vps推荐 0

                                                                        很全,基本上也就这些了,其他的看自己的在添加就行了

                                                                        • BT搜搜 BT搜搜 1

                                                                          BT搜搜 http://www.btsoso.org 如果有站点地图的话加上更好。

                                                                          • 菠萝格格 from 博客志 www.daquan8.com 菠萝格格 from 博客志 www.daquan8.com 2

                                                                            喜欢拿来主义

                                                                            • 萨龙龙 萨龙龙 4

                                                                              现在很多站点都使用MU来创建,其中有些网站不想让搜索引擎搜索,这个如何设置?

                                                                              • 青蛙不是猪 青蛙不是猪 0

                                                                                为啥我输入域名加robots.txt没有这个文件呢

                                                                                • 一二三福利 一二三福利 0

                                                                                  谢谢鸟哥分享。。

                                                                                  • 2015夏季必备衬衫 2015夏季必备衬衫 0

                                                                                    这个东西找了很久,终于见到了,下载保存试试看

                                                                                    • 极草5x 极草5x 0

                                                                                      这个确实写的非常详细,很有用!

                                                                                      • 神州网络 神州网络 2

                                                                                        动态网页用禁止吗现在

                                                                                        • 美Win网 美Win网 4

                                                                                          图片页要给屏蔽掉吗?

                                                                                          • 西贝博客 西贝博客 3

                                                                                            请问一下,如果博客的预览页面(比如我写了一篇博客,在发布之前我会在预览的页面打开看看是否有些地方需要调整)总是被抓取该怎么解决呢?总是看到这个预览页面非蜘蛛抓取,然后正式的文章发布出去的时候,再去看被抓取的页面的时候就会出现404页面了,求指导,谢谢!

                                                                                            • 秦皇岛婚纱摄影哪家好 秦皇岛婚纱摄影哪家好 3

                                                                                              图片都是哪找到的 好清晰 好创意

                                                                                              • Aaron Aaron 3

                                                                                                不错。又来学习了。。

                                                                                                • 番茄 番茄 2

                                                                                                  我的robots文件看来得修改一下了。

                                                                                                  • 张new 张new 0

                                                                                                    感谢分享。

                                                                                                    • 静心堂佛珠 静心堂佛珠 1

                                                                                                      很不错,已经用上了,

                                                                                                      • 流量营销 流量营销 2

                                                                                                        我就是那类不知道robots文件如何用的人,现在明白了。

                                                                                                        • 热腾吧 热腾吧 2

                                                                                                          我的还没写robots文件。明天要写上了

                                                                                                            • 我爱动感单车网 我爱动感单车网 7

                                                                                                              @ 热腾吧 :razz: 想当初因为自己对WordPress程序不熟悉,为了尽可能拟写好这个robots.txt文本文件,那可是查找了很多资料和不断思索才最终搞定。感兴趣的朋友可以去参考下我的博客是怎么写的,大家多多交流、共同进步。

                                                                                                            • 009 009 4

                                                                                                              建议文章标题参考之前的主题看看

                                                                                                              • 三月福利吧 三月福利吧 2

                                                                                                                不错,正愁这个呢!!!!

                                                                                                                • 枯叶蚁 枯叶蚁 1

                                                                                                                  用上了,谢谢

                                                                                                                  • 龙之游 龙之游 1

                                                                                                                    用上了,谢谢http://www.lzyhll.com

                                                                                                                    • Noob工厂手表 Noob工厂手表 0

                                                                                                                      感谢知更鸟无私的分享,对于我来说太有用了!

                                                                                                                      • 嘻嘻不要 嘻嘻不要 1

                                                                                                                        robots金典教程,大家圈起来,考试要考

                                                                                                                        • 五牛 五牛 1

                                                                                                                          呵呵,简单实用的!谢谢博主!

                                                                                                                          • 驴行路上乐悠悠 驴行路上乐悠悠 4

                                                                                                                            刚试了一下发现我的robots.txt这个文件里多了个:Allow: /wp-admin/admin-ajax.php,这个ms是搞错了吧,抓取后台的文件了?

                                                                                                                            • 逆袭风暴 逆袭风暴 0

                                                                                                                              受教了,刚好用上,谢谢分享。

                                                                                                                              • 唯美图片网 唯美图片网 0

                                                                                                                                用上了,总结的不错,再写一个sitemap就更好了!
                                                                                                                                www.weimeitupian.com

                                                                                                                                • 猎乐网 猎乐网 2

                                                                                                                                  很好,不过要注意的是,百度的可以用utf8编码 谷歌的会报错, 谷歌要保存成ANSI编码的

                                                                                                                                  • Bravo Bravo 0

                                                                                                                                    我想问下您的代码高亮是用的是那个插件???谢谢!

                                                                                                                                    • 还有谁 还有谁 0

                                                                                                                                      呵呵哈哈哈机甲

                                                                                                                                      • 淘宝优惠券查询系统 淘宝优惠券查询系统 2

                                                                                                                                        屏蔽了各种蜘蛛还是乱抓取。。。

                                                                                                                                        • 玩游戏赚钱 玩游戏赚钱 0

                                                                                                                                          谢谢博主啊,我直接拿来用了!在你博客学到好多东西,感谢!

                                                                                                                                          • 洛伊元 洛伊元 1

                                                                                                                                            用上了,谢谢http://www.lyy928.com

                                                                                                                                            • 发大水 发大水 0

                                                                                                                                              苟富贵升大概桂丰大厦

                                                                                                                                              • 爸妈质选 爸妈质选 0

                                                                                                                                                谢谢博主,已经上传啦

                                                                                                                                                • 怡文 怡文 0

                                                                                                                                                  学习了,自己的博客站正好用上。www.meibaseo.com

                                                                                                                                                  • 瞎折腾 瞎折腾 0

                                                                                                                                                    阿里云负载突然100%,现在又好了,是不是有爬虫在爬啊

                                                                                                                                                    • 福利啊 福利啊 1

                                                                                                                                                      感谢博主,已经用上http://fulia.net

                                                                                                                                                      • 精斑检测试纸 精斑检测试纸 0

                                                                                                                                                        很实用每次都来复制下

                                                                                                                                                        • 学美文网 学美文网 1

                                                                                                                                                          学习了

                                                                                                                                                          • 最佳损友 最佳损友 2

                                                                                                                                                            鸟哥牛逼!学就完事了。

                                                                                                                                                            • 崩天的勾玉 崩天的勾玉 1

                                                                                                                                                              这个不错,感谢!
                                                                                                                                                              https://www.bengtian.club

                                                                                                                                                              • 林枫 林枫 0

                                                                                                                                                                楼主分享的不错,已经用到了,www.wfcool.com