当前位置:首页 > 网站搭建 > 正文

使用robots.txt禁止搜索引擎爬虫访问网站!

许本聪 网站搭建 3526阅读

使用robots.txt禁止搜索引擎爬虫访问网站!  第1张


说明:

robots.txt(统一小写)是一种存放于网站根目录下的文本文件(ASCII编码),告诉网络搜索引擎的爬虫,哪些内容可以访问,哪些内容禁止访问。

robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。

在站点的根目录下新建一个robots.txt文本文件。当搜索蜘蛛访问这个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索蜘蛛就会先读取这个文件的内容:


文件写法

 # 允许特定的机器人:(name_spider用真实名字代替)
 User-agent: name_spider
 Allow:
 
 # 拦截所有爬虫访问所有页面
 User-agent: *
 Disallow: /
 
 # 禁止所有爬虫访问特定目录:
 User-agent: *
 Disallow: /cgi-bin/
 Disallow: /images/
 
 # 禁止坏爬虫访问特定目录
 User-agent: BadBot
 Disallow: /private/
 
 # 禁止所有爬虫访问特定文件类型
 User-agent: *
 Disallow: /*.php$
 Disallow: /*.js$


下面列出来的是比较出名的搜索引擎蜘蛛名称:

 Google的蜘蛛: Googlebot
 
 百度的蜘蛛:baiduspider
 
 Yahoo的蜘蛛:Yahoo Slurp
 
 MSN的蜘蛛:Msnbot
 
 Altavista的蜘蛛:Scooter
 
 Lycos的蜘蛛: Lycos_Spider_(T-Rex)
 
 Alltheweb的蜘蛛: FAST-WebCrawler/
 
 INKTOMI的蜘蛛: Slurp



版权声明:本文由 @许本聪 发布在 老许Blog,转载请注明出处!

更新时间 2023-12-21

有话要说...

评论列表

游客
游客 于 2024-07-08 20:24:42  回复
楼主主机很热情啊!http://10snz.yt-house.cn
游客
游客 于 2024-07-09 00:23:34  回复
白富美?高富帅?http://61vzky.yt-house.cn
游客
游客 于 2024-07-09 00:25:03  回复
东方不败还是灭绝师太啊?http://ntlf.yt-house.cn
游客
游客 于 2024-07-09 09:08:17  回复
楼主写的很经典!http://zw975.zgxhtv.com
游客
游客 于 2024-07-09 15:45:17  回复
我只是来赚积分的!http://je5.zgxhtv.com
游客
游客 于 2024-07-10 08:45:08  回复
知识就是力量啊!http://0y4.pjljp.com
游客
游客 于 2024-07-10 19:55:22  回复
网页的加载速度非常快,不会影响用户体验。http://oc2bo.fjxinan.cn
游客
游客 于 2024-07-11 07:10:10  回复
我对楼主的敬仰犹如滔滔江水绵延不绝!http://bsll55.pjljp.com
游客
游客 于 2024-07-11 12:27:08  回复
楼上的很有激情啊!http://www.2qukuai.com
游客
游客 于 2024-07-11 14:12:09  回复
态度决定一切,不错!http://rk32.longkangys.com.cn
游客
游客 于 2024-07-11 14:57:06  回复
最近回了很多帖子,都没人理我!http://nlaj2.longkangys.com.cn
游客
游客 于 2024-07-11 15:06:23  回复
帖子好乱!http://cb35d.ywjztc.com
游客
游客 于 2024-07-11 15:42:34  回复
信楼主,考试不挂科!http://n71s2.lkjmpcb.com/7/3.html
游客
游客 于 2024-07-11 16:36:41  回复
看帖不回帖的人就是耍流氓,我回复了!http://bvz.csjyart.com
游客
游客 于 2024-07-11 16:52:06  回复
林子大了,什么鸟都有了啊!http://920h1l.csjyart.com
游客
游客 于 2024-07-11 17:16:58  回复
文章写太挺好了,真的值得推荐http://ij1gky.seocn01.com
游客
游客 于 2024-07-11 17:36:38  回复
看帖不回帖的人就是耍流氓,我回复了!http://wfl68.rp233.com/4/4.html
游客
游客 于 2024-07-11 18:04:47  回复
楼主看起来很有学问!http://npb.liflydoors.com
游客
游客 于 2024-07-11 18:05:38  回复
关注一下!http://zs1wra.liflydoors.com
游客
游客 于 2024-07-11 18:53:07  回复
楼主是在找骂么?http://j3j38.gxmyjy.com
游客
游客 于 2024-07-11 18:58:53  回复
好帖子!http://7zmhv.gxmyjy.com
游客
游客 于 2024-07-11 19:18:07  回复
谢谢楼主的分享!http://r798ia.gleege.com
游客
游客 于 2024-07-11 20:39:57  回复
太邪乎了吧?http://zd17r.csjyart.com
游客
游客 于 2024-07-11 20:51:07  回复
楼主最近很消极啊!http://www.ddman.net
游客
游客 于 2024-07-11 20:55:41  回复
经典,收藏了!http://jtjiq.bjzxzbw.com
游客
游客 于 2024-07-11 21:18:04  回复
视死如归的架势啊!http://7rrwnq.csjyart.com
游客
游客 于 2024-07-11 21:26:00  回复
缺乏激情了!http://q8yya.tao5211.com/13/4.html
游客
游客 于 2024-07-11 22:15:50  回复
不错的帖子,值得收藏!http://www.2qukuai.com
游客
游客 于 2024-07-11 22:31:44  回复
楼主的头像能辟邪啊!http://jup3.chinaya97.com
游客
游客 于 2024-07-11 23:34:25  回复
哥回复的不是帖子,是寂寞!http://nu803.longkangys.com.cn
游客
游客 于 2024-07-12 00:04:11  回复
顶一个!http://xj6.liflydoors.com
游客
游客 于 2024-07-12 00:48:24  回复
楼主很有经验啊!http://npaa8.longkangys.com.cn
游客
游客 于 2024-07-12 01:00:48  回复
感觉不错!http://xvh0.roodon.com
游客
游客 于 2024-07-12 01:07:27  回复
白富美?高富帅?http://lpc7.guidedmasturbation.org
游客
游客 于 2024-07-12 01:30:39  回复
收藏了,怕楼主删了!http://3l2.gxmyjy.com
游客
游客 于 2024-07-12 01:35:35  回复
文章写太挺好了,真的值得推荐http://54fxzi.gxmyjy.com
游客
游客 于 2024-07-12 01:40:40  回复
看了这么多帖子,第一次看到这么经典的!http://4d30.gxmyjy.com
游客
游客 于 2024-07-12 01:42:23  回复
网站做得不错http://ehr8.wxxss.com
|57:25|57:25|57:25
|57:25|57:25|57:25 于 2024-07-12 01:57:27  回复
意昂体育娱乐平台www.pignovel.com
游客
游客 于 2024-07-12 02:14:53  回复
楼上的说的很多!http://kel.jxlhmh.com
游客
游客 于 2024-07-12 02:28:13  回复
楼主很有激情啊!http://09zt.7yuese.com
游客
游客 于 2024-07-12 03:12:38  回复
我回帖楼主给加积分吗?http://lhsn.longkangys.com.cn
游客
游客 于 2024-07-12 03:29:09  回复
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!http://0lnc.c6u6.com
游客
游客 于 2024-07-12 03:32:18  回复
好好学习楼主的帖子!http://oxe7x.c6u6.com
游客
游客 于 2024-07-12 03:54:32  回复
论坛的帖子越来越有深度了!http://z7f.sh1dt.com
游客
游客 于 2024-07-12 04:11:44  回复
支持楼上的!http://osya.xchjzx.com
游客
游客 于 2024-07-12 04:55:47  回复
雷锋做好事不留名,都写在帖子里!http://xlh2pe.detent.cn
游客
游客 于 2024-07-12 05:23:01  回复
好帖子!http://65jy.ywjztc.com
游客
游客 于 2024-07-12 05:26:40  回复
经典,收藏了!http://goxdcm.hongyafanyi.com
游客
游客 于 2024-07-12 05:31:33  回复
楼主英明!http://6bih.hongyafanyi.com
游客
游客 于 2024-07-12 06:13:53  回复
吹牛的人越来越多了!http://4tq.ahwsk.com
游客
游客 于 2024-07-12 06:45:49  回复
以后要跟楼主好好学习学习!http://tv4.ahwsk.com
游客
游客 于 2024-07-12 07:23:00  回复
看帖不回帖的人就是耍流氓,我回复了!http://46zz4l.nj-szs.com
游客
游客 于 2024-07-12 07:59:29  回复
回帖也有有水平的!http://8z6.bowenpsych.com
游客
游客 于 2024-07-12 08:04:22  回复
楼主的等级很高啊!http://g753.bowenpsych.com
游客
游客 于 2024-07-12 12:08:38  回复
写的太好啦,评论一个http://t03e.longkangys.com.cn
游客
游客 于 2024-07-12 13:17:12  回复
帖子好乱!http://r1lt3g.utjgohw.cn
游客
游客 于 2024-07-12 14:42:50  回复
知识就是力量啊!http://5v0b4.scwenling.com
游客
游客 于 2024-07-12 17:05:25  回复
楼上的这是啥态度呢?http://y3mya.utjgohw.cn
游客
游客 于 2024-07-12 17:21:35  回复
今天过得很不爽!http://www.hntbhz.cn/category-8.html
游客
游客 于 2024-07-12 18:03:25  回复
我就搞不明白了,看帖回帖能死人么,居然只有我这么认真的在回帖!http://gustf.com/news/20a399619.html
游客
游客 于 2024-07-12 18:19:15  回复
这篇文章真是让人受益匪浅!http://fqu3hs.onlineimagehost.com
游客
游客 于 2024-07-12 19:19:43  回复
帖子很有深度!http://xvd.qdhnst.com
游客
游客 于 2024-07-12 20:28:54  回复
刚分手,心情不好!http://myf.ld566.com
游客
游客 于 2024-07-12 20:37:07  回复
信楼主,考试不挂科!http://jmbjke.com/news/08a399631.html
访客
访客 于 2024-07-12 22:02:44  回复
安福相册精准查找 https://z11.cn
游客
游客 于 2024-07-12 23:21:10  回复
收藏了,以后可能会用到!http://67kd5j.66mmjj.com
游客
游客 于 2024-07-12 23:31:54  回复
宇宙第一贴诞生了!http://ijk99.com/news/81c399558.html
游客
游客 于 2024-07-13 00:39:47  回复
有钱、有房、有车,人人都想!http://owt0755.cn/news/90f099459.html
游客
游客 于 2024-07-13 00:58:55  回复
缺乏激情了!http://b3h.ml03.cn
游客
游客 于 2024-07-13 02:00:29  回复
刚看见一个妹子,很漂亮!http://www.hntbhz.cn/post/8.html
游客
游客 于 2024-07-13 06:23:04  回复
楼主最近很消极啊!http://longkangys.cn/news/23e399616.html
游客
游客 于 2024-07-13 07:08:57  回复
楼主你想太多了!http://d4qg.longkangys.com.cn
安福相册
安福相册 于 2024-07-13 13:18:13  回复
安福相册精准查找 https://www.anfu0594.com
游客
游客 于 2024-07-13 14:06:45  回复
楼主很有激情啊!http://www.kdhlpt.com/yaowen/834964220.html
游客
游客 于 2024-07-13 14:18:34  回复
太邪乎了吧?http://longkangys.cn/news/83d399556.html
游客
游客 于 2024-07-13 14:39:00  回复
经典,收藏了!http://www.kdhlpt.com/yaowen/858634082.html
游客
游客 于 2024-07-13 14:48:17  回复
有机会找楼主好好聊聊!http://www.kdhlpt.com/yaowen/721721337.html
安福相册
安福相册 于 2024-07-13 15:08:39  回复
莆田鞋 https://www.anfu0594.com
安福相册
安福相册 于 2024-07-13 15:24:47  回复
安福相册官网 https://www.anfu0594.com
游客
游客 于 2024-07-13 15:53:26  回复
很经典,收藏了!http://sxer.yjxinxi.net/test/754154518.html
安福相册
安福相册 于 2024-07-13 16:00:58  回复
安福相册官网 https://www.anfu0594.com
游客
游客 于 2024-07-13 16:24:38  回复
精华帖的节奏啊!http://fbov.yjxinxi.net/test/551828058.html
游客
游客 于 2024-07-13 16:30:02  回复
对牛弹琴的人越来越多了!http://pazj.yjxinxi.net/test/751525132.html
游客
游客 于 2024-07-13 16:40:47  回复
每天顶顶贴,一身轻松啊!http://uhgx.yjxinxi.net/test/708022759.html
游客
游客 于 2024-07-13 16:59:03  回复
好帖子!http://bhwe.yjxinxi.net/test/531335700.html
游客
游客 于 2024-07-13 17:17:20  回复
不是惊喜,是惊吓!http://cckc.yjxinxi.net/test/517408005.html
游客
游客 于 2024-07-13 17:17:40  回复
楼上的很有激情啊!http://ouxr.yjxinxi.net/test/891441004.html
游客
游客 于 2024-07-13 17:32:03  回复
楼主人气很旺!http://fzao.yjxinxi.net/test/995993389.html
游客
游客 于 2024-07-13 17:35:07  回复
勤奋灌水,天天向上!http://ehaz.yjxinxi.net/test/697913741.html
安福相册
安福相册 于 2024-07-13 17:45:34  回复
安福相册官网 https://www.anfu0594.com
游客
游客 于 2024-07-13 17:51:04  回复
好东西,赞一个!http://bicj.yjxinxi.net/test/873814962.html
游客
游客 于 2024-07-13 18:03:07  回复
楼主的帖子实在是写得太好了。文笔流畅,修辞得体!http://aezt.yjxinxi.net/test/459111413.html
游客
游客 于 2024-07-13 18:03:48  回复
林子大了,什么鸟都有了啊!http://deju.yjxinxi.net/test/446233513.html
游客
游客 于 2024-07-13 19:27:22  回复
楼主就是我的榜样哦http://awur.yjxinxi.net/test/491409492.html
游客
游客 于 2024-07-13 19:32:25  回复
吹牛的人越来越多了!http://ijqa.yjxinxi.net/test/353763429.html
游客
游客 于 2024-07-13 19:53:04  回复
有品位!http://fowz.yjxinxi.net/test/522779108.html
游客
游客 于 2024-07-13 20:19:22  回复
大神就是大神,这么经典!http://ebom.yjxinxi.net/test/350391646.html
游客
游客 于 2024-07-13 20:32:43  回复
楼主的文笔不错!http://jfrg.yjxinxi.net/test/482904734.html
游客
游客 于 2024-07-13 20:55:42  回复
顶一下,收藏了!http://ddhge.66mmjj.com/20240712/4.html
第一页 1 2 3 4 下一页 尾页

搜索

最新文章