欢迎来到至成科技_西安服务器托管_西安服务器租用_西安域名注册
029-89390727
时间:2015-06-25  来源:至成科技  作者:SEOR  点击次数:1152

    较近在群里聊天的时候,经常有朋友问我,robots.txt文件到底有什么作用?如果不建立会不会对网站有什么影响?什么时候建立robots.txt文件比较合适?
基于这些问题,今天至成科技(西安服务器租用)统一给大家做一下解释,希望对有需要朋友能有所帮助。
    首先让咱们来了解一下robots.txt文件的百度官方解释:Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省西安服务器带宽;可以屏蔽站点的一些死链接。
    方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。通过百度的官方解释,大家就可以了解到robots.txt文件其实可以理解为网站的向导,它的工作就是告诉百度蜘蛛哪里的信息是可以抓取的,哪里的信息是不可以抓取的。
说道这里,有的朋友会问我,那什么时候建立Robots文件比较合适呢?
    其实大部分的情况下,robots.txt文件是在网站整体内容完善以后,变动不大的情况下来建立的。但也有一些例外的情况,诸如至成科技(西安服务器租用)下面要讲到的一个案例。
    至成科技(西安服务器租用)之前在接手一个网站的时候,认为没建好的网站不要给搜索引擎抓取(这个观点到现在为止是对的),因此就用robots.txt文件把网站根目录屏蔽所有搜索引擎抓取。
    等到一个月之后,网站填充得已经差不多了,至成科技(西安服务器租用)就更改了robots.txt文件,让百度蜘蛛开始抓取。
    但奇怪的事情,就此发生了,在修改了robots.txt文件之后,至成科技(西安服务器租用)还提交了网址给百度,并且还做了蜘蛛诱导,但一天一天过去,在百度上面SITE网站就是一个收录都没有。
    至成科技(西安服务器租用)就很奇怪,这是哪里出现了问题呢?结果在谷歌上面site了一下已经有上百个收录了,306,搜狗上面也有少则几个多则十几个收录了。
    于是至成科技(西安服务器租用)不得不认为是robots屏蔽,百度长时间未反应过来导致的。
    通过这件事情,让至成科技(西安服务器租用)了解到,在网站建立初期,如果网站还没有把内容填充完善,robots.txt文件千万不要随意写,这种伤害尤其对新站来讲,实在是太致命了。

西安网站建设-至成科技光放微信
陕西本土非营利性IDC互联网接入商/  Shanxi Local nonprofit IDC Internet access provider

公司地址:西安市经开区凤城四路西安国际企业中心B座23层06-10室

全国咨询热线(TEL): 029-89390727

7*24小时售前咨询电话 :
029-89390727   029-63390892   029-63390961
029-68090209

7*24小时售后服务电话 : 029-89393039

Top