www.boryin.com


深圳博盈网络是专业的网络公司,为企业塑造品牌网站建设,为龙华,石岩,布吉,福田,宝安,西乡,坂田,沙井,观澜,公明,松岗,龙岗企业提供网站建设、品牌网站建设,营销网站建设,网站重构优化
博盈网络致力于中小企业的网站建设、营销网站建设、网站重构优化,为深圳龙华、观澜、石岩、坂田、宝安、公明等地提供品牌网站建设,网站改版等网络一体化服务。

新闻动态

浅谈Robots.txt 文件给网站建设带来的好处

信息录入:深圳博盈网络技术        录入时间:2011-03-24        浏览次数:

作为一名网站优化人员,我们都很清楚Robots.txt文件对我们网站的重要性,Robots.txt文件只是一个纯文本文件,它就像网站地图一样,给搜索引擎指明道路,当蜘蛛搜索一个站点时,它首先爬行来检查该网站的根目录下是否存在Robots.txt文件,如果存在的话,搜索引擎会按照该文件的内容来确定访问范围,如果该文件不存在的话,那么搜索引擎就会沿着链接来抓取。那么程序员在设置Robots.txt文件时候应该了解到这个文件给我们网站带来了哪些好处?

  第一, Robots.txt文件大大节省服务器宽带

  我们都知道像email retrievers、image strippers这类搜索引擎都耗用大量宽带,而且对网站没有什么太大的意义,而通过Robots.txt就可以制止不必要的爬行工作,如果你的网站是图片站的话,没有设置好Robots.txt文件的话,就会浪费大量的服务器宽带。

  第二、方便搜索引擎爬起工作

  如果你的网站内容丰富,页面很多,设置Robots.txt文件更为重要,比如你有个网站,整个站有50多个G,打开页面可能会比较慢,如果不配置好Robots.txt文件的话,蜘蛛爬行工作就会很费力,而且如果太多的蜘蛛爬行,以至会影响你网站的正常访问。

  第三、robots.txt文件可以制止搜索引擎索引页面

  你可以通过RobotS.txt文件对你的网站非公开页面进行制止蜘蛛爬行,如果你的网站后台程序、管理程序很重要不想让别人看到、那么你可以通过Robots.txt进行设置,事实上,对于某些在运行中产生临时页面的网站来说,如果没有配置Robots.txt文件的话,搜索引擎甚至会索引那些临时文件。

  第四、robots.txt对网站地图链接重要性

  如果我们把自己的网站地图链接放在robots.txt文件里,那么我们每天就不用到各个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件,各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

  这样做的好处就是我们可以不用每天去各大搜索引擎去提交自己的sitemap文件,可以减少我们的一部分工作量,何乐而不为呢?

     
最新更新
点击排行
网站首页  |   案例鉴赏  |   龙华网站建设  |   观澜网站建设  |   SEO优化  |   软件开发  |   新闻动态  |   龙华画册设计  |   龙华彩页传单  |   联系我们  |   网站地图

Copyright © 2007-2015  深圳博盈网络技术  All Rights Reserved .  严禁以任何形式进行复制、抄袭!
公司地址:深圳市龙华新区龙华街道办山咀头综合办公大楼9楼915室 (龙华街道办、|华润万家,佳华商场、友谊书城等旁)
联系电话:0755-29008907 15989449358    咨询信箱:boryin@boryin.com  sales@boryin.com

  备案号:粤ICP备20029775号