当前位置:

  • 如何撰写网站的robots文件

    如何撰写网站的robots文件
      第一:什么是robots.txt? 这是一个文本文件,是搜索引擎爬行网页要查看的第一个文件,你可以告诉搜索引擎哪些文件可以被查看,哪些禁止。当搜索机器人(也叫搜索蜘蛛)访问一个站点时,它首先会检查根目录是否存在robots.txt,如果有就确定抓取范围,没有就按链接...
    作者:红城 | 发布:2014年12月12日 | 分类: 链接优化 | 踩踏:794次 | 评论:抢沙发