• 宁夏积极探索基层互联网+医疗 2019-05-02
  • 宝马中国创新日暨上海研发中心揭幕 专注于高新技术 2019-04-24
  • 高清:国青足球邀请赛 国青1 2019-04-17
  • 成都市工商局:6批电线电缆商品抽检不合格 2019-04-17
  • 抗战老兵背上挨22颗子弹幸存 被俘逃脱救妇女 2019-03-25
  • 德国库斯特黑啤酒500ml【价格 品牌 图片 评论】 2019-03-17
  • 以“上海精神”开辟合作发展新境界 2019-03-14
  • ?
    SEO名词百科 - 投稿申请 - 关于小六 - 网站地图 不懂SEO,不懂网站优化从何入手?到重庆SEO【小六】SEO教程自学网,小六在这里狂甩SEO干货,助你自学成才!

    十一选五任二胆拖玩法:robots.txt文件问题攻略大全

    时间:2017-08-30 12:02:01 来源:原创 作者:小六SEO 阅读:次

    福建体彩11选5任一遗漏 www.arwrd.com robots.txt文件问题攻略大全,本文中小六SEO将大家常遇到的关于robots.txt文件的相关问题进行汇总,希望大家又长知识了。

    1、robots.txt是什么?

    解答:robots.txt是一个纯文本文件。简单说就是一个互联网协议,是针对搜索引擎蜘蛛抓取网站时的一个提前声明。通过robots.txt文件告诉蜘蛛,该网站的哪些文件你能访问抓取,哪些文件不要去访问抓取,从而规避一些隐私文件或不想被收录的文件被蜘蛛爬取到,起到一个引导蜘蛛的作用。

    搜索引擎蜘蛛爬取网站的第一个文件会优先选择robots.txt文件,所以在引导蜘蛛时robots.txt文件就显得尤为重要。

    robots.txt文件很重要

    2、robots.txt写法

    解答:robots.txt文件的写法,小六SEO在robots编写秘籍一文中有详细的说明,这里做几个重点说明。

    user-agent:*  这里的星号,代表泛指所有的搜索引擎,如需要特指某个蜘蛛,则将各个搜索引擎蜘蛛的名称写下即可。

    各大常用搜索引擎蜘蛛名称如下:

    google蜘蛛:googlebot

    百度蜘蛛:baiduspider

    yahoo蜘蛛:slurp

    alexa蜘蛛:ia_archiver

    msn蜘蛛:msnbot

    bing蜘蛛:bingbot

    altavista蜘蛛:scooter

    lycos蜘蛛:lycos_spider_(t-rex)

    alltheweb蜘蛛:fast-webcrawler

    inktomi蜘蛛:slurp

    有道蜘蛛:YodaoBot和OutfoxBot

    热土蜘蛛:Adminrtspider

    搜狗蜘蛛:sogou spider

    SOSO蜘蛛:sosospider

    360搜蜘蛛:360spider

     

    屏蔽所有蜘蛛写法:

    user-agent:*

    disallow: /

    提示:这里的斜杠代表网站根目录。

     

    屏蔽单个搜索引擎蜘蛛写法(如屏蔽谷歌):

    user-agent:googlebot

    Disallow: /

     

    屏蔽单个目录:

    user-agent:*

    Disallow: /a/

    提示:若a后面不加斜杠/a,表示以a形成的所有文件都屏蔽;加斜杠/a/表示只代表a目录下的所有文件。

     

    屏蔽单个页面:

    user-agent:*

    Disallow: /123.html

     

    释放已屏蔽目录中的某个文件:

    user-agent:*

    Disallow: /a/

    Allow: /a/img/

     

    屏蔽所有动态页面:

    user-agent:*

    Disallow: /*?*

     

    加入网站地图文件:

    user-agent:*

    Sitemap: //www.arwrd.com/sitemap.xml

    Sitemap: //www.arwrd.com/sitemap.html

    提示:尽量把链接写完整,免得抓取出错。

    关于robots具体屏蔽那些文件,请阅读robots具体禁止什么文件一文,文中有详细阐述,这里不细讲。

     

    3、robots.txt放在哪里?

    解答:robots.txt必须指定放在一个网站的根目录下,且文件名必须全部小写。

    相应URL地址例如:

    //www.arwrd.com/robots.txt

     

    4、robots.txt文件存在限制指令

    解答:这个也就是大家,??吹侥承┩?,快照描述写着“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓?。?,系统无法提供该页面的内容”,其实就是该网站屏蔽了搜索引擎抓取,淘宝最为明显。

    网站的robots.txt文件存在限制指令

    就是这个写法:

    user-agent:*

    disallow: /

    解决办法,进入网站根目录,找到robots.txt文件,删除掉里面的“disallow: /”,然后等待快照更新就可以了。

     

    5、robots.txt怎么看?

    解答:都是进入网站空间,找到根目录下的robots.txt文件,打开观察写法,文件屏蔽,查看是否有误或新增即可。直接观察可以在浏览器输入主域名+robots.txt即可观察,修改还是要到服务器空间或ftp里面处理。

     

    6、robots.txt可以删除吗?

    解答:可以删除,但是对蜘蛛很不友好,建议不要删除,且把内容写完整。

     

    7、robots.txt允许收录

    解答:允许收录也就是写法,参考第二点写法规则即可。

     

    8、robots.txt安全防渗透说明

    解答:一般robots.txt文件中,我们会写到屏蔽后台路径如下:

    user-agent:*

    Disallow: /admin/

    这个路径我们不能像上面这样直接写出来,很容易被别人窥视加以利用,所以一般我们需要设置复杂一点,并用星号泛指来表示。

    如下:

    user-agent:*

    Disallow: /a*n/

    将中间部分用泛指表示出来,蜘蛛是可以根据前后对照识别出文件,但别人想要知道就很难了,可防止被攻击,增加安全性。

     

    9、robots.txt文件本身安全吗?

    解答;robots.txt本身是没安全问题的,但如果空间被入侵,robots.txt文件被修改可能就会出错了。不过也很容易察觉到,一旦你发现异常了,修改回来就好了,所以robots.txt文件也需要时??纯词欠裼形侍?,做好安全维护工作。

     

    好了以上就是这些内容,相信大家已经掌握robots要诀了,还没明白的就多看几遍。

    本文由小六SEO原创首发,转载请注明来源和作者。

     

    (责任编辑:小六SEO)

    顶一下
    (14)
    93.3%
    踩一下
    (1)
    6.7%

    版权声明:

    1、本文由福建体彩11选5任一遗漏作者-小六SEO原创发布,保留著作所有权,转载请注明来源,否则谢绝转载;
    2、非原创内容会有明确作者及来源标注。

    ?
  • 宁夏积极探索基层互联网+医疗 2019-05-02
  • 宝马中国创新日暨上海研发中心揭幕 专注于高新技术 2019-04-24
  • 高清:国青足球邀请赛 国青1 2019-04-17
  • 成都市工商局:6批电线电缆商品抽检不合格 2019-04-17
  • 抗战老兵背上挨22颗子弹幸存 被俘逃脱救妇女 2019-03-25
  • 德国库斯特黑啤酒500ml【价格 品牌 图片 评论】 2019-03-17
  • 以“上海精神”开辟合作发展新境界 2019-03-14
  • 河北时时彩2017 pk10走势软件 福建体彩 欢乐生肖彩票 七星彩开奖结果查询今晚 河北时时彩走势图开奖号码 大乐透投注技巧 时时彩 湖北十一选五走势图 天津时时彩开奖结果5 体彩p3二码和值尾遗漏表 江苏时时彩官网 足彩单场 重庆幸运农场开奖图 pk10单双投注方法 幸运赛车现场开