<label id="2a06w"><tt id="2a06w"></tt></label><label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label><menu id="2a06w"></menu>
  • <dfn id="2a06w"><var id="2a06w"><label id="2a06w"></label></var></dfn>
    <sup id="2a06w"><button id="2a06w"><em id="2a06w"></em></button></sup>
    <dfn id="2a06w"><var id="2a06w"></var></dfn>
    <dfn id="2a06w"></dfn>
  • <dfn id="2a06w"><code id="2a06w"><ins id="2a06w"></ins></code></dfn>
  • <small id="2a06w"><samp id="2a06w"></samp></small>
  • <dfn id="2a06w"><table id="2a06w"><center id="2a06w"></center></table></dfn>
    <label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label>
    <strike id="2a06w"><form id="2a06w"></form></strike>
    <menu id="2a06w"><tt id="2a06w"></tt></menu>

    將想法與焦點(diǎn)和您一起共享

    什么是robots,怎么寫(xiě)法?發(fā)布者:本站     時(shí)間:2020-05-14 16:05:17

    我們了解過(guò)什么是搜索引擎蜘蛛后,就應(yīng)該了解下什么是robots.txt,因?yàn)榍懊娼榻B搜索引擎蜘蛛是按照鏈接爬行的,有的時(shí)候我不希望搜索引擎蜘蛛爬行并抓取,比如網(wǎng)站后臺(tái)文件,如果地址被抓取暴露出來(lái),那后果不是很?chē)?yán)重嗎?那么是否有制約搜索引擎蜘蛛的規(guī)則或文件呢?

    什么是robots.txt

    當(dāng)搜索引擎爬行到某個(gè)網(wǎng)站的時(shí)候,首先第一查看的文件就是robots.txt,查看是否存在,如果存在那么網(wǎng)站的哪些文件不允許爬行,就像道路交通一樣,某些道路無(wú)法通行。而robots.txt就像交警的存在,明確指示著某條道路不能通行,如果不存在,那么網(wǎng)站所有頁(yè)面將均可以被蜘蛛爬行并收錄。

    robots.txt的寫(xiě)法

    robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下,而且文件名必須全部小寫(xiě)。格式例如:

    User-agent: *
    Disallow: /admin/ <后臺(tái)管理文件>
    Disallow: /require/ <程序文件>
    Disallow: /attachment/ <附件>
    Disallow: /images/ <圖片>
    Disallow: /data/ <數(shù)據(jù)庫(kù)文件>
    Disallow: /template/ <模板文件>
    Disallow: /css/ <樣式表文件>
    Disallow: /lang/ <編碼文件>
    Disallow: /script/ <腳本文件>

    ? User-Agent: 遵守的規(guī)則
    ? Disallow: 要攔截的網(wǎng)頁(yè)



    選擇我們,優(yōu)質(zhì)服務(wù),不容錯(cuò)過(guò)
    1. 優(yōu)秀的網(wǎng)絡(luò)資源,強(qiáng)大的網(wǎng)站優(yōu)化技術(shù),穩(wěn)定的網(wǎng)站和速度保證
    2. 15年上海網(wǎng)站建設(shè)經(jīng)驗(yàn),優(yōu)秀的技術(shù)和設(shè)計(jì)水平,更放心
    3. 全程省心服務(wù),不必?fù)?dān)心自己不懂網(wǎng)絡(luò),更省心。
    ------------------------------------------------------------
    24小時(shí)聯(lián)系電話:021-58370032
    99人妻中文字幕视频在,亚洲无码视频在线免费看,久久国产乱子伦免费精品,日本中文字幕色视频网站
    <label id="2a06w"><tt id="2a06w"></tt></label><label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label><menu id="2a06w"></menu>
  • <dfn id="2a06w"><var id="2a06w"><label id="2a06w"></label></var></dfn>
    <sup id="2a06w"><button id="2a06w"><em id="2a06w"></em></button></sup>
    <dfn id="2a06w"><var id="2a06w"></var></dfn>
    <dfn id="2a06w"></dfn>
  • <dfn id="2a06w"><code id="2a06w"><ins id="2a06w"></ins></code></dfn>
  • <small id="2a06w"><samp id="2a06w"></samp></small>
  • <dfn id="2a06w"><table id="2a06w"><center id="2a06w"></center></table></dfn>
    <label id="2a06w"><tt id="2a06w"><em id="2a06w"></em></tt></label>
    <strike id="2a06w"><form id="2a06w"></form></strike>
    <menu id="2a06w"><tt id="2a06w"></tt></menu>