?

七寶SEO七寶SEO七寶SEO

Robots文件是什么,robots文件的作用及寫法

  以前剛入行時經常聽seo前輩們說起robots文件,當時很懵,robots文件到底是什么?robots文件有什么用呢?相信也有很多的小白跟我有同樣的疑惑,所以七寶seo整理了一下關于robots文件的相關內容,以便大家參考。


  什么是robots文件

  Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲掃除規范”(Robots Exclusion Protocol),網站經過Robots協議通知搜索引擎向日葵app下载安装哪些頁面能夠抓取,哪些頁面不能抓取。


  Robots.txt協議文件有什么用?

  搜索引擎訪問一個網站的時候,最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛,哪些網站頁面可以被抓取,哪些禁止抓取。表面來看,這個功能作用有限。從搜索引擎優化的角度來看,可以通過屏蔽頁面,達到集中權重向日葵app下载安装的作用,這,也是優化人員最為看重的地方。

  正確使用robots文件有助于做好SEO優化,robots文件的核心詞匯就是allow和disallow用法。百度官網是認可這個文件的,在百度站長平臺上也有robots這個欄目,點擊進入,就可以看到自己網站robots文件是否編寫正確了。

Robots文件是什么,robots文件的作用及寫法(圖1)

  網站設置robots.txt的幾個原因。

  1:設置訪問權限保護網站安全。

  2:禁止搜索引擎爬取無效頁面,集中權值到主要頁面。

  怎么用標準寫法書寫robots協議?

向日葵app下载安装  有幾個概念需掌握。

  User-agent表示定義哪個搜索引擎,如User-agent:Baiduspider,定義百度蜘蛛。

  Disallow表示禁止訪問。

向日葵app下载安装  Allow表示運行訪問。

  通過以上三個命令,可以組合多種寫法,允許哪個搜索引擎訪問或禁止哪個頁面。


  Robots.txt文件放在那里?

  此文件需放置在網站的根目錄,且對字母大小有限制,文件名必須為小寫字母。所有的命令第一個字母需大寫,其余的小寫。且命令之后要有一個英文字符空格。

向日葵app下载安装  首先說明一點:每天百度派出的蜘蛛是有限的,robots寫出來是為了節省蜘蛛資源讓蜘蛛能更快的進行有效爬取和收錄!

  針對企業站來說,本身蜘蛛資源不會很多,所以我們更要珍惜蜘蛛的每次爬取,讓其都有意義,不要去爬取一些無價值的頁面,浪費了蜘蛛資源,從而導致網站遲遲未收錄,沒排名等情況!

  下面舉例列出來:

  1、模板文件(/template/)可以屏蔽;

  2、這個文件/uploads/一般放的是圖片,可以屏蔽;

  3、/data/系統數據文件,可以屏蔽;

  4、/img/或/images/,如果你不是做的圖片站,也可以屏蔽;

  5、/bin/系統文件可以屏蔽;

向日葵app下载安装  6、/install/安裝文件可以屏蔽;

向日葵app下载安装  7、/member/有會員的可以屏蔽;

  8、/logreport/有統計報告的可以屏蔽;

向日葵app下载安装  9、/bjk/有加密的文件,可以屏蔽;

  10、/js/,/css/可以屏蔽,留著是為了讓蜘蛛更好地了解網站結構,資源少的情況下,可以屏蔽。

  11、網站地圖sitemap向日葵app下载安装要記得放進去,不要屏蔽,讓蜘蛛第一時間去看你的網站地圖,更快了解網站鏈接結構!

Robots文件是什么,robots文件的作用及寫法(圖2)

  哪些時候需要使用robots協議

向日葵app下载安装  1:無用頁面,很多網站都有聯系我們,用戶協議等頁面,這些頁面相對于搜索引擎優化來講,作用不大,此時需要使用Disallow命令禁止這些頁面被搜索引擎抓取。

  2:動態頁面,企業類型站點屏蔽動態頁面,有利于網站安全。且多個網址訪問同一頁面,會造成權重分散。因此,一般情況下,屏蔽動態頁面,保留靜態或偽靜態頁面。

  3:網站后臺頁面,網站后臺也可以歸類于無用頁面,禁止收錄有百益而無一害。

  作為一名合格的SEO人員,我們還是要熟練掌握robots.txt的基本語法,現在站長工具也很方便,直接在線通過選項生成robots文件,再傳上根目錄即可。


未經允許不得轉載:七寶SEO » Robots文件是什么,robots文件的作用及寫法