robots.txt文件是幾乎每個(gè)正規(guī)戰(zhàn)都會(huì)有的文件，是網(wǎng)站與搜索引擎之間對(duì)話的通道，今天巨?？萍夹【巵?lái)講解下什么是robots.txt文件?robots.txt文件的生效期是多久?等問題，希望對(duì)你有幫助!

　　robots.txt文件的四個(gè)問題解答：

　　? 什么是robots.txt文件協(xié)議?

　　robots.txt文件，又稱爬蟲協(xié)議、robots協(xié)議等，其全稱為網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)(Robots Exclusion Protocol)。

　　robots.txt文件是我們網(wǎng)站和各大搜索引擎之間的一個(gè)協(xié)議，比如說(shuō)我們不允許百度爬行我們的網(wǎng)站，我們不允許百度爬行我們的目錄，我們不允許360爬行我們的網(wǎng)站，像這些操作一樣，我們可以把它寫在robots協(xié)議里，制作一個(gè)txt文檔。

　　命名：robots.txt可以直接放在我們網(wǎng)站的根目錄下。當(dāng)主要引擎爬行我們的網(wǎng)站時(shí)，它們必須首先訪問robots協(xié)議。如果我們?cè)试S爬行，他們就會(huì)爬行我們的網(wǎng)站。

　　? robots.txt文件存放路徑?

　　寫robots.txt文件其實(shí)很簡(jiǎn)單，只是一個(gè)固定的指令，首先我們創(chuàng)建一個(gè)新的robots.txt文檔就像這樣，然后在里面寫相關(guān)的指令，然后把這個(gè)文檔上傳到站點(diǎn)的根目錄，是不是很簡(jiǎn)單，

　　? robots.txt文件的生效期是多久?

　　一般是3天左右，也就是寫完robots.txt上傳到服務(wù)器后，因?yàn)榫彺娴脑?，搜索引擎也?huì)按照之前的方式爬行。大概1-3天，它會(huì)根據(jù)您目前的規(guī)則逐步更新緩存和爬行，因?yàn)槊總€(gè)搜索引擎的生效時(shí)間都不一樣，您可以實(shí)際測(cè)試一下。一般來(lái)說(shuō)，大概是1-3天。

　　? robots.txt文件與SEO優(yōu)化的關(guān)系。

　　Robot協(xié)議對(duì)于SEO優(yōu)化有重要意義，我們都知道搜索引擎爬行我們的站點(diǎn)，如果所有爬行的都是靜態(tài)的高質(zhì)量頁(yè)面，百度會(huì)非常信任我們的站點(diǎn)，從而給我們一個(gè)很好的排名，但是如果Spider爬行一些系統(tǒng)界面，比如網(wǎng)站后臺(tái)、圖片存儲(chǔ)的目錄、系統(tǒng)核心文件目錄等。

　　這不僅是對(duì)Spider資源的浪費(fèi)，還會(huì)讓Spider無(wú)法識(shí)別，從而大量返回搜索引擎的未知頁(yè)面，這會(huì)影響我們對(duì)百度的信任分?jǐn)?shù)，阻礙我們的排名。

　　robots協(xié)議也是我們節(jié)約服務(wù)器資源的一種方式，一個(gè)網(wǎng)站的頁(yè)面越多，搜索引擎發(fā)送的Spider就越多。引擎Spider和用戶訪問我們的網(wǎng)站也會(huì)消耗我們的服務(wù)器資源。

　　如果我們的服務(wù)器配置不是很高，幾千萬(wàn)個(gè)頁(yè)面，每天的Spider數(shù)量是巨大的。它會(huì)拖累我們的服務(wù)器，阻礙用戶的正常訪問，所以robots協(xié)議的合理運(yùn)行對(duì)我們網(wǎng)站的正常運(yùn)行也是非常有意義的。

　　如上4點(diǎn)是巨?？萍?a href=http:///seofw/ target=_blank >SEO顧問今天想和大家分享的內(nèi)容。robots.txt文件對(duì)優(yōu)化的左右很大，希望大家重視并檢查自己網(wǎng)站的robots.txt文件，如果您對(duì)SEO方面還有疑問，請(qǐng)聯(lián)系我們的熱線電話或在線客服，我們竭誠(chéng)為您服務(wù)!