robots.txt文件，相比朋友們都或多或少的聽說過，也可能自己已經(jīng)寫過了。SEO優(yōu)化設(shè)定用戶所搜索的關(guān)鍵詞，然后通過網(wǎng)站定位和布局，填充優(yōu)質(zhì)網(wǎng)站內(nèi)容，使網(wǎng)站完全符合用戶搜索需求，獲得搜索引擎信任，從而使網(wǎng)站排名穩(wěn)定并靠在搜索引擎首頁。網(wǎng)站推廣利用數(shù)字化的信息和網(wǎng)絡(luò)媒體的交互性來輔助營銷目標(biāo)實現(xiàn)的一種新型的市場營銷方式。簡單的說，網(wǎng)站推廣就是以互聯(lián)網(wǎng)為主要手段進(jìn)行的，為達(dá)到一定營銷目的的推廣活動。其實到目前為止我本人還沒寫過robots.txt文件，不是不會寫，只是感覺博客中沒什么內(nèi)容需要阻止蜘蛛抓取的。而且想必大家也知道一個個人獨立博客中出現(xiàn)死鏈接的概率應(yīng)該是非常小的，不需要過多的進(jìn)行死鏈接處理所以我感覺沒什么必要。但是robots.txt文件寫法作為個人站長的必須掌握的技能之一，其用處還是很廣泛的。這里就詳細(xì)介紹下，也算是自己溫習(xí)溫習(xí)。
　　什么是robots.txt文件
　　我們從這個文件名來看，它是.txt后綴名的，大家也應(yīng)該知道這是一個文本文件，也就是記事本。seo優(yōu)化技巧搜索引擎根據(jù)一定的策略、運用特定的計算機程序從互聯(lián)網(wǎng)上搜集信息，在對信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)，將用戶檢索相關(guān)的信息展示給用戶的系統(tǒng)。學(xué)習(xí)搜索引擎優(yōu)化SEO，必須先了解什么是搜索引擎。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。robots，懂點英語的人應(yīng)該都人士，是機器人的意思，對我們而言這個機器人代表的就是搜索引擎機器人，從名字上就可以猜到這個文件是我們專門寫給蜘蛛看的。它的作用就是告訴蜘蛛，那些欄目或者是那些頁面不需要抓取，當(dāng)然也可以直接屏蔽掉某個蜘蛛的訪問。注意，這個文件是放在網(wǎng)站根目錄下的，這樣才能保證蜘蛛可以在第一時間讀取文件內(nèi)容。
　　robots文件的作用
　　其實robots文件最常被我們用到的就是屏蔽網(wǎng)站內(nèi)的死鏈接。大家應(yīng)該知道一個網(wǎng)站死鏈接多了會影響網(wǎng)站的權(quán)重。但是網(wǎng)站死鏈接清理雖然說不上是麻煩，還是需要花上不少時間的，特別是如果站內(nèi)死鏈接較多的情況下，清理起來很費勁，這時候robots文件的用處就體現(xiàn)出來了，我們可以直接將這些死鏈接按照格式寫入文件中阻止蜘蛛抓取，想清理的或以后在慢慢清理。有些網(wǎng)站內(nèi)容中包含一些站長不想讓蜘蛛抓取的url或文件，也可以直接屏蔽。對于屏蔽蜘蛛，用到的一般都比較少。
　　robots文件的寫法
　　這一點應(yīng)該是比較重要的了。如果寫錯了想屏蔽的沒成功，想被抓取的卻寫進(jìn)去自己不能及時發(fā)現(xiàn)可就虧大了。首先我們要知道兩個標(biāo)簽，Allow和Disallow，一個是允許，一個是不允許，它的作用相比大家也都能理解。
User-agent: *
Disallow:
或者
User-agent: *
Allow:
　　這兩段內(nèi)容表示的都是允許抓取所有，實際上屏蔽url和文件用到的是Disallow標(biāo)簽，除非你的網(wǎng)站只有幾條想要被抓取采用Allow標(biāo)簽。這個User-agent：后面跟的就是蜘蛛名稱，大家對主流的搜索引擎蜘蛛名稱應(yīng)該比較熟悉。下面以搜搜蜘蛛為例：Sosospider。
　　當(dāng)我們想屏蔽搜搜蜘蛛的時候：
User-agent: sosospider
Disallow: /
　　大家可以發(fā)現(xiàn)這個屏蔽蜘蛛跟上面允許相比只是多了一個“/”，其含義就起了翻天覆地的變化，所以在書寫的時候要千萬注意，可不能因為多寫個斜杠屏蔽了蜘蛛自己卻不知道。網(wǎng)站SEO包含站外SEO和站內(nèi)SEO兩方面；SEO是指為了從搜索引擎中獲得更多的免費流量，從網(wǎng)站結(jié)構(gòu)、內(nèi)容建設(shè)方案、用戶互動傳播、頁面等角度進(jìn)行合理規(guī)劃，使網(wǎng)站更適合搜索引擎的索引原則的行為；使網(wǎng)站更適合搜索引擎的索引原則又被稱為對搜索引擎優(yōu)化，對搜索引擎優(yōu)化不僅能夠提高SEO的效果，還會使搜索引擎中顯示的網(wǎng)站相關(guān)信息對用戶來說更具有吸引力。網(wǎng)站SEO搜索引擎優(yōu)化是一種利用搜索引擎的搜索規(guī)則來提高目前網(wǎng)站在有關(guān)搜索引擎內(nèi)的自然排名的方式。SEO的目的理解是：為網(wǎng)站提供生態(tài)式的自我營銷解決方案，讓網(wǎng)站在行業(yè)內(nèi)占據(jù)領(lǐng)先地位，從而獲得品牌收益。還有就是在user-agent：后邊不屑固定蜘蛛名稱跟的如果是“*”表示是針對所有蜘蛛的。
　　禁止某個目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下：
User-agent: *
Disallow: /目錄/
　　注意，這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”，不帶“/”表示的是阻止訪問這個目錄頁面和目錄下的頁面，而帶上“/”則表示進(jìn)阻止目錄下的內(nèi)容頁面，這兩點要分清楚。如果是想屏蔽多個目錄就需要采用
User-agent: *
Disallow: /目錄1/
Disallow: /目錄2/
　　這樣的形式，不能采用 /目錄1/目錄2/ 這樣的形式。
　　如果是阻止蜘蛛訪問某一類型的文件，例如阻止抓取.jpg格式的圖片可以設(shè)置成：
User-agent: *
Disallow: .jpg$
　　以上是seo針對整個網(wǎng)站的robots文件的寫法，只是講的robots寫法的類型和注意事項，像針對性屏蔽蜘蛛或者是其他的具體寫法描述的少了點，但是知道allow和disallow的含義進(jìn)行思考可以衍生出不少其他的寫法含義。還有針對具體網(wǎng)頁的robots meta網(wǎng)頁標(biāo)簽寫法，不過一般情況下用的不是很多。