網(wǎng)站要獲得好的營銷轉(zhuǎn)化就要增加網(wǎng)站收錄，而且一直以來我們都在琢磨著如何來增加網(wǎng)站收錄，今天突然看到筆者這個(gè)題目估計(jì)很多朋友都會(huì)覺得筆者是忘吃藥了。其實(shí)不然，我們要明白搜索引擎對站點(diǎn)的“第一印象”很重要，這可以預(yù)估之后我們在對網(wǎng)站營銷優(yōu)化過程中，搜索引擎對于我們站點(diǎn)的定位以及對網(wǎng)站關(guān)鍵詞設(shè)置的安排。所以在網(wǎng)站沒有布局好以后，我們必須要阻止搜索引擎對站點(diǎn)的抓取，以免阻礙我們的站點(diǎn)的新站權(quán)重評估。
對于靜態(tài)站點(diǎn)來說我們可以通過在本地將站點(diǎn)完美布局之后在統(tǒng)一上線，但是對于動(dòng)態(tài)站點(diǎn)則不然，只有上線后才可以填充網(wǎng)站內(nèi)容。好點(diǎn)的網(wǎng)絡(luò)公司會(huì)有測試空間，將設(shè)計(jì)好的站點(diǎn)上傳至此，然后開始補(bǔ)充內(nèi)容當(dāng)內(nèi)容完整后在放入正式是空間，也就是可以向用戶展示。但是不論是測試空間還是正式空間，只要投放到網(wǎng)絡(luò)上就有可能被搜索引擎抓取到。而一旦被抓取到，如果我們的站點(diǎn)內(nèi)容沒有補(bǔ)充網(wǎng)站，勢必對站點(diǎn)第一印象會(huì)大打折扣，而如果抓取到的是測試空間的站點(diǎn)，那么當(dāng)我們的站點(diǎn)上線后，因?yàn)轫撁娌季衷O(shè)計(jì)，內(nèi)容填充等樣板化很有可能會(huì)長期處于沙盒期或者壓根就不會(huì)收錄我們的站點(diǎn)，從而影響我們的正常優(yōu)化運(yùn)營。所以我們在網(wǎng)站正式上線之前，最好的操作就是屏蔽到搜索引擎抓取，當(dāng)站點(diǎn)布局完整之后，在放開站點(diǎn)，讓搜索引擎蜘蛛抓取，同時(shí)通過我們所知道的增加網(wǎng)站收錄的操作來為站點(diǎn)進(jìn)行蜘蛛引導(dǎo)，這樣對于我們的后期優(yōu)化來說才是完美的鋪墊。
了解了為什么要對站點(diǎn)進(jìn)行收錄抓取屏蔽，下面我們來看看常見的屏蔽站點(diǎn)抓取的操作方式——robots.txt文件。
第一步要做的是建立一個(gè)robots.txt文本文件，該文件是網(wǎng)站和搜索引擎之間的一個(gè)“抓取”規(guī)則協(xié)議。建立這個(gè)文件協(xié)議就是為了告訴搜索引擎進(jìn)入站點(diǎn)后哪些內(nèi)容是可以被蜘蛛爬行抓取的，哪些是不能夠不抓取收錄的。像我們要屏蔽網(wǎng)站的抓取可以直接用表示禁止抓全站收錄的“Disallow:/”語法，當(dāng)然不要忘記，因?yàn)槲覀冡槍κ撬械乃阉饕妫栽谠撐谋镜牡谝恍凶珜懙膭t是表示能夠被所有搜索引擎都適用的協(xié)議規(guī)則“User-agent:*”。當(dāng)然，如果我們要做的僅僅是屏蔽其中的一個(gè)或幾個(gè)搜索引擎蜘蛛抓取網(wǎng)站下的某一個(gè)目錄文件我們可以直接在協(xié)議中寫明，如要禁止百度抓取網(wǎng)站下的A目錄，我們的robots.txt文件的編輯應(yīng)該是：
User-agent: Baiduspider
Disallow: /A/
編輯完成后，我們將robots.txt文件保存通過ftp上傳到服務(wù)器根目錄中，這樣就可以正式聲明該協(xié)議生效了，可以屏蔽搜索引擎對網(wǎng)站內(nèi)容的抓取收錄。
第二種屏蔽搜索引擎抓取的的方法是，在網(wǎng)站的頁面代碼中植入禁止搜索引擎抓取的代碼。常用的方式有在網(wǎng)頁<head></head>之間加入<meta name="robots" content="noarchive">代碼，這段代碼表示禁止所有搜索引擎抓取網(wǎng)站和顯示快照。同理，如果我僅僅想要避免某一個(gè)搜索引擎對網(wǎng)站的抓取，如禁止百度抓住，則可以在網(wǎng)頁<head></head>之間加入<meta name="baidspider" content="noarchive">這段代碼，其他的搜索引擎屏蔽方式也是如此，只要屏蔽對應(yīng)的搜索引擎的蜘蛛機(jī)器人就可以了。
內(nèi)容擴(kuò)充：常見是的搜索引擎蜘蛛
1、百度蜘蛛：BaiduSpider
2、谷歌蜘蛛：Googlebot
3、360蜘蛛：360Spider
4、搜狗蜘蛛：Sogou News Spider
5、必應(yīng)蜘蛛：bingbot
6、SOSO蜘蛛：Sosospider
7、雅虎蜘蛛：Yahoo! Slurp China（雅虎中國）或Yahoo! Slurp（雅虎英文）
8、MSN蜘蛛：msnbot，msnbot-media
9、一搜蜘蛛：YisouSpider
10、Alexa蜘蛛：ia_archiver
11、宜搜蜘蛛：EasouSpider
12、即刻蜘蛛：JikeSpider
(轉(zhuǎn)載請注明轉(zhuǎn)自：bestvalueblinds.com，謝謝!珍惜別人的勞動(dòng)成果，就是在尊重自己!）
