Spider譯為蜘蛛，但是這里石家莊網(wǎng)絡(luò)公司要講的蜘蛛并非自然界的節(jié)肢動物，而是搜索引擎機(jī)器人。他們在整個(gè)互聯(lián)網(wǎng)世界中負(fù)責(zé)網(wǎng)站數(shù)據(jù)的搜集、保存、更新的任務(wù)。對于搜索引擎市場，我們經(jīng)常會接觸到的的spider有：Baiduspdier、Googlebot、Sogou Web Spider、360Spider等，對于這些Spider你知道多少呢？

    作為seoer我們經(jīng)常會進(jìn)行網(wǎng)站的數(shù)據(jù)更新，其目的就是為了吸引spider的爬行。為了吸引spider，各站長可謂是無法不用其所用，但是效果究竟如何就不得而知了。對于spider,我們是“諂媚”的，要獲得它的親睞就要投其所好。知己知彼，方能百戰(zhàn)百勝，對于spider也是一樣的。那么下面我們就先了解一下spider搜索定律。

    Spider的工作過程被認(rèn)為是有向圖遍歷。從一些重要的種子URL開始，通過頁面上的超鏈接關(guān)系，不斷的發(fā)現(xiàn)新URL并抓取，盡最大可能抓取到更多的有價(jià)值網(wǎng)頁。對于大型的spider系統(tǒng)，因?yàn)槊繒r(shí)每刻都存在網(wǎng)頁被修改、刪除或出現(xiàn)新的超鏈接的可能，要對spider過去抓取過的頁面保持更新，維護(hù)一個(gè)URL庫和頁面庫。

    Spider抓取系統(tǒng)的基本框架圖，其中包括鏈接存儲系統(tǒng)、鏈接選取系統(tǒng)、Dns解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲系統(tǒng)。spider抓取系統(tǒng)直接涉及互聯(lián)網(wǎng)資源提供者的利益，為了使搜素引擎與站長能夠達(dá)到雙贏，在抓取過程中雙方必須遵守一定的規(guī)范準(zhǔn)則，以便于雙方的數(shù)據(jù)處理及對接。spider抓取的流程為：Dns解析→Tcp鏈接→發(fā)送HttpGet請求→讀取、解析httpheader信息→提取出頁面內(nèi)超鏈接，處理放入待抓隊(duì)列→讀取頁面數(shù)據(jù)。