在搜索引擎優(yōu)化中想要獲得網(wǎng)站排名基礎(chǔ)的展示就的網(wǎng)站收錄，這里就涉及到了網(wǎng)站頁(yè)面內(nèi)容的可抓取性和頁(yè)面的可索引性。這兩個(gè)概念大家想必乍看之下都有一定的了解，但是如果要具體來(lái)說(shuō)明一下，估計(jì)是有點(diǎn)困難的。因此下面的內(nèi)容我們就從搜索引擎的基礎(chǔ)知識(shí)入手，和大家一起去了解下到底什么是搜索引擎的抓取性和可索引性。

    我們都是知道百度的是一個(gè)比較神奇的存在但是當(dāng)我們仔細(xì)觀察時(shí)，會(huì)發(fā)現(xiàn)由于搜尋和建立索引，網(wǎng)站出現(xiàn)在搜索結(jié)果中。這就意味著要使我們的網(wǎng)站出現(xiàn)在搜索結(jié)果中，它必須是可爬網(wǎng)的并且可以建立索引。搜索引擎擁有這些我們稱為爬蟲(chóng)的機(jī)器人。他們基本上是在互聯(lián)網(wǎng)上找到網(wǎng)站，抓取其內(nèi)容，跟蹤該網(wǎng)站上的任何鏈接，然后為他們抓取的網(wǎng)站創(chuàng)建索引。

    索引是一個(gè)龐大的URL數(shù)據(jù)庫(kù)，像百度這樣的搜索引擎通過(guò)其算法對(duì)其進(jìn)行排名。當(dāng)我們搜索某些內(nèi)容并加載結(jié)果頁(yè)面時(shí)，我們會(huì)看到爬網(wǎng)和索引的結(jié)果。這是搜索引擎抓取的所有網(wǎng)站并基于一系列不同的因素將其視為與我們的搜索相關(guān)的網(wǎng)站。我們可能不會(huì)談及百度和其他搜索引擎用來(lái)確定與搜索相關(guān)的內(nèi)容的算法，但是我們可以訪問(wèn)我們的網(wǎng)站以了解更多信息。

    那么回到最基本的概念到底什么是可爬網(wǎng)性和可索引性呢？

    可抓取性意味著搜索引擎抓取工具可以閱讀和跟蹤我們網(wǎng)站內(nèi)容中的鏈接，我們可以將它們像蜘蛛一樣跟隨網(wǎng)絡(luò)上的大量鏈接。

    可索引性意味著我們?cè)试S搜索引擎在搜索結(jié)果中顯示我們網(wǎng)站的頁(yè)面。

    如果我們的網(wǎng)站可抓取并可以建立索引，那就太好了。如果不是這樣，我們可能會(huì)失去來(lái)自百度搜索結(jié)果的大量潛在流量，而這種流量的損失會(huì)轉(zhuǎn)化為潛在客戶的損失和業(yè)務(wù)收入的損失。但是，我們?nèi)绾沃牢覀兊木W(wǎng)站是否已建立索引呢？其實(shí)也是很簡(jiǎn)單的。只要轉(zhuǎn)到百度或其他搜索引擎，然后輸入站，再輸入我們站點(diǎn)的地址即可。這時(shí)候我們應(yīng)該就可以看到我們的站點(diǎn)上已被索引的頁(yè)面數(shù)的結(jié)果了。不過(guò)如果我們什么都看不到，也不要太過(guò)擔(dān)心，筆者接下來(lái)會(huì)告訴大家如何解決這個(gè)問(wèn)題。

    接下來(lái)的問(wèn)題，如何使我們的網(wǎng)站頁(yè)面爬行并建立索引呢？

    1、內(nèi)部鏈接

    我們想讓搜索引擎的搜尋器進(jìn)入我們網(wǎng)站上的每個(gè)頁(yè)面，然后確保我們網(wǎng)站上的每個(gè)頁(yè)面都有指向該頁(yè)面的鏈接。以站點(diǎn)為例，我們可以輕松地瀏覽其導(dǎo)航中的鏈接以逐頁(yè)獲取。如果我們點(diǎn)擊建站，則可以看到更多鏈接到不同類型的建站案例，然后在該菜單中看到更多類型的站點(diǎn)的鏈接。有指向每個(gè)頁(yè)面的鏈接，爬網(wǎng)程序?qū)⒏S這些鏈接。如果我們沒(méi)有太多內(nèi)部鏈接，則HTML網(wǎng)站地圖可以為抓取工具提供鏈接，便以我們?cè)诰W(wǎng)站上進(jìn)行跟蹤。HTML網(wǎng)站地圖適用于人員和搜索引擎，它們列出了指向我們網(wǎng)站上每個(gè)頁(yè)面的鏈接。通常，我們可以在網(wǎng)站的頁(yè)腳中找到站點(diǎn)地圖的入口。而最佳做法是在我們網(wǎng)站的所有相關(guān)內(nèi)容以及導(dǎo)航選項(xiàng)卡中都包含指向每個(gè)頁(yè)面的鏈接。

    2、反向鏈接

    同樣的鏈接對(duì)我們的站點(diǎn)很重要。但是，反向鏈接比內(nèi)部鏈接更難獲得，因?yàn)樗鼈儊?lái)自我們企業(yè)之外的用戶。當(dāng)另一個(gè)站點(diǎn)包含指向我們的頁(yè)面之一的鏈接時(shí)，我們的站點(diǎn)將獲得反向鏈接。因此，當(dāng)抓取工具訪問(wèn)該外部網(wǎng)站時(shí)，只要允許他們跟蹤該外部網(wǎng)站，它們就會(huì)通過(guò)該鏈接訪問(wèn)我們的網(wǎng)站。如果我們?cè)趦?nèi)容中鏈接到其他網(wǎng)站，也會(huì)發(fā)生同樣的情況。

    3、XML網(wǎng)站地圖

    我們最好將網(wǎng)站的XML網(wǎng)站地圖提交給百度等搜索引擎。XML站點(diǎn)地圖應(yīng)包含我們所有的頁(yè)面URL，以便爬網(wǎng)程序知道我們希望它們進(jìn)行爬網(wǎng)的內(nèi)容。它們與HTML網(wǎng)站地圖不同，因?yàn)樗鼈儍H適用于爬蟲(chóng)。我們可以自己創(chuàng)建XML網(wǎng)站地圖，使用XML網(wǎng)站地圖工具或者如果它與我們網(wǎng)站的CMS兼容，甚至可以使用插件。但不要在站點(diǎn)地圖中包含我們不想爬網(wǎng)和編制索引的鏈接。

    4、Robots.txt

    關(guān)于Robots.txt就有點(diǎn)技術(shù)性了。robots.txt文件是我們網(wǎng)站后端上的文件，可告訴抓取工具他們無(wú)法抓取哪些內(nèi)容并在我們的網(wǎng)站上建立索引。如果我們熟悉robots.txt，就要確保我們不會(huì)意外阻止抓取工具執(zhí)行其工作。如果我們要阻止某個(gè)搜索引擎的搜尋器，如：（禁止百度爬蟲(chóng)訪問(wèn)）“User-agent: Baiduspider  Disallow: /”。如果我們不確定如何確定問(wèn)題或?qū)obots.txt文件進(jìn)行更改，可以與找專門的優(yōu)化人員幫我們制作，這樣可以避免破壞我們的網(wǎng)站。