網(wǎng)站日志記錄的是搜索引擎對于網(wǎng)站的具體操作，當然不僅僅是搜索引擎，確切的說應(yīng)該是所有進入網(wǎng)站的用戶對網(wǎng)站進行的操作，如登陸頁面、點擊頁面數(shù)量、頁面停留時間等等。通過網(wǎng)絡(luò)日志我們可以清楚的去了解每一個IP在網(wǎng)站上進行的操作，可以讓我們更快捷的對網(wǎng)站進行全面的了解。

    舉例來說，如果網(wǎng)站被攻擊，我們可以通過網(wǎng)絡(luò)日志來找到來路ip然后通過技術(shù)手段將其屏蔽等等。那下面我們來具體討論的內(nèi)容就是網(wǎng)站日志文件中的所有內(nèi)容，讓數(shù)據(jù)告訴我們蜘蛛進入我們的網(wǎng)站還有進行的操作來方便我們對SEO方案的下一步實施做出調(diào)整。下面筆者將向大家介紹日志分析的三個主要方面，第一個是我們可能會從特定站點看到的日志類型，外觀，信息的含義；第二個是如何分析這些數(shù)據(jù)以及如何獲得想要的內(nèi)容；第三個是如何使用它來優(yōu)化我們的頁面和站點。

    一，網(wǎng)絡(luò)日志類型

    日志有三種主要類型，主要是Apache但是我們還將看到W3C，彈性負載平衡，在諸如Kibana之類的產(chǎn)品中可能會看到很多。但是我們也可能會遇到一些自定義日志文件。因此，對于那些較大的網(wǎng)站，這并不罕見。我知道每個服務(wù)器其實都有一個自定義的日志文件系統(tǒng)，可以快速是自定義類型設(shè)置。

    我們在這些日志中能看到什么呢？我們希望可以肯定地看到：

1、請求服務(wù)器IP；

2、時間印記，即發(fā)出此請求的日期和時間；

3、所請求的URL，那么他們正在訪問哪個頁面；

4、HTTP狀態(tài)代碼，是否為200，是否已解決，是否為301重定向；

5、用戶代理，因此對于我們的SEO，我們只看這些用戶代理的蜘蛛信息。

    因此，日志文件通常會存儲所有數(shù)據(jù)，個人訪問量和訪問量，但我們要分析搜索引擎蜘蛛的訪問量。有時包括方法獲取/發(fā)布，然后花費的時間，客戶端IP和引薦來源網(wǎng)址。從本質(zhì)上講，我們可能會看到該IP，即那個紅色的IP地址，該時間戳，獲取/發(fā)布或者不一定需要在某些方法中使用它。分析最好了解所有這些內(nèi)容，所請求的URL，狀態(tài)代碼以及所有這些內(nèi)容。

    二，網(wǎng)站日志分析

    我們要如何處理這些日志數(shù)據(jù)呢？又要如何來使用它們呢？很多工具非常適合為我們完成一些繁重的工作，筆者經(jīng)常用的是愛站工具里分析網(wǎng)絡(luò)日志，簡單，而且是免費的，當然也還有其他的很多網(wǎng)站日志分析軟件，我們可以根據(jù)個人的習慣來選擇，但是我們必須將日志文件設(shè)置為特定類型的格式，以便他們來分析使用。

    如果我們找不到合適的日志分析工具，也不要緊，可以直接手動通過Excel來進行分析。我將CSV日志文件導入Excel，使用文本導入向?qū)В旧峡梢苑指舫龈鞣N的分隔符號。無論是空格，逗號還是引號，我們都可以將其分解，以使它們每個都位于各自的列中且不會擔心會有多余的空白列。我們只需要創(chuàng)建數(shù)據(jù)透視表即可，可以鏈接到有關(guān)如何輕松實現(xiàn)此目的的資源。

    熱門頁面，從本質(zhì)上講，我們可以在Excel中看到的是按頻率顯示，搜素引擎蜘蛛排名最高的頁面是什么？根據(jù)請求的次數(shù)，這些首頁是多少？

    熱門文件夾，我們還可以查看頂部的文件夾請求，最重要的是我們還可以查看以下內(nèi)容：哪些最常見的蜘蛛類型影響了我們的網(wǎng)站？是Googlebot-Mobile嗎？是Baiduspider-image嗎？他們在尋找正確的資源嗎？這些都是很重要的信息數(shù)據(jù)。我們也可以使用狀態(tài)碼創(chuàng)建數(shù)據(jù)透視表，然后進行查看。我們現(xiàn)在可以洞悉以下內(nèi)容：首頁中的某些頁面是如何解析的？頂部的文件夾是什么樣的？

    以谷歌為例，我們可以針對Googlebot IP進行此操作。這是我在日志文件分析中發(fā)現(xiàn)的不錯的方式，將Googlebot IP創(chuàng)建一個數(shù)據(jù)透視表，通常會得到有時是一堆，但我會得到所有獨特的，而且我可以在大多數(shù)標準計算機上的計算機上運行終端。我們要做的就是輸入“主機”，然后輸入該IP地址。我們可以使用此IP地址在網(wǎng)站的終端上執(zhí)行此操作，然后它將作為Google.com解析。這證明它確實是Googlebot，而不是其他一些欺騙Google的爬蟲。因此，這些工具往往會自動處理這些問題，但是也有一些方法可以手動完成。

    三，優(yōu)化頁面并抓取預算

    我們?nèi)绾蝺?yōu)化這些日志數(shù)據(jù)并真正開始增加我們的抓取預算呢？所謂抓取預算主要是指直至進入我們的網(wǎng)站的次數(shù)以及它們通常抓取的頁面數(shù)。搜尋預算是什么樣子，又如何來提高效率呢？

    1、服務(wù)器錯誤意識：服務(wù)器錯誤意識是非常重要的，最好留意某些頁面上500個錯誤的增加。

    2、404s：蜘蛛找到的所有400頁面，這一點非常重要。400請求是有效的400嗎？該頁面是否存在？還是它應(yīng)該存在但不再存在的頁面，而我們可以修復。如果哪里有錯誤或不應(yīng)該在那里，引薦來源是什么？蜘蛛是如何發(fā)現(xiàn)這一點的？我們?nèi)绾伍_始清理其中的某些東西？

    3、隔離301s并修復常見的301鏈：301s在日志文件中有很多關(guān)于301s的問題。我們發(fā)現(xiàn)最好的方法就是隔離并修復最常見的301鏈。因此，我們可以在數(shù)據(jù)透視表中執(zhí)行此操作。當我們將其與爬網(wǎng)數(shù)據(jù)進行配對時，這樣做實際上要容易得多，因為現(xiàn)在我們對該鏈有了更多了解。我們可以做的是，查看最常見的301，然后查看該鏈是否有任何簡單，快速的修復方法？有什么可以刪除并迅速解決的問題？

    4、移動優(yōu)先：我們可以先關(guān)注移動版蜘蛛。如果我們的網(wǎng)站首先使用移動設(shè)備，則可以對其進行挖掘，查看日志并評估其外觀。Googlebot仍然看起來像兼容的Googlebot 2.0。但是，它將在括號之前包含所有移動含義。因此，我確信這些工具可以自動知道這一點。但是，如果我們要手動執(zhí)行某些操作，則最好了解其外觀。

    5、缺失的內(nèi)容：蜘蛛發(fā)現(xiàn)和抓取的內(nèi)容是什么，它們完全丟失了什么？最簡單的方法是與我們的站點地圖進行交叉比較，這是一種非常實用的方法，可以查看可能遺漏的內(nèi)容以及原因以及如何以及可能的情況下如何重新安排站點地圖中的數(shù)據(jù)優(yōu)先級或?qū)⑵浼傻綄Ш街小?

    6、比較點擊率與點擊量：對蜘蛛的點擊頻率與點擊量進行比較，這樣的操作讓我們不僅可以看到潛在的相關(guān)性，而且還可以看到可能要增加爬網(wǎng)流量或在特定的高流量頁面上進行爬網(wǎng)的位置。

    7、網(wǎng)址參數(shù)：看看Googlebot是否使用參數(shù)字符串訪問任何網(wǎng)址。我們不要那樣它通常只是重復的內(nèi)容或者可以在Google Search Console中通過參數(shù)部分分配的內(nèi)容。

    8、評估天，周，月：我們可以評估網(wǎng)站的天，周和月。每周都會有高峰嗎？每月都有峰值嗎？

    9、評估速度和外部資源：我們可以評估請求的速度，以及是否有潛在的外部資源可以清理并加快爬網(wǎng)速度。

    10、優(yōu)化導航和內(nèi)部鏈接：根據(jù)SEO系統(tǒng)學習中的方式來優(yōu)化導航并使用操作來優(yōu)化索引。

    11、元noindex和robots.txt不允許使用：如果我們不想在索引中包含某些內(nèi)容并且不想從robots.txt中進行檢索，則可以添加所有這些內(nèi)容并開始也可以幫助解決這些問題。

    四，重新評估

    最后，將爬網(wǎng)數(shù)據(jù)與其中的某些數(shù)據(jù)連接確實很有幫助。如果我們使用的是類似Screaming Frog的工具就要知道它們允許與不同的服務(wù)器日志文件進行這些整合分析，從而為我們提供了更多的見解。而我們要做的只是需要重新評估即可。

    (轉(zhuǎn)載請注明轉(zhuǎn)自：bestvalueblinds.com，謝謝!珍惜別人的勞動成果，就是在尊重自己!）