如何查看網(wǎng)站日志中搜索引擎蜘蛛的來訪記錄發(fā)布者：本站     時間：2019-12-30 16:12:46

對于很多做網(wǎng)站的新手來說，都沒有經(jīng)過系統(tǒng)地授課進行網(wǎng)絡(luò)技術(shù)和建站知識學(xué)習(xí)，做網(wǎng)站都是靠自學(xué)，遇到難題在論壇發(fā)帖提問，更不會懂得網(wǎng)站優(yōu)化，對于較基本操作——通過網(wǎng)站日志看蜘蛛來訪情況都不知到哪里看，怎么看。前兩天看到很多人發(fā)帖提問，回復(fù)者的答案卻比較精煉，不具體，提問者還是云里霧里的，現(xiàn)我就以自己的網(wǎng)站來系統(tǒng)地操作一次，提交給大家參考，有說錯的地方，請批評指正。

1、打開FTP登錄軟件，我用的是FlashFXP，登錄空間FTP



登錄FTP后，你會發(fā)現(xiàn)根目錄下有一個wwwlogs文件夾，（有的是weblog，注：不同的服務(wù)器空間生成的日志文件目錄名稱不一樣，僅供參考，一般文件夾中包含Log字符的就是日志文件夾）。

2、打開wwwlogs文件夾后，里面有一些以日期格式特征為文件名的.gz后綴結(jié)尾的文件，這些就是我們需要下載到本地的日志文件。



3、下載到電腦桌面后，解壓縮打開，里面是一個記事本格式的文件，打開文件，看到的是下圖這樣的代碼，我下載的是3月7日的那個文件。





4、分析代碼

上圖1是百度蜘蛛的IP地址；

2是蜘蛛來訪日期時間（2012年3月6日1時21分22秒），3月7日的日志文件記錄的是從3月6日凌晨開始，至3月7日1時11分39秒整個時間段的n多次來訪記錄）；

3是百度蜘蛛baiduspider

4是我網(wǎng)站被訪問的網(wǎng)頁地址；

5是sogou 搜狗蜘蛛的來訪，同樣也能看到時間和被訪網(wǎng)頁。

如果是簡單的查看，您可以在記事本中搜索baiduspider ，如果想精確分析，可借助一些專用的分析軟件。分析下哪些時間段百度蜘蛛來的最頻繁，那么我們就在這個時間段更新我們的網(wǎng)站內(nèi)容，很容易被百度收錄的。

通過分析蜘蛛來訪紀(jì)錄，可以了解本站的大體情況，而不用再為百度不放出內(nèi)頁或者不收錄的問題而苦惱了。

蜘蛛來訪正常，可以確切的說，搜索引擎對你的站很友好的，堅持更新自己的網(wǎng)站，會有不錯的收錄的。

注：有些共享IP空間可能不支持日志功能，對于獨立ip虛擬主機則提供每天的日志下載，而實在沒有可以日志功能的空間可以參考使用蜘蛛爬行插件的一些方法進行分析。