在網站制作前我們要知道什么是搜索引擎蜘蛛
搜索引擎蜘蛛，是一種按照一定的規則，自動地抓取互聯網信息的程序或者腳本。由于互聯網具有四通八達的“拓補結構”十分類似蜘蛛網，再加上搜索引擎爬蟲無休止的在互聯網上“爬行”，因此人家形象的將搜索引擎爬蟲稱之為蜘蛛。互聯網儲備了豐富的資源和數據，那么這些資源數據是怎么來的呢?眾所周知，搜索引擎不會自己產生內容，借助蜘蛛不間斷的從千千萬萬的網站上面“搜集”網頁數據來“填充”自有的頁面數據庫。這也就是為什么我們使用搜索引擎檢索數據時，能夠獲得大量的匹配資源。

搜索引擎蜘蛛的工作流程如下：
①搜索引擎安排蜘蛛到互聯網上的網站去抓取網頁數據，然后將抓取的數據帶回搜索引擎的原始頁面數據庫中。蜘蛛抓取頁面數據的過程是無限循環的，只有這樣我們搜索出來的結果才是不斷更新的。

　　②原始頁面數據庫中的數據并不是最終的結果，只是相當于過了面試的“初試”，搜索引擎會將這些數據進行“二次處理”，這個過程中會有兩個處理結果：

　　(1)對那些抄襲、采集或者復制的重復內容，不符合搜索引擎規則及不滿足用戶體驗的垃圾頁面從原始頁面數據庫中清除。

　　(2)將符合搜索引擎規則的高質量頁面添加到索引數據庫中，等待進一步的分類、整理等工作。

　　③搜索引擎對索引數據庫中的數據進行分類、整理、計算鏈接關系、特殊文件處理等過程，將符合規則的網頁展示在搜索引擎顯示區，以供用戶使用和查看。