搜索引擎理論對(duì)于seo的重要性，如果一個(gè)seoe再懂得于搜索引擎原理，會(huì)讓你更好的做好seo，經(jīng)常一些公司在招聘的時(shí)候，經(jīng)常會(huì)提問(wèn)到原理性的問(wèn)題。
要想學(xué)好網(wǎng)站優(yōu)化這個(gè)技術(shù)，還要了解搜索引擎蜘蛛的原理：
1、蜘蛛（百度的是：baiduspider 谷歌的是:googbot）又稱為爬蟲，只是叫法不一樣?？衫斫鉃椋核阉饕娴囊粋€(gè)程序。搜索引擎程序(以下稱為“蜘蛛”)它到了你的網(wǎng)站，去到爬行，然后把結(jié)果反饋給搜索引擎服務(wù)器。蜘蛛在爬行網(wǎng)站的時(shí)候，最先檢測(cè)網(wǎng)站根目錄下的robots.txt文件，因?yàn)橹┲攵紩?huì)遵循這個(gè)原則，蜘蛛會(huì)檢測(cè)你robots下的文檔里有哪些東西允許抓取，有哪一些不允許抓取。如果你的網(wǎng)站有哪些不讓蜘蛛抓取，可以在robots里寫出。通常，只要在robots文檔里，一個(gè)星期左右的時(shí)間才會(huì)生效。
2、蜘蛛根據(jù)網(wǎng)站robots文件允許收錄的網(wǎng)站，根據(jù)網(wǎng)站的鏈接開(kāi)始爬行，蜘蛛會(huì)一沿著一個(gè)接一個(gè)往下爬，為避免程序問(wèn)題，通常蜘蛛抓取的深度為5層以上。在做網(wǎng)站優(yōu)化過(guò)程中，蜘蛛一直沿著鏈接抓取。以前強(qiáng)調(diào)錨文本的重要性，在這里可以發(fā)揮出它的效果，每抓取一次，就給下我們網(wǎng)站的權(quán)重
3、蜘蛛為了重復(fù)抓取網(wǎng)址，它會(huì)生成一個(gè)地址庫(kù)，記錄地址庫(kù)服務(wù)中，記錄還沒(méi)抓取的頁(yè)面，以及過(guò)濾敏感關(guān)鍵詞頁(yè)面
4、蜘蛛根據(jù)抓取的內(nèi)容，做分詞處理，按照算法對(duì)文章進(jìn)行索引編號(hào)，存在自己的服務(wù)器上，用戶進(jìn)行搜索的時(shí)候，按照一樣的規(guī)則顯示出來(lái) 。
吸引蜘蛛，根據(jù)我的經(jīng)驗(yàn)，只要網(wǎng)站的外鏈資源夠多（注：高質(zhì)量外鏈），留的入口夠多，那么蜘蛛來(lái)網(wǎng)站抓取的次數(shù)就越多.
要想學(xué)好網(wǎng)站優(yōu)化這個(gè)技術(shù)，還要了解搜索引擎蜘蛛的原理：
1、蜘蛛（百度的是：baiduspider 谷歌的是:googbot）又稱為爬蟲，只是叫法不一樣?？衫斫鉃椋核阉饕娴囊粋€(gè)程序。搜索引擎程序(以下稱為“蜘蛛”)它到了你的網(wǎng)站，去到爬行，然后把結(jié)果反饋給搜索引擎服務(wù)器。蜘蛛在爬行網(wǎng)站的時(shí)候，最先檢測(cè)網(wǎng)站根目錄下的robots.txt文件，因?yàn)橹┲攵紩?huì)遵循這個(gè)原則，蜘蛛會(huì)檢測(cè)你robots下的文檔里有哪些東西允許抓取，有哪一些不允許抓取。如果你的網(wǎng)站有哪些不讓蜘蛛抓取，可以在robots里寫出。通常，只要在robots文檔里，一個(gè)星期左右的時(shí)間才會(huì)生效。
2、蜘蛛根據(jù)網(wǎng)站robots文件允許收錄的網(wǎng)站，根據(jù)網(wǎng)站的鏈接開(kāi)始爬行，蜘蛛會(huì)一沿著一個(gè)接一個(gè)往下爬，為避免程序問(wèn)題，通常蜘蛛抓取的深度為5層以上。在做網(wǎng)站優(yōu)化過(guò)程中，蜘蛛一直沿著鏈接抓取。以前強(qiáng)調(diào)錨文本的重要性，在這里可以發(fā)揮出它的效果，每抓取一次，就給下我們網(wǎng)站的權(quán)重
3、蜘蛛為了重復(fù)抓取網(wǎng)址，它會(huì)生成一個(gè)地址庫(kù)，記錄地址庫(kù)服務(wù)中，記錄還沒(méi)抓取的頁(yè)面，以及過(guò)濾敏感關(guān)鍵詞頁(yè)面
4、蜘蛛根據(jù)抓取的內(nèi)容，做分詞處理，按照算法對(duì)文章進(jìn)行索引編號(hào)，存在自己的服務(wù)器上，用戶進(jìn)行搜索的時(shí)候，按照一樣的規(guī)則顯示出來(lái) 。
吸引蜘蛛，根據(jù)我的經(jīng)驗(yàn)，只要網(wǎng)站的外鏈資源夠多（注：高質(zhì)量外鏈），留的入口夠多，那么蜘蛛來(lái)網(wǎng)站抓取的次數(shù)就越多.
