“抓取異常”搜索引擎蜘蛛不能爬行的原因
有些網(wǎng)頁內(nèi)容優(yōu)質(zhì)，用戶也可以正常訪問，單是搜索引擎知足卻無法正常訪問抓取，照成搜索結(jié)果覆蓋率缺失，這對(duì)網(wǎng)站優(yōu)化是一種損失。百度把這種情況叫做“抓取異常”對(duì)于大欸容無法正常抓取的網(wǎng)站。百度為認(rèn)為該網(wǎng)站的用戶體驗(yàn)度左右的不好，會(huì)降低對(duì)網(wǎng)站的評(píng)價(jià)，導(dǎo)致在抓取，索引，排序出現(xiàn)負(fù)面影響。最終會(huì)減少網(wǎng)站的百度流量獲取數(shù)。那么常見“抓取異常”都有哪些原因呢？
1.服務(wù)器連接異常
1.1站點(diǎn)不穩(wěn)定 讓百度蜘蛛出現(xiàn)暫時(shí)無法鏈接的問題
1.2百度蜘蛛引擎一直無法連接網(wǎng)站的服務(wù)器
而以上的問題出現(xiàn)通常是網(wǎng)站服務(wù)器過大，超負(fù)荷運(yùn)轉(zhuǎn)，也喲可能是網(wǎng)站運(yùn)行不正常 。須檢測web服務(wù)器是否安裝且正常云南行。并使用那瀏覽器檢查主要頁面能否正常訪問。此外，網(wǎng)站和主機(jī)還可能會(huì)阻止百度搜素引擎蜘蛛的訪問，只是需要檢查網(wǎng)站和主機(jī)的防火墻。
2.網(wǎng)站運(yùn)營商問題
需與網(wǎng)絡(luò)運(yùn)營商ianxi，購買雙線服務(wù)的空間，或購買CDN服務(wù)
3.DNS異常
百度引擎蜘蛛無法解析網(wǎng)站的IP地址會(huì)出現(xiàn)DNS異常?？赡苁蔷W(wǎng)站的IP地址錯(cuò)誤或者域名服務(wù)商封禁的問題?？梢杂?/font>WHOIS或者host查詢結(jié)果。如果不正確，需聯(lián)系域名注冊(cè)商，更新IP地址
4.IP的封禁 需要檢查相關(guān)設(shè)置，是否添加了百度搜索引擎的IP地址。
5. UA封禁 需要查看User-agent的相關(guān)設(shè)置中是否有被百度搜索引擎的UA，并及時(shí)予以修改
6.死鏈 有協(xié)議死鏈和內(nèi)容死鏈兩種處理方式，其中建議使用協(xié)議死鏈。并且通過百度站長平臺(tái)-死鏈功能根據(jù)體哦啊叫以便百度更快的發(fā)現(xiàn)死鏈，并刪除
7.異常跳轉(zhuǎn) 將網(wǎng)站請(qǐng)求重新指向其他文職即為跳轉(zhuǎn)。對(duì)于長時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，百度建議使用201跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。
8.其他異常
8.1針對(duì)百度refeR的異常
8.2 針對(duì)百度Ua的異常
8.3 JS跳轉(zhuǎn)異常
8.4 壓力過大引起的偶然封禁
