說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請(qǐng)撥打電話 400 685 0732
全網(wǎng)監(jiān)測(cè)海量數(shù)據(jù)按需發(fā)布監(jiān)測(cè)預(yù)警
實(shí)時(shí)把握輿情動(dòng)態(tài)精準(zhǔn)追溯信息源頭
來源:Rude同鞋的seosos。
好吧,我承認(rèn),關(guān)于CDN,其實(shí)到目前為止還是有很多盲點(diǎn)的。然后,還是開始逐漸的收集整理資料吧,來盡快掃除這些盲點(diǎn)。
1、百度官方文檔上的一句話
不同的CDN服務(wù)商在全國分布的節(jié)點(diǎn)數(shù)不同,站點(diǎn)在使用CDN服務(wù)時(shí),同一地區(qū)CDN給蜘蛛返回的IP地址要和給用戶的一致。
部分CDN服務(wù)商出于成本考慮與資源使用率的問題,會(huì)在不告知用戶的情況下變更IP地址以節(jié)約成本,這樣導(dǎo)致蜘蛛在去抓的時(shí)候,會(huì)遇到新IP和老IP的問題,在站點(diǎn)沒有告知更換IP的情況下,蜘蛛會(huì)認(rèn)為站點(diǎn)目前存在問題,首先是減少抓取量,其次會(huì)判斷是否把不可訪問的頁面下掉,這時(shí)候出現(xiàn)了用戶訪問IP與蜘蛛抓取IP不一致的情況。
建議有以下兩點(diǎn):站點(diǎn)在選擇CDN服務(wù)時(shí)要選擇穩(wěn)定的CDN服務(wù)商;如果IP更換通過站長平臺(tái)抓取診斷工具抓取測(cè)試,如果IP不正確可以點(diǎn)擊下圖紅框“報(bào)錯(cuò)”提示給站長平臺(tái)。
2、關(guān)于百度的抓取機(jī)制
百度的抓取機(jī)制是:次訪問后,為了快速抓取,會(huì)把域名對(duì)應(yīng)IP給緩存起來,第二次不訪問域名的DNS解析了,直接訪問緩存的IP;CDN的ip節(jié)點(diǎn)是動(dòng)態(tài)變化的,這會(huì)造成第二次訪問了原先的IP,會(huì)報(bào)錯(cuò)。
用戶訪問的時(shí)候:瀏覽器通過DNS查找用戶輸入網(wǎng)址對(duì)應(yīng)的服務(wù)器IP地址,如果IP存在嘗試與服務(wù)器建立TCP連接。
內(nèi)容出自光年社區(qū),不確保準(zhǔn)確性,但是感覺還是蠻靠譜的,另外上次在看百度的上海大講堂視頻時(shí),似乎聽到說百度現(xiàn)在會(huì)弄兩個(gè)爬蟲,一個(gè)真實(shí)的爬蟲,一個(gè)偽裝成用戶,來避免出現(xiàn)抓不到內(nèi)容的問題,至于跟這個(gè)搭不搭嘎,還是得回去瀏覽下視頻,再詳細(xì)了解下。
3、會(huì)由于CDN原因?qū)е掳俣葘?duì)網(wǎng)站的訪問出現(xiàn)問題的兩個(gè)原因解釋
一是IP地址亂變,用域名訪問不一定可以訪問。
二是在每個(gè)網(wǎng)站IP相對(duì)固定的前提下,訪問的爬蟲IP都是相對(duì)固定的,都在某個(gè)C段。但是如果網(wǎng)站IP亂變,搜索引擎會(huì)減少訪問,因?yàn)橐匦路峙渑老xIP給你網(wǎng)站。
4、小細(xì)節(jié)知識(shí)點(diǎn)
穩(wěn)定的CDN對(duì)SEO無害反而有利;
建議只對(duì)靜態(tài)網(wǎng)頁使用CDN,動(dòng)態(tài)網(wǎng)站不使用;
部分CDN可以對(duì)搜索引擎解析IP,可將搜索引擎來源請(qǐng)求解析至源IP。
說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請(qǐng)撥打電話 400 685 0732