深圳蹲示保安有限公司

廈門網(wǎng)站建設(shè):1、CDN

　　一些網(wǎng)站會使用CDN加速服務(wù)，最近每周站長平臺都會接到一兩個(gè)跟CDN加速問題有關(guān)的案例。CDN這里存在一個(gè)問題：不同的CDN服務(wù)商在全國分布的節(jié)點(diǎn)數(shù)不同，站點(diǎn)在使用CDN服務(wù)時(shí)，同一地區(qū)CDN給蜘蛛返回的IP地址要和給用戶的一致。那么現(xiàn)實(shí)情況是，部分CDN服務(wù)商出于成本考慮與資源使用率的問題，會在不告知用戶的情況下變更IP地址以節(jié)約成本，這樣就導(dǎo)致蜘蛛在去抓的時(shí)候，會遇到新IP和老IP的問題，在站點(diǎn)沒有告知更換IP的情況下，蜘蛛會認(rèn)為站點(diǎn)目前存在問題，首先是減少抓取量，其次會判斷是否把不可訪問的頁面下掉，這時(shí)候就出現(xiàn)了用戶訪問IP與蜘蛛抓取IP不一致的情況。所以建議站點(diǎn)在選擇CDN服務(wù)時(shí)要選擇穩(wěn)定的CDN服務(wù)商，其次如果IP更換最好通過站長平臺抓取診斷工具抓取測試，如果IP不正確可以點(diǎn)擊下圖紅框“報(bào)錯”提示給站長平臺

2、Robots

　　站長應(yīng)該對robots都不陌生，但為什么還要提呢？有這樣一種情況：站點(diǎn)需要更新robots文件，對站內(nèi)部分內(nèi)容禁止或放開抓取。但由于操作后沒有檢查是否生效，站長會默認(rèn)為已經(jīng)生效。同時(shí)還有一個(gè)生效周期的問題，那么站點(diǎn)需要在百度站長平臺提供的robots檢測工具中做一個(gè)抓取測試來驗(yàn)證是否生效。

如果看到robots內(nèi)容和你更改后的內(nèi)容不一致，有幾種可能：第一種可能是網(wǎng)站沒有全面布局，因?yàn)橛械恼军c(diǎn)服務(wù)器可能在很多地方，你需要確認(rèn)robots是否已全部推送；第二種可能是百度沒有及時(shí)做更新，可以通過robots檢測工具下方的更新按鈕來告訴百度Robots有變化。

3、UA/IP

　　UA封禁一般不會是站點(diǎn)主觀錯誤操作，往往是意外情況，站點(diǎn)在程序中過濾誤操作UA封禁，而通常卻不知道自己封禁了蜘蛛。只有在逐步的排查才會發(fā)現(xiàn)這種概率很小的問題。所以在流量異常中我們在運(yùn)維篇中把這項(xiàng)列進(jìn)去，讓站點(diǎn)注意這些個(gè)細(xì)節(jié)。

　　那么當(dāng)您的網(wǎng)站不希望Baiduspider訪問時(shí)，才需要該設(shè)置，如果您希望Baiduspider訪問您的網(wǎng)站，useragent相關(guān)的設(shè)置中是否有Baiduspider UA，并及時(shí)修改。禁止所有來自百度的抓取： User-agent: Baiduspider Disallow: /

　　IP封禁往往是遇到CC攻擊的時(shí)候不知道哪些是真百度蜘蛛和仿冒百度蜘蛛而封禁了蜘蛛IP，這里我們建議通過DNS反查方式讓站點(diǎn)了解哪些是真實(shí)蜘蛛，根據(jù)平臺不同驗(yàn)證方法不同，如linux/windows/os三種平臺下的驗(yàn)證方法分別如下：

　　A、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　B、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　C、在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

更多內(nèi)容請?jiān)L問：http://zhanzhang.baidu.com/college/articleinfo?id=34

4、安全/管理不善

　　安全問題在站長平臺能觀察到的絕大多數(shù)屬于管理問題，站點(diǎn)被黑客鉆了漏洞而受到了懲罰等，且懲罰力度與站點(diǎn)漏洞的存在時(shí)間成正比。

　　A、域名泛解析

　　近幾個(gè)月域名泛解析是一個(gè)非常經(jīng)典的案例，很多網(wǎng)站由于安全意識薄弱、密碼簡單被黑客鉆了空子，解析出了大量非本站內(nèi)容的低質(zhì)頁面，導(dǎo)致百度搜索引擎對整站采取了臨時(shí)措施，使得站點(diǎn)流量掉了很多甚至清零。

　　B、網(wǎng)站被黑

　　網(wǎng)站被黑跟泛解析也有相似之處，網(wǎng)站內(nèi)有大量的垃圾頁面都是黑客創(chuàng)造出來的，導(dǎo)致受到懲罰，給站點(diǎn)帶來致命的打擊。

　　C、網(wǎng)頁被掛馬

　　其實(shí)這也是被黑的一種，但比被黑釋放垃圾頁面更為隱蔽，這類案例主要出現(xiàn)在企業(yè)網(wǎng)站或者是一些比較小的網(wǎng)站上，黑客直接在頁面上放置展現(xiàn)廣告代碼，而且會判斷來訪者是普通用戶還是蜘蛛，然后區(qū)別對待；或者是僅給某一個(gè)地區(qū)的用戶訪問掛馬頁面，給蜘蛛和其他大部分所在地展現(xiàn)正常頁面等，這些其實(shí)都是非常隱蔽的行為，沒有用戶舉報(bào)站點(diǎn)也很難發(fā)現(xiàn)，但百度搜索引擎無法容忍這樣的頁面出現(xiàn)在搜索結(jié)果里，自然這些站點(diǎn)會受到懲罰。

　　D、UGC站點(diǎn)被SPAMMER群發(fā)

　　最后說UGC站點(diǎn)，所有以用戶貢獻(xiàn)內(nèi)容的站點(diǎn)在審核機(jī)制上一定要加強(qiáng)防范，目前平臺能夠接到的不少案例都是UGC站點(diǎn)存在監(jiān)管不利，導(dǎo)致有大量的垃圾內(nèi)容在線上，當(dāng)垃圾內(nèi)容與正常內(nèi)容的比例達(dá)到一定閾值，就有可能整站被百度搜索引擎懲罰。(廈門網(wǎng)站建設(shè)文章來自百度新聞)