如何防止網(wǎng)站被采集采集就是使用程序通過(guò)自動(dòng)化操作復(fù)制數(shù)據(jù)。忻府網(wǎng)站建設(shè)公司。
首先說(shuō)明,只要是能讓瀏覽器訪問(wèn)的,就沒(méi)有不能采集的。忻府網(wǎng)站建設(shè)公司。
但是可以通過(guò)一定的手段讓采集變得非常麻煩,進(jìn)而在大量數(shù)據(jù)的情況下延遲采集完成時(shí)間,加大采集難度。忻府網(wǎng)站建設(shè)公司。
一般的情況略過(guò)不說(shuō),幾種情況比較特別的:忻府網(wǎng)站建設(shè)公司。
1、驗(yàn)證來(lái)路,cookie,session這些,比如PHP可以用fsockopen自定義HTTP Header,基本上這些方法沒(méi)什么效果。忻府網(wǎng)站建設(shè)公司。
2、限速,限制某段時(shí)間內(nèi)打開(kāi)頁(yè)面數(shù)量。這個(gè)只是推遲了下,大部分時(shí)間效果一般。比如某站限制一分鐘之內(nèi)只能打忻府網(wǎng)站建設(shè)公司。
開(kāi)30個(gè)網(wǎng)頁(yè),頁(yè)面大小平均30K,則用迅雷批量下載就OK了,設(shè)置限速為2K,一覺(jué)醒來(lái)什么都好了。這個(gè)方法效果也基忻府網(wǎng)站建設(shè)公司。
本沒(méi)有。忻府網(wǎng)站建設(shè)公司。
3、比較特別的方法,設(shè)置一個(gè)數(shù)量級(jí)的閥值,達(dá)到這樣數(shù)量后,必須驗(yàn)證方能繼續(xù),比如打開(kāi)10個(gè)頁(yè)面需要輸入驗(yàn)證忻府網(wǎng)站建設(shè)公司。
碼,這個(gè)時(shí)候只需要保證驗(yàn)證碼不可識(shí)別,分配一個(gè)session,以后的瀏覽過(guò)程中用session保證用戶(hù)合法性,這樣不影忻府網(wǎng)站建設(shè)公司。
響后續(xù)訪問(wèn),同時(shí)可以有效防止采集。忻府網(wǎng)站建設(shè)公司。
4、第三條對(duì)蜘蛛是致命的,此時(shí)可通過(guò)手機(jī)蜘蛛IP段,放行,其它的按照嚴(yán)格規(guī)則來(lái)。忻府網(wǎng)站建設(shè)公司。
5、3+4真是無(wú)敵的嗎?遠(yuǎn)非可以高枕無(wú)憂(yōu),比如此站有10萬(wàn)個(gè)頁(yè)面,則設(shè)置100個(gè)代理,在閥值前循環(huán)使用代理,這樣實(shí)忻府網(wǎng)站建設(shè)公司。
際上繞過(guò)了3的限制。忻府網(wǎng)站建設(shè)公司。
6、還有別的辦法嗎?不能,因?yàn)槟愕木W(wǎng)站能用瀏覽器打開(kāi)。忻府網(wǎng)站建設(shè)公司。
7、另外的方案,開(kāi)發(fā)專(zhuān)有瀏覽器,專(zhuān)有數(shù)據(jù)加密。忻府網(wǎng)站建設(shè)公司。
8、社會(huì)工程學(xué)來(lái)說(shuō),進(jìn)行知識(shí)產(chǎn)權(quán)保護(hù),讓采集的風(fēng)險(xiǎn)遠(yuǎn)大于成本,前提是你的數(shù)據(jù)值得你付出這么多來(lái)折騰。忻府網(wǎng)站建設(shè)公司。
從另外的角度來(lái)說(shuō),數(shù)據(jù)并非最重要的,就像錢(qián)不如人重要?;叵氚俣嗄昵?,你家大清帝國(guó)裝備一流,也還是敗的一塌忻府網(wǎng)站建設(shè)公司。
糊涂。忻府網(wǎng)站建設(shè)公司。
忻府網(wǎng)站建設(shè)哪家好?忻州忻府網(wǎng)站建設(shè)公司找“奈薇建站網(wǎng)”
奈薇建站網(wǎng):透析忻州忻府地區(qū)客戶(hù)需求,讓您體驗(yàn)忻府網(wǎng)站建設(shè)公司哪家好! 8年的品牌積淀、良好的用戶(hù)口碑、強(qiáng)悍的產(chǎn)品功能,恭迎忻州忻府區(qū)貴賓品鑒。