我國目前并未出臺專門針對網路爬蟲技術的法律規范，但在司法實踐中，相關判決已屢見不鮮，K 哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員，
案情介紹
深圳市快鴿互聯網科技有限公司 2014 年成立，早期做互聯網金融，2017 年轉型做互聯網科技公司，主營業務是“助貸”，也就為按揭貸款購房的客戶提供贖樓及債務置換貸款等服務，
公司的業務需要經常性地訪問深圳市政府居住證網站，查詢房產地址、房屋編碼和學區房的使用情況，用于做房產的市場評估和客戶風險評估，因為手動查詢效率低下，公司產品組經討論后提出了一個建議——用爬蟲技術自動查詢，
2017 年 12 月，CTO 安排新入職的程式員負責這個專案，要求他研發一個自動定時抓取的小程式，主要用來查詢、下載網上的資料，
2018 年 1 月，專案經理給程式員一個抓取資料的小程式源代碼，程式員開始修改，
2018 年 3 月，程式被部署在阿某云服務器上自動運行，其內置的“網路爬蟲”對接了深圳市公安局人口管理處的居住證系統，可以在深圳市居住證網站上查詢到房產地址、房屋編碼等對應的資料，軟體對網站訪問量能達到每小時數十萬次，查詢的資訊都被下載保存到公司購買的阿某云服務器上，
2018 年 4 月 27 日 10:43-12:00 左右，居住證系統的承建單位發現系統出現宕機現象，追蹤到請求應用服務器埠編號，但因日志缺失而無法定位 IP 來源，當時懷疑是人為攻擊，
2018 年 5 月 2 日 10:00-12:00 左右，系統再次遭遇攻擊，這次管理人員成功地截取了 IP 地址并報案，
2018 年 5 月 17 日晚上 11 點，服務器維護人員接到了阿某云客服的電話，阿某云說他們公司的服務器 IP 被網警鎖定了，因有攻擊行為，讓他們趕緊聯系網警，
2018 年 8 月，CTO、程式員被捕，
案發時，深圳市居住證服務平臺的注冊用戶超過 530 萬，服務面包括：所有市民的網上自助受理系統、151個派出所、街道辦居住證受理點的現場受理系統、后臺介面為市網格辦、市交警局、市民政局，市交委等多個政府部門提供居住證、居住登記條件查詢和審核，
居住證系統受攻擊癱瘓期間，軟體對深圳市居住證系統查詢訪問量為每秒 183 次，共計查詢資訊約 151 萬條次，抓取了大量建筑物編碼資料，造成政府資訊泄漏；所有居住證辦理、居住登記申報、資訊查詢、對外服務功能均無法正常作業，影響面極廣，市民無法辦理居住證和居住登記，相關生產生活秩序受到嚴重影響，除了此次攻擊，還有一些派出所出具證明證實 5 月期間經常出現系統無法登陸，錄入程序頻繁出現掉線、系統資料例外等情況，居住證系統無法正常使用、出現例外情況的時間長達一個多月，
供述情況
CTO 的部分供述和辯解：我司查詢并下載深圳市居住證網上的資料資訊沒有進行市場買賣，沒有跟其他公司進行資源置換，也沒有通過查詢資訊行為獲利，我不清楚這款爬蟲軟體對深圳市居住證網站及系統造成的影響、深圳市居住證網站及系統的承載能力、爬蟲軟體的具體的啟動和部署情況，但我知道從技術上來講如果超過服務器承載能力的查詢肯定會引起系統卡頓或癱瘓，所以我口頭要求注意查詢時間、控制查詢頻率，我司并無任何惡意去主觀進行攻擊，
程式員的部分供述和辯解：抓取資料的原程式是誰研發的我不知道，當時我接到這個任務時，是公司領導把源代碼給我后讓我修改的，這個程式查詢資訊的頻率我不清楚，共查詢多少條資訊我也不清楚，我沒有因查詢深圳市居住證網站的資訊而獲利，這是我的作業任務，
判決情況
法院認為，被告人楊杰明、張國棟違反國家規定，對計算機資訊系統功能進行干擾，造成為 5 萬以上用戶提供服務的計算機資訊系統不能正常運行累計 1 小時以上，后果特別嚴重，其行為已構成破壞計算機資訊系統罪，
CTO 負責并授權程式員開發涉案爬蟲軟體，系主犯，判處有期徒刑三年；程式員受指派開發爬蟲軟體，在共同犯罪中起次要作用，系從犯，判處有期徒刑一年六個月，
判決文書全文：https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=ddbe90eedd1341888ed9ac24009b67fb
反思總結
- 爬蟲程式日志記錄、監控告警的重要性：本案中，在被捕之前就有過一次目標網站宕機的情況，這時候請求成功率、資料量大小、目標網站服務器的回應情況等肯定會出現例外，正確的做法是有一定的告警策略，連續出現多少次無資料、目標網站訪問例外的時候，就應該告警通知到程式員，特別是政府網站，本案中的程式顯然沒有這些功能，導致程式員未能及時發現問題并進行處理，要知道這次對方運維人員并沒有成功定位到 IP，及時處理完全可以避免成為“爬蟲牢玩家”，給過一次機會都把握不住，警察上門才知道釀成大禍，到那時候一切都晚了，
- 爬蟲代碼的健壯性：根據本案中程式員的供述，目標網站更新了驗證碼登錄的功能，但是程式并沒有針對這種情況做處理，也沒有及時更新，導致程式出現死回圈，進而導致短時間內出現了大量請求，這就體現了代碼健壯性的重要性，在撰寫程式時就要綜合考慮到可能出現的情況，檢測到某個介面例外，無法拿到正確的資料，重試是正常的，但不能任何情況都重試，也不能一直重試出現死回圈的情況，應該有合理的規則，合理的重試次數，超過設定的次數就應該告警并停止程式的運行，一部分程式員喜歡直接暴力使用
try except陳述句直接捕獲所有例外，然后except里就直接重試，正確的做法是針對不同可能出現的例外做不同處理，取值例外應該怎么處理，連接例外應該怎么處理等等， - 避免單一真實 IP 采集：本案中的程式使用一個固定 IP 采集了約 151 萬條次的資料資訊，很顯然目標網站沒有封 IP 的策略，但這并不意味著我們程式就不用使用代理，當然使用代理，也得建立在合法合規的請求之上，部分代理商也會協助你判斷請求是否合規，完善的請求統計也能幫助你判斷是否出現例外情況，
- 爬蟲頻率控制：本案中，造成目標服務器宕機時，程式的并發是每秒 183 次，在普通的爬蟲程式中這點兒并發確實不是很大，但要注意的是，目標網站是政府網站，尤其是地方政府的專屬職能系統，這些網站在軟硬體上都不會投入太多資源，加上該網站為151個派出所、街道辦等多個部門提供服務，某個時刻可能會出現多個部門同時大量處理事務的情況，再加上你的爬蟲程式，服務器撐不住很正常，案例中程式設定了凌晨1時至2時進行采集是比較正確的做法，政府網站降低頻率、錯峰采集，一定程度上也能避免爬宕機的情況，
- 對需求的風險評估及把控不足：CTO 自述中表明意識到這么操作會破壞深圳市公安局居住證服務平臺，但是為了方便以后的查詢，就著急著去做了，沒有考慮那么多的后果，也就是在明知道可能存在風險的情況下，還未對該需求進行嚴格的監管，正因為抱有僥幸心理，為以后埋下了“定時炸彈”，正確的做法應當是做細致嚴謹的規劃，研究該需求的合理性，再考慮要不要下發實施，而程式員也沒對下發需求做可行性分析，拿著需求和基礎代碼就去做了，還未進行監控管理，這提醒我們立項時多問一句“我們這么做有沒有風險”沒壞處，特別是爬蟲工程師們要多對需求進行理性分析，隱患大的需求該拒絕就拒絕，畢竟有些事看起來是“集體”的決策最后往往并不是集體買單，如果公司因此威脅辭退你，那趕緊拿錢跑路，這種公司遲早得出問題！
- 溫馨提醒：以上案例提醒我們，在作業中碰到類似情況后，建議在事前咨詢公司法務或者專業人士，不要想當然，不要自以為是，謹記一點，公司是老板的，自由是自己的，法律是不容觸犯的！
友情提示之公司辭退員工補償標準：
《勞動合同法》第47條規定：
1、經濟補償按勞動者在本單位作業的年限每滿一年支付一個月工資的標準向勞動者支付；
2、六個月以上不滿一年的，按一年計算；
3、不滿六個月的，向勞動者支付半個月工資的經濟補償，月工資是指勞動者在勞動合同解除或者終止前十二個月的平均工資，
合同未到期，員工無過錯情形下，單位提出與員工解除勞動合同的非自行離職的情況下，可索要 N+1 月工資的補償：N 為在職年限，不足一年但超過半年，則按一年算；1 為辭退員工需要提前一個月通知，否則需要補償 1 個月工資作為代通知金，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/501687.html
標籤：其他