我國目前并未出臺專門針對網路爬蟲技術的法律規范，但在司法實踐中，相關判決已屢見不鮮，K哥特設了“K哥爬蟲普法”專欄，本欄目通過對真實案例的分析，旨在提高廣大爬蟲工程師的法律意識，知曉如何合法合規利用爬蟲技術，警鐘長鳴，做一個守法、護法、有原則的技術人員，
前情提要
《互聯網搜索引擎服務自律公約》（簡稱《自律公約》）系在工業和資訊化部的指導下，由中國互聯網協會牽頭組織十二家互聯網企業于2012年11月1日在北京舉行簽訂，參與企業包括：百度、即刻搜索、盤古搜索、奇虎 360、盛大文學、搜狗、騰訊、網易、新浪、宜搜、易查無限、中搜等，該公約第七條第一款規定：遵循國際通行的行業慣例與商業規則，遵守機器人協議（robots 協議），第八條規定：互聯網所有者設定機器人協議應遵循公平、開放和促進資訊自由流動的原則，限制搜索引擎抓取應有行業公認合理的正當理由，不利用機器人協議進行不正當競爭行為，積極營造鼓勵創新、公平公正的良性競爭環境，
案情介紹
一審受理：2013年1月28日、二審終判：2020年7月3日，為期時長八年！
上訴人：
北京百度網訊科技有限公司（簡稱百度網訊公司）
百度在線網路技術（北京）有限公司（簡稱百度在線公司）
被上訴人：
北京奇虎科技有限公司（簡稱奇虎公司，360）
百度網訊公司和百度在線公司稱，其相關網站均通過 robots 協議設定了訪問限制，其 robots 協議采取的是“白名單”制度，即只有該檔案中明確列舉的搜索引擎的網路機器人才能抓取百度旗下相關網站的內容，未列舉的其他搜索引擎均不能抓取，2012年8月16日，360 搜索引擎上線運營，但百度網訊公司和百度在線公司的相關網站的 robots 協議均未將 360 搜索引擎列入其“白名單”中，百度方面認為，360 搜索在未獲得百度公司允許的情況下，違反業內公認的 robots 協議，抓取百度旗下百度知道、百度百科、百度貼吧等網站的內容，已經構成了不正當競爭，并向奇虎索賠1億元，
百度方面稱，奇虎公司利用 360 搜索引擎等，強行抓取網民的瀏覽資料和資訊到搜索服務器，完全無視 robots 協議，這一做法目前已經導致大量企業內網資訊被泄露，2012年年底，百度工程師通過一個名為“鬼節捉鬼”的測驗，證明了 360 瀏覽器存在私自上傳“孤島頁面”等隱私內容到 360 搜索的行為，
360 方面則認為，360 搜索索引這些內容頁面并不涉嫌侵犯百度的權益，實際上還為百度帶來了大量的用戶和流量，百度應該感謝 360，
百度公司在本案中指控奇虎公司的 360 搜索存在以下不正當競爭行為：
-
無視百度公司設定的 robots 協議，擅自抓取、復制百度網站相關頁面并生成網頁快照復制件存盤于奇虎公司自身服務器中；
-
在明確得知百度公司拒絕其抓取百度網站內容后，仍然繼續抓取、復制百度網站內容并生成網頁快照復制件存盤于奇虎公司自身服務器中；
-
在網路用戶點擊 360 搜索的搜索結果頁中來自于百度網站的鏈接的標題時，直接向網路用戶提供其復制存盤在自身服務器上的“網頁快照”等，上述行為構成不正當競爭，
奇虎公司也認為百度網訊公司、百度在線公司存在不正當競爭行為，奇虎公司提交的(2013)京方圓內經證字第00364號公證書、(2013)京方圓內經證字第06932號公證書、(2013)京方圓內經證字第11476號公證書及(2015)京方圓內經證字第00228號公證書顯示，自2012年8月以來，百度網訊公司、百度在線公司一直在其相關網站的 robots 協議中排除 360 搜索引擎，百度網訊公司、百度在線公司對上述事實予以認可，但認為 robots 協議是國際通行的行業慣例和商業道德，允許和/或限制全部和/或特定搜索引擎抓取是 robots 協議的應有之義，百度 robots 協議的“白名單”制度僅允許特定的幾家搜索引擎抓取，對除此之外的所有其他搜索引擎均不允許抓取，不存在不正當競爭行為，
奇虎公司提交的(2013)京方圓內經證字第05960號公證書顯示，使用 360 搜索引擎搜索到百度的相關網站后，在點擊訪問時，會出現訪問被阻斷并跳轉到百度搜索引擎網站的現象，奇虎公司認為百度采取的相關技術措施會導致網路用戶在使用 360 搜索引擎時的用戶體驗度下降，百度網訊公司、百度在線公司對上述事實予以認可，但認為這是針對奇虎公司不遵守百度 robots 協議而采取的自力救濟措施，
法院觀點
百度網訊公司、百度在線公司通過設定 robots 協議的方式限制 360 搜索引擎對其相關網頁的抓取與 robots 協議的初衷背道而馳，robots 協議的初衷是為了指引搜索引擎的網路機器人更有效的抓取對網路用戶有用的資訊，從而更好的促進資訊共享，而百度網訊公司、百度在線公司的行為會造成網路用戶通過 360 搜索引擎無法得到完整的搜索結果，人為設定了資訊流動的障礙，需要強調的是，360 搜索引擎屬于通用搜索引擎，而通用搜索引擎的網路機器人進入一個對公眾開放的網站抓取資訊通常并不會損害網站的利益，反而有利于其宣傳推廣，事實上，目前絕大多數網站對通用搜索引擎持開放、歡迎的態度，因為如果被搜索到，就意味著更多的網頁瀏覽量以及由此而帶來的潛在用戶，也正是由于這個原因，絕大多數網站非但不會使用 robots 協議禁止通用搜索引擎抓取，反而希望能夠更快的被搜索出來并展示在搜索結果中較為前列的位置，這也促成了搜索引擎競價排名等商業模式的產生，而百度網訊公司、百度在線公司卻在允許國內外主流搜索引擎抓取其網頁內容的情況下，限制 360 搜索引擎抓取，其行為顯然有悖于robots協議的初衷，
就我國目前互聯網搜索行業的發展現狀來看，百度搜索引擎在市場份額上占據絕對優勢，而 360 搜索所占的市場份額較小，在這種情況下，百度網訊公司、百度在線公司通過設定 robots 協議的方式限制 360 搜索引擎對其相關網站內容的抓取，會導致網路用戶在使用 360 搜索引擎時無法及時獲取所需資訊，轉而使用百度搜索引擎，這不僅會降低 360 搜索的用戶滿意度，損害奇虎公司的合法權益，也會在客觀上增強百度搜索引擎的市場優勢地位，不難想象，如果國內各主要網站都針對某一特定的搜索引擎以設定 robots 協議的方式限制其抓取，這一搜索引擎必然無法在市場上立足，事實上，包括互聯網工程任務組在內的一些重要的國際組織拒絕采納 robots 協議作為行業標準的原因就是考慮到少數行業巨頭可能會利用 robots 協議本身的漏洞而將其作為壟斷的工具，因此，百度網訊公司、百度在線公司以設定 robots 協議的方式限制 360 搜索引擎抓取的動機難謂正當，
百度網訊公司、百度在線公司還主張其設定 robots 協議是針對奇虎公司的侵權行為而采取的自力救濟措施，對此，如果網站所有者認為搜索引擎的抓取侵犯了其某項具體的民事權利，應當通過相應的法律途徑尋求救濟，而不應以限制互聯網資訊流動的方式進行所謂的自力救濟，故百度網訊公司、百度在線公司的主張不能成立，
法院認為：百度在線公司、百度網訊公司在缺乏合理、正當理由的情況下，以對網路搜索引擎經營主體區別對待的方式，限制奇虎公司的 360 搜索引擎抓取其相關網站網頁內容，影響該通用搜索引擎的正常運行，損害了奇虎公司的合法權益和相關消費者的利益，妨礙了正常的互聯網競爭秩序，違反公平競爭原則，且違反誠實信用原則和公認的商業道德而具有不正當性，不制止不足以維護公平競爭的秩序，故構成反不正當競爭法第二條規定所指的不正當競爭行為，
根據第2668號判決：奇虎公司的搜索引擎直接將百度公司相關網頁的鏈接更換為該網頁的網頁快照鏈接的行為明顯已經超出了使用網頁快照的合理范圍，故對于百度公司關于奇虎公司將百度公司網站的搜索結果直接以網頁快照的方式向網路用戶提供的行為不當的主張予以支持，奇虎公司賠償百度公司經濟損失五十萬元、合理開支二十萬元，
判決情況
-
百度網訊公司、百度在線公司立即停止涉案不正當競爭行為；
-
百度網訊公司、百度在線公司于判決生效之日起十日內連帶賠償奇虎公司經濟損失二十萬元；
-
百度網訊公司、百度在線公司于判決生效之日起三十日內在三家網站（www.360.cn,www.sina.com,www.sohu.com）首頁的顯著位置連續十日刊登宣告，就其涉案不正當競爭行為為奇虎公司消除影響；
-
二審案件受理費四千三百元，由百度網訊公司、百度在線公司負擔；
-
駁回奇虎公司的其他訴訟請求，
判決文書
https://wenshu.court.gov.cn/website/wenshu/181107ANFZ0BXSK4/index.html?docId=2hBPLhgZtbwA23kIOPykUj0dG01aCOIIPkk1AZnSayoXsuzZo9x8i5/dgBYosE2gc2cTGVpSTHaQan7hFsr1Zwgx9Ozn/Ie9t4Hw4I001PFz+vTgpLDCjyH0Qfy2ffn6
案例分析
robots 協議也稱爬蟲協議、爬蟲規則等，是指網站可建立一個 robots.txt 檔案來告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，而搜索引擎則通過讀取 robots.txt 檔案來識別這個頁面是否允許被抓取，但是，這個 robots 協議不是防火墻，也沒有強制執行力，搜索引擎完全可以忽視 robots.txt 檔案去抓取網頁的快照， 如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設定合并到根目錄下的 robots.txt，或者使用 robots 元資料（Metadata，又稱元資料），
robots 協議并不是一個規范，而只是約定俗成的，所以并不能保證網站的隱私，例如商品上掛個“非賣品易碎勿碰”，是告訴顧客不要碰這件商品，但無法阻止顧客拿起來看的行為，未損壞也并不違法，故俗稱 “君子協議”，并不具備法律效應，robots 協議的初衷并不是限制搜索引擎的網路機器人抓取資訊、阻礙互聯網資訊流動，而是通過善意的指引使搜索引擎的網路機器人能夠更有效的抓取對網路用戶有用的資訊，從而更好的促進資訊共享，
結合本案，根據反不正當競爭法第二條第一款、第二款規定：“經營者在市場交易中，應當遵循自愿、平等、公平、誠實信用的原則，遵守公認的商業道德，本法所稱的不正當競爭，是指經營者違反本法規定，損害其他經營者的合法權益，擾亂社會經濟秩序的行為，”在網路不正當競爭糾紛中，百度網訊公司、百度在線公司通過資訊網路實施反不正當競爭法未作出特別規定的競爭行為，足以損害奇虎公司合法權益、擾亂正常的市場經營秩序，違背公平競爭原則，且違反誠實信用原則和公認的商業道德的，可以認定為反不正當競爭法第二條規定的不正當競爭行為，
robots 協議有效性的認定，在適用范圍上可以大致分為兩類：一類是如本案在搜索引擎范圍的適用，當 robots 協議適用搜索引擎領域時，應遵守《互聯網搜索引擎服務自律公約》規定的開放、平等、寫作、分享的互聯網精神，設定限制時應具有行業公認合理正當的理由，否則 robots 協議并不當然有效；另一類為在非搜索引擎范圍的適用，此時《互聯網搜索引擎服務自律公約》則不宜再適用于整個互聯網行業，對于常規爬蟲行為，在法律上并未規定為違法行為或禁止使用的行為，
如今，在中國國內互聯網行業，正規的大型企業也都將 robots 協議當做一項行業標準，國內使用 robots 協議最典型的案例，就是淘寶網拒絕百度搜索（2008年9月8日）、京東商城拒絕一淘網搜索（2011年10月25日），相關司法案例也屢見不鮮：百度訴 360 案、騰訊訴位元組跳動案、大眾點評訴百度案等等，不過，絕大多數中小網站都需要依靠搜索引擎來增加流量，因此通常并不排斥搜索引擎，也很少使用 robots 協議，
爬蟲工程師們也需要注意的一點是，基于現行的慣例，未被 robots 協議排除的資料屬于互聯網上的公開資料，任何人都有權訪問和收集，因而，遵循 robots 協議的前提下公開爬取資料原則上既不會侵犯資訊提供者的權利，也不會構成不正當競爭，反之，如果違反 robots 協議，強行爬取他人的資料，則可能被認定為違反誠實信用和商業道德，構成不正當競爭，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/544408.html
標籤：Python
下一篇：01Python變數的使用