Python爬蟲 JS 案例講解：爬取漫畫-有解無憂

本文的文字及圖片來源于網路,僅供學習、交流使用,不具有任何商業用途,著作權歸原作者所有,如有問題請及時聯系我們以作處理，

以下文章來源于Python爬蟲案例，作者麥自香

轉載地址

https://blog.csdn.net/fei347795790?t=1

由于今天涉及的內容頗多，還請各位看官搬上小板凳，帶上香瓜子，慢慢細品，話不多說，第一步還是上鏈接，作為我們的目標網站，首先把鏈接貼出來，如下：

https://ac.qq.com/

由于最終的目的是為了爬取漫畫的內容頁，所以開門見山直接找一個漫畫進行頁面分析，（該文章主要用于爬取免費的漫畫，收費請看代碼注釋），我們以《尸兄》第一話為例：

https://ac.qq.com/ComicView/index/id/17114/cid/3

按F12進行元素審查，通過往下滑動可以看到圖片不斷的加載出來，所以內容可能是動態加載出來的，

頁面動態加載內容的話，此時讓我們切換到XHR標簽，如圖：

通過分析過后，我們發現這兩個介面，除了回傳的有彈幕外，其他的什么資料都沒有回傳，所以資料并不是通過此處回傳的，

沒辦法，看來不是從這請求的資料，接下來讓我們找一個圖片的名稱進行全域搜索，看看哪些檔案夾里面包含了這些名稱，以便確定資料到底存放在了哪里，

通過進行的全域搜索，我們發現除了只能搜到這個圖片，也沒發現其他的檔案內有存盤該圖片的位置，說明這個方法也是行不通的，圖片的地址既沒有動態加載，也沒有在其他的源代碼中，那么只能說明地址是被加密放到了某一個地方，除去圖片，js，css這些，剩下有可能的就只有主頁了，所以直接看主頁的源代碼，并且主要關注script標簽下的內容，整個主頁的源代碼中，有可能存放加密資料的就只有倒數后面的一個script標簽，

從頁面的內容來看，DATA變數很有可能就是加密的資料，此時需要查找如何解密這段資料，繼續在全域中搜索DATA，并且區分大小寫，

由此可以看到除了自身以外，就剩下一個js檔案內有出現過DATA變數，那么進入到這個js檔案里面繼續搜索DATA，并且同樣需要區分大小寫，

搜索后發現“那個村的王富貴”還是蠻多的，瀏覽一遍發現，除了第一個以外，其他都是取DATA變數的值，說明關鍵在第一個DATA變數，因為還沒有解密又怎么取值呢，直接在第一次出現DATA變數的那一行打上斷點，然后重繪，

如上圖，可以看到所有的圖片地址都在_v變數的下面，繼續在全域中搜索_v變數，也是要區分大小寫，

搜索到13個內容，簡單的過了一遍，發現除了取值，函式變數以及一些其他的字串包含這個，剩下的一個在第一個DATA變數上面的立即執行函式里面，

 1eval(function(p, a, c, k, e, r) {
 2            e = function(c) {
 3                return (c < a ? "" : e(parseInt(c / a))) + ((c = c % a) > 35 ? String.fromCharCode(c + 29) : c.toString(36))
 4            }
 5            ;
 6            if (!"".replace(/^/, String)) {
 7                while (c--)
 8                    r[e(c)] = k[c] || e(c);
 9                k = [function(e) {
10                    return r[e]
11                }
12                ];
13                e = function() {
14                    return "\\w+"
15                }
16                ;
17                c = 1
18            }
19            while (c--)
20                if (k[c])
21                    p = p.replace(new RegExp("\\b" + e(c) + "\\b","g"), k[c]);
22            return p
23        }("p y(){i=\"J+/=\";O.D=p(c){s a=\"\",b,d,h,f,g,e=0;C(c=c.z(/[^A-G-H-9\\+\\/\\=]/g,\"\");e<c.k;)b=i.l(c.m(e++)),d=i.l(c.m(e++)),f=i.l(c.m(e++)),g=i.l(c.m(e++)),b=b<<2|d>>4,d=(d&15)<<4|f>>2,h=(f&3)<<6|g,a+=7.5(b),w!=f&&(a+=7.5(d)),w!=g&&(a+=7.5(h));v a=u(a)};u=p(c){C(s a=\"\",b=0,d=17=8=0;b<c.k;)d=c.o(b),Q>d?(a+=7.5(d),b++):R<d&&S>d?(8=c.o(b+1),a+=7.5((d&F)<<6|8&r),b+=2):(8=c.o(b+1),x=c.o(b+2),a+=7.5((d&15)<<12|(8&r)<<6|x&r),b+=3);v a}}s B=I y(),T=W['K'+'L'].M(''),N=W['n'+'P'+'e'],j,t,q;N=N.U(/\\d+[a-V-Z]+/g);j=N.k;X(j--){t=Y(N[j])&10;q=N[j].z(/\\d+/g,'');T.11(t,q.k)}T=T.13('');14=16.E(B.D(T));", 62, 70, "|||||fromCharCode||String|c2||||||||||_keyStr|len|length|indexOf|charAt||charCodeAt|function|str|63|var|locate|_utf8_decode|return|64|c3|Base|replace|||for|decode|parse|31|Za|z0|new|ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789|DA|TA|split||this|onc|128|191|224||match|zA||while|parseInt||255|splice||join|_v||JSON|c1".split("|"), 0, {}))

接著先將這一段立即執行函式解密一下，使用的是 ~解密網址~ ，可以得到下面的js代碼，

 1#解密網址
 2#https://wangye.org/tools/scripts/eval/
 3function Base() {
 4    _keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/=";
 5    this.decode = function(c) {
 6        var a = "",
 7        b, d, h, f, g, e = 0;
 8        for (c = c.replace(/[^A-Za-z0-9\+\/\=]/g, ""); e < c.length;) b = _keyStr.indexOf(c.charAt(e++)),
 9        d = _keyStr.indexOf(c.charAt(e++)),
10        f = _keyStr.indexOf(c.charAt(e++)),
11        g = _keyStr.indexOf(c.charAt(e++)),
12        b = b << 2 | d >> 4,
13        d = (d & 15) << 4 | f >> 2,
14        h = (f & 3) << 6 | g,
15        a += String.fromCharCode(b),
16        64 != f && (a += String.fromCharCode(d)),
17        64 != g && (a += String.fromCharCode(h));
18        return a = _utf8_decode(a)
19    };
20    _utf8_decode = function(c) {
21        for (var a = "",
22        b = 0,
23        d = c1 = c2 = 0; b < c.length;) d = c.charCodeAt(b),
24        128 > d ? (a += String.fromCharCode(d), b++) : 191 < d && 224 > d ? (c2 = c.charCodeAt(b + 1), a += String.fromCharCode((d & 31) << 6 | c2 & 63), b += 2) : (c2 = c.charCodeAt(b + 1), c3 = c.charCodeAt(b + 2), a += String.fromCharCode((d & 15) << 12 | (c2 & 63) << 6 | c3 & 63), b += 3);
25        return a
26    }
27}
28var B = new Base(),
29T = W['DA' + 'TA'].split(''),
30N = W['n' + 'onc' + 'e'],
31len,
32locate,
33str;
34N = N.match(/\d+[a-zA-Z]+/g);
35len = N.length;
36while (len--) {
37    locate = parseInt(N[len]) & 255;
38    str = N[len].replace(/\d+/g, '');
39    T.splice(locate, str.length)
40}
41T = T.join('');
42_v = JSON.parse(B.decode(T));

由此可以看出第40行就是解密后的_v變數，第27行就是我們前面的DATA加密資料，那么可以肯定這段就是關鍵的解密函式，分析一下這段代碼，

_v是呼叫了B的decode方法，傳入的引數是T，然后T又是從前面T引數和N引數計算出來的，那么我們在console界面分別輸入W['DA' + 'TA']，W['n' + 'onc' + 'e']，其中W['DA' + 'TA']就是前面的DATA加密資料，W['n' + 'onc' + 'e']可以在主頁源代碼中找到，

先初步嘗試獲取這兩個資料

 1def getdata():
 2    import requests
 3    import re
 4    url = 'https://ac.qq.com/ComicView/index/id/17114/cid/3'
 5    response = requests.get(url).text
 6    data = https://www.cnblogs.com/hhh188764/archive/2020/09/24/re.findall("(?<=var DATA        = 'https://www.cnblogs.com/hhh188764/archive/2020/09/24/).*?(?=')", response)[0]
 7    nonce = re.findall('window\[".+?(?<=;)', response)[0]
 8    nonce = '='.join(nonce.split('=')[1:])[:-1]
 9    print(data)
10    print(nonce)

但是nonce還是一段js代碼，而不是字串，在這我們使用execjs模塊來計算，首先安裝模塊：

 1#未安裝該模塊請先安裝
 2#pip install PyExecJS
 3
 4def getdata():
 5    import requests
 6    import re
 7    import execjs
 8    url = 'https://ac.qq.com/ComicView/index/id/531490/cid/1'
 9    response = requests.get(url).text
10    data = https://www.cnblogs.com/hhh188764/archive/2020/09/24/re.findall("(?<=var DATA        = 'https://www.cnblogs.com/hhh188764/archive/2020/09/24/).*?(?=')", response)[0]
11    nonce = re.findall('window\[".+?(?<=;)', response)[0]
12    nonce = '='.join(nonce.split('=')[1:])[:-1]
13    nonce = execjs.eval(nonce)
14    print(data)
15    print(nonce)

此時成功獲取兩個引數，然后根據js代碼，那么在這里我們只需要把上面的js函式轉寫為python代碼就可以成功的完成取參了，此時解密后的地址都是_v變數里面了，

 1import requests
 2import re
 3import execjs
 4import json
 5
 6def getdata():
 7
 8    url = 'https://ac.qq.com/ComicView/index/id/17114/cid/3'
 9    while True:
10        try:
11            response = requests.get(url).text
12            data = https://www.cnblogs.com/hhh188764/archive/2020/09/24/re.findall("(?<=var DATA        = 'https://www.cnblogs.com/hhh188764/archive/2020/09/24/).*?(?=')", response)[0]
13            nonce = re.findall('window\[".+?(?<=;)', response)[0]
14            nonce = '='.join(nonce.split('=')[1:])[:-1]
15            nonce = execjs.eval(nonce)
16            break
17        except:
18            pass
19    T = list(data)
20    N = re.findall('\d+[a-zA-Z]+', nonce)
21    jlen = len(N)
22    while jlen:
23        jlen -= 1
24        jlocate = int(re.findall('\d+', N[jlen])[0]) & 255
25        jstr = re.sub('\d+', '', N[jlen])
26        del T[jlocate:jlocate + len(jstr)]
27    T = ''.join(T)
28    keyStr = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/="
29    a = []
30    e = 0
31    while e < len(T):
32        b = keyStr.index(T[e])
33        e += 1
34        d = keyStr.index(T[e])
35        e += 1
36        f = keyStr.index(T[e])
37        e += 1
38        g = keyStr.index(T[e])
39        e += 1
40        b = b << 2 | d >> 4
41        d = (d & 15) << 4 | f >> 2
42        h = (f & 3) << 6 | g
43        a.append(b)
44        if 64 != f:
45            a.append(d)
46        if 64 != g:
47            a.append(h)
48    _v = json.loads(bytes(a))
49    print(_v)

解密步驟如下：

轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/121071.html

標籤：其他

上一篇：c語言動態鏈表

下一篇：小白求救，請問各位大佬這個哪錯了