初衷：踏入互聯網的門檻，時日并不長，一步步慢慢爬過來，因此，想把自己的歷程做個記錄，時不時，回頭看看自己的一步一個腳印，

下面正題開始：

一.為什么要學習爬蟲？

因為需要些資料做個專案，當然，用keggle是個不錯的選，但是，看到別人可以把網上的資料爬取下來，做個分析，覺得很酷，既然自己也想要這么酷酷的，那么，何不試試看呢？

二.爬蟲前準備

去年就看過爬蟲的教程，我發現，那種把所有爬蟲需要的理論全部講完，然后再去爬取資料的課程，不適合我，我需要的是，有一個目的，然后根據這個目的，去找能讓我達成這個目的的東西，然后一路邊學習，邊成就，去往目的地，恰好，幸運的我在b站找到這樣一個教程，學習開始，

三.爬蟲開始

首先，理清思路，我們需要一個程式，一段代碼，可以爬取資料，然后把爬取的資料保存成我們想要的樣子，
第一步：主程式

#主程式
if __name__ =="__main__":       #當程式執行時
    #呼叫函式
    main()
    print("爬取完畢！")

main是什么我們不知道，因此，定義一個main函式，里邊要包括怎么去獲取網頁，怎么去存盤獲得的資料，getData和saveData是什么不知道，需要定義，

ef main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取網頁
    datalist =getData(baseurl)
    savepath="豆瓣電影Top250.xls"
    # 3.保存資料
    saveDate(datalist,savepath)

第二步：填滿程式

1.解決getData

#影片詳情鏈接的規則
findLink=re.compile(r'<a href="(.*?)">')
#影片圖片的鏈接
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S)  #re.S 忽略換行符
#影片的片名
findTitle=re.compile(r'<span class="title">(.*)</span>')
#影片的評分
findRating=re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#評價人數
findJudge=re.compile(r'<span>(\d*)人評價</span>')
#找到概況
findInq=re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相關內容
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)

#爬取網頁
def getData(baseurl):
    datalist=[]
    for i in range(0,10):  # 呼叫或許頁面資訊的函式10次
        url = baseurl + str(i * 25)
        html = askURL(url)  # 保存獲取到的網頁原始碼
    # 2.逐一決議資料
        #soup=BeautifulSoup(html,"html.parser")
        soup = BeautifulSoup(html, 'lxml')
        for item in soup.find_all('div',class_="item"):   #查找符合要求的字串，形成串列
           # print(item) #測驗查看電影item全部資訊
            data=[]       #保存一部電影的所有資訊
            item=str(item)
             #影片詳情的鏈接
            link=re.findall(findLink,item)[0]   #通過正則運算式來尋找合適的字串
            data.append(link)        #添加鏈接

            imgSrc =re.findall(findImgSrc,item)[0]
            data.append(imgSrc)

            titles= re.findall(findTitle,item)
            if(len(titles)==2):
                ctitle=titles[0]
                data.append(ctitle)
                otitle=titles[1].replace("/","")  #去掉無關的符號
                data.append(otitle)   #添加外國名
            else:
                data.append(titles[0])
                data.append('')        #外國名留空這一列

            rating=re.findall(findRating,item)[0]
            data.append(rating)         #添加評分

            judgeNum =re.findall(findJudge,item)[0]
            data.append(judgeNum)       #添加評價人數

            inq=re.findall(findInq,item)
            if len(inq) !=0:
                inq=inq[0].replace("，","" )    #去掉句號
                data.append(inq)
            else:
                data.append("")         #留空

            bd=re.findall(findBd,item)[0]
            bd=re.sub('<br(\s+)?/>(\s+)?'," ",bd)   #去掉<br/>
            bd=re.sub('/', " ", bd)    #替換/
            data.append(bd.strip())    #去掉前后的空格
            datalist.append(data)      #將處理好的一部電影資訊放入datalist

    return datalist

#得到制定一個URL的網頁內容
def askURL(url):
    head={        #模擬瀏覽器頭部資訊，向豆瓣服務器發送訊息
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36"
         }
            #用戶代理：表示告訴豆瓣瀏覽器，我們是什么型別的機器，瀏覽器（本質上是告訴瀏覽器，我們可以接收什么水平的資料型別）


    request = urllib.request.Request(url,headers=head)
    html=""
    try:
        response=urllib.request.urlopen(request)
        html=response.read().decode("utf-8")
        #print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

2.解決savedata

#保存資料
def saveDate(data,savepath):
    #baseurl = "https://movie.douban.com/top250?start="
    # 1.爬取網頁
    datalist = data
    print("save....")
    book=xlwt.Workbook(encoding="utf-8",style_compression=0)   #創建workbook物件
    sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)    #創建作業表
    col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國名","評分","評價樹","概況","相關資訊")
    for i in range(0, 8):
         sheet.write(0,i,col[i])
    for i in range(0, 250):
        print("第%d條"%(i+1))
        data= datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])
    book.save(savepath)  #保存資料表

最后，這個是所有的程式了，運行完這些代碼后，就可以獲得豆瓣的前250個電影及影評了，
但是，這個只是跟著老師做了一遍，下次，若自己想要爬取別的網頁，該當如何，所以，這里邊的一些別的函式，不懂的應該要搞清楚，