小度太弱了，干脆自己開發個對話機器人【爬蟲，資料庫，面向物件，人工智能】

背景

當我慢慢的開在高速公路上，寬敞的馬路非常的擁擠！這時候我喜歡讓百度導航的小度給我講笑話，但她有點弱，每次只能講一個，

百度號稱要發力人工智能，成為國內人工智能的領軍企業，但從小度的智商和理解能力上，我對此非常懷疑，

所以我們干脆用Python來開發一個可以講笑話的機器人，可以自由定制功能，想講幾個笑話就講幾個笑話，

用到的技術

本文用到以下技術：

• 爬蟲 - 抓取笑話
• 資料庫 - 用sqlite保存笑話
• 面向物件 - 封裝joke物件
• 模塊 - 代碼分模塊放在多個檔案中
• 語音識別 - 識別用戶輸入的語音，把笑話轉換成語音
• GUI - 開發簡單的用戶界面
• 打包 - 把程式打包成可執行檔案

主要流程

代碼模塊

為了代碼結構清晰，方便維護，我們把代碼放到了多個py檔案中，每個檔案各司其職，

本程式共包括一下幾個代碼模塊：

• joke.py - 笑話物件，被多個模塊共用
• joke_crawler.py - 笑話爬蟲
• joke_db.py - 處理資料庫相關，保存笑話，查詢笑話等
• joke_ui.py - 用戶界面模塊
• joke_audio.py - 處理和語音相關的任務 和2個非代碼結構：
• joke_audio - 存放語音檔案的檔案夾
• jokeDB.db - sqlite3資料庫檔案

現在開始寫代碼，請先創建一個檔案夾，建議取名為myjoke，后面所有的代碼都在這個檔案夾中，

Joke物件

我們使用面向物件的編程思想，創建一個叫做Joke的類，來表示一個笑話，

用了Joke類，代碼更清晰，資料傳輸也更方便，Joke類會被所有其他的模塊用到，

創建一個名為joke.py的檔案

代碼如下：

class Joke:
    '''
    表示一個笑話，
    其中title是笑話標題，detail是笑話內容
    url是笑話的采集網址，通過url判定笑話是否重復，防止保存重復笑話
    id是資料庫生成的唯一識別符號，剛剛采集下來的笑話是沒有id的，所以id可以為空
    '''
    def __init__(self, title, detail, url, id=None):
        self.title = title
        self.detail = detail
        self.url = url
        self.id = id

    def __str__(self):
        '''
        有了這個方法，print(joke)會把笑話列印成下面格式的字串，否則只會列印物件的記憶體地址
        '''
        return f'{id}-{title}\n{detail}\n{url}'

這個類中只有兩個魔術方法，一個是建構式__init__，一個是__str__，

爬蟲抓取笑話

分析網頁結構

我們要抓取的網址是這個：http://xiaohua.zol.com.cn/detail1/1.html 我們要抓的資料點有三個：

在谷歌瀏覽器中，右鍵點擊檢查，就可以在下面看到網頁的代碼結構：

• 1.用滑鼠點擊1的按鈕
• 2.然后把滑鼠移到2的地方
• 3.就可以看到成功這兩個字在網頁中的結構，

通過分析這個結構，我們可以得出：成功這兩個字是在一個h1結構內，這個h1的class是article-title，因為可以使用這個特征提取其中的內容（示例代碼）：

title = html.select_one('h1.article-title').getText()

用同樣的方法可以分析出笑話內容和下一頁URL的特征，

分析網頁結構需要基本的HTML和CSS的知識，如果完全不懂，可以先直接模仿我的代碼，然后再慢慢理解相關知識，

代碼實作

現在來看完整的代碼，

新建一個名為joke_crawler.py的檔案，

import requests
import bs4
import time
import random
#先注釋掉資料庫相關的代碼，后面需要反注釋回來
#import joke_db 
from joke import Joke

#起始URL
url = 'http://xiaohua.zol.com.cn/detail1/1.html'  

#網站的域名地址，用來拼接完整地址
host = 'http://xiaohua.zol.com.cn'

def craw_joke(url):
    '''
    抓取指定的URL，回傳一個Joke物件，和下一個要抓取的URL
    如果抓取失敗，回傳None, None
    必須設定User-Agent header，否則容易被封
    '''
    print(f'正在抓取：{url}')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
    }
    html = requests.get(url, headers=headers).text
    soup = bs4.BeautifulSoup(html, 'lxml')
    try:
        #分別使用css選擇器提取title, detail和next_url
        title = soup.select_one('h1.article-title').getText()
        detail = soup.select_one('div.article-text').getText().strip()
        next_url = soup.select_one('span.next > a')['href']
        return Joke(title, detail, url), next_url
    except Exception as e:
        print('出錯了：', e)
        print(html)
        return None, None 

# 抓取笑話，以學習為目的，建議不要抓取太多，本例子只抓取了10個
count = 0
for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉資料庫相關的代碼，后面需要反注釋回來
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一會兒再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

代碼中已經添加了一些注釋，有基礎的應該可以看懂，

有兩個點要注意：

1.在craw_joke函式中，必須添加User-Agent的header，否則會很快被封鎖，

2.代碼中注釋掉了和資料庫相關的代碼，現在只是把笑話列印出來，寫好了資料庫模塊，要把相關代碼反注釋回來，

3.抓取的中間有隨機1到5秒的停頓，一個防止被封鎖，二是出于文明禮貌，不要給服務器帶來太大壓力，

保存到sqlite資料庫

抓來的笑話可以保存到檔案中，但是用檔案存盤不方便檢索，也不方便判斷笑話是否重復等，

所以更好的方法是把笑話保存到資料庫，這里選擇sqlite做資料庫，原因如下：

1.sqlite是檔案資料庫，不需要安裝額外的資料庫服務器

2.python默認支持sqlite資料庫，不需要任何額外的安裝和配置

但如果你想把世界上所有的笑話都抓下來，資料量很大，那建議使用更正式的資料庫，比如MySQL.

新建一個名為joke_db.py的檔案

代碼如下：

import sqlite3
from joke import Joke 

def setup():
    '''
    創建資料庫和創建表，如果已經存在了不會重復創建
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        con.execute('''CREATE TABLE IF NOT EXISTS jokes
                    (id INTEGER PRIMARY KEY,
                    title varchar(256) NOT NULL,
                    detail varchar(1024) NOT NULL,
                    url varchar(1024) NOT NULL)''')

def save(joke):
    '''
    把笑話保存到資料庫
    根據url判斷是否已經有這個笑話了，如果有了就不再保存
    '''
    con = sqlite3.connect('jokeDB.db')
    with con:
        cur = con.cursor()
        cur.execute(
            'SELECT * FROM jokes WHERE (url = ?)', [(joke.url)])
        has_joke = cur.fetchone()
        if has_joke:
            print('重復了，不再插入')
        else:
            con.execute('INSERT INTO jokes(title, detail, url) VALUES (?,?,?)', (joke.title, joke.detail, joke.url))
            print('笑話保存成功')

def get_jokes():
    '''
    回傳所有的笑話串列
    '''
    print('loading jokes...')
    con = sqlite3.connect('jokeDB.db')
    jokes = []
    with con:
        for row in con.execute('SELECT * FROM jokes'):
            joke = Joke(row[1], row[2], row[3], row[0])
            jokes.append(joke)
    return jokes

# 呼叫最上面的代碼
setup()

# 測驗代碼，本模塊被別的模塊引入的時候，不會執行下面的代碼
if __name__ == '__main__':
    save(Joke('笑話Test', '笑話內容test', 'https://www.joke.com/1.html'))
    save(Joke('笑話Test2', '笑話內容test', 'https://www.joke.com/2.html'))
    print('========列印一下所有的笑話======')
    for joke in get_jokes():
        print(joke)
        print()

代碼已經添加了比較多的注釋，請先看代碼，這里額外的補充：

1.要使用sqlite，需要引入sqlite3模塊

2.使用sqlite要先用connect()方法獲得鏈接，然后呼叫execute()方法執行SQL陳述句，

運行上面的代碼，就可以發現檔案夾下多了一個名為jokeDB.db的檔案，這是程式自動創建的資料庫檔案，笑話就保存在里面，下面里面只有兩個測驗的笑話：

> python joke_db.py
笑話保存成功
笑話保存成功
========列印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內容test
https://www.joke.com/1.html

2-笑話Test2
笑話內容test
https://www.joke.com/2.html

這一部分需要一定的資料庫知識，不過你也可以比這葫蘆畫瓢，先把功能做出來，再加強相關知識，

抓取笑話并保存到資料庫

現在回到joke_crawler.py中，去掉關于joke_db的注釋代碼

第1處在檔案開頭：

#先注釋掉資料庫相關的代碼，后面需要反注釋回來
#import joke_db 

第2處在檔案的最下面：

for i in range(0, 10):
    joke, next_url = craw_joke(url)
    if joke:
        #先注釋掉資料庫相關的代碼，后面需要反注釋回來
        #joke_db.save(joke)
        print(joke)
        url = host + next_url
    print('歇一會兒再抓!')
    time.sleep(random.randint(1, 5))
print('抓完收工！')

去掉注釋后，再次運行joke_crawler.py，就會把笑話保存在資料庫中，

為了驗證是否保存成功了，可以去運行joke_db.py，因為這個檔案最后會列印出所有的笑話：

========列印一下所有的笑話======
loading jokes...
1-笑話Test
笑話內容test
https://www.joke.com/1.html

2-笑話Test2
笑話內容test
https://www.joke.com/2.html

3-成功
她：“因為別人都不同情你，我才做你的妻子，”他：“你總算成功了，現在每個人都因此同情我，”
http://xiaohua.zol.com.cn/detail1/1.html

4-結婚以后
女：“為什么從前你對我百依百順，可結婚才三天，你就跟我吵了兩天的架？”男：“因為我的忍耐是有限度的，”
http://xiaohua.zol.com.cn/detail1/2.html

5-我們的
燕爾新婚，新娘對新郎說：“今后咱們不興說‘我的’了，要說‘我們的’，”新郎去洗澡，良久不出，新娘問：“你在干什么哪？”“親愛的，我在刮我們的胡子呢，”
http://xiaohua.zol.com.cn/detail1/3.html

6-杞人憂天
妻子患了重病，醫生宣告回天乏術，妻子即對丈夫說：“我現在希望你能夠發誓，”“發什么誓，”“如果你再婚，不準把我的衣服給你的新妻子穿，”丈夫恍然大悟道：“這個我可以發誓，說實話，你根本不必操心，因為我再也不想找像你這樣胖的太太了，”
http://xiaohua.zol.com.cn/detail1/5.html

7-理由充分
法官：“離婚理由是什么？”新娘：“他打呼嚕，”法官：“結婚多長時間了？”新娘：“三天，”法官：“離婚理由充分，結婚三天還不是打呼嚕的時候，”
http://xiaohua.zol.com.cn/detail1/6.html

8-聰明丈夫
某夫婦當街而過，一只鴿子飛過天空，一泡鴿糞不偏不倚正巧落在太太肩上，太太急了，忙叫丈夫拿紙，丈夫抬頭，見鴿子不講衛生，到處拉屎，卻不知妻子叫他拿紙干嘛，說：“叫我有啥辦法，追上前去給它擦屁股呀！ ”
http://xiaohua.zol.com.cn/detail1/8.html

9-事故與災難
一位夫人問她的丈夫：“親愛的，你能告訴我‘事故’與‘災難’這兩個詞之間有什么區別嗎？”“這很簡單，”丈夫認真地回答說，“譬如你失足落水，這就叫‘事故’；如果人家又把你當魚釣上來，這就是‘災難’了，”
http://xiaohua.zol.com.cn/detail1/13.html

10-吵架的結果
夫妻吵架了，當丈夫下班回到家里，他發現妻子不在家，只在桌上留了一個條子，上面寫道：“午飯在《烹調大全》第215頁；晚飯在317頁，”
http://xiaohua.zol.com.cn/detail1/14.html

11-保險之險
太太不懂保險的道理，認為繳保險費是浪費，先生連忙解釋說：“保險是為了你和孩子，萬一我死了；你們也有個保障呀！ ”太太反駁說：“要是你不死呢？”
http://xiaohua.zol.com.cn/detail1/16.html

12-補不足
妻：“我曉得，你與我結婚，是因為我有錢，”夫：“不是，是因為我沒有錢，”
http://xiaohua.zol.com.cn/detail1/17.html

關于Python技術儲備

學好 Python 不論是就業還是做副業賺錢都不錯，但要學會 Python 還是要有一個學習規劃，最后大家分享一份全套的 Python 學習資料，給那些想學習 Python 的小伙伴們一點幫助！

一、Python所有方向的學習路線

Python所有方向路線就是把Python常用的技術點做整理，形成各個領域的知識點匯總，它的用處就在于，你可以按照上面的知識點去找對應的學習資源，保證自己學得較為全面，

二、學習軟體

工欲善其事必先利其器，學習Python常用的開發軟體都在這里了，給大家節省了很多時間，

三、入門學習視頻

我們在看視頻學習的時候，不能光動眼動腦不動手，比較科學的學習方法是在理解之后運用它們，這時候練手專案就很適合了，

四、實戰案例

光學理論是沒用的，要學會跟著一起敲，要動手實操，才能將自己的所學運用到實際當中去，這時候可以搞點實戰案例來學習，

五、面試資料

我們學習Python必然是為了找到高薪的作業，下面這些面試題是來自阿里、騰訊、位元組等一線互聯網大廠最新的面試資料，并且有阿里大佬給出了權威的解答，刷完這一套面試資料相信大家都能找到滿意的作業，

這份完整版的Python全套學習資料已經上傳CSDN，朋友們如果需要可以微信掃描下方CSDN官方認證二維碼免費領取【保證100%免費】