1. 概述

新聞是我們了解外界的重要渠道，以前，我們一般通過報紙和電視來獲取新聞，那時候，獲取新聞不僅有一定的成本，效率還不高，

而如今，獲取新聞的途徑太多太方便了，大量重復的新聞充斥著各大平臺，獲取新聞已經沒有什么成本，問題變成了過濾和鑒別新聞的可信程度，

下面用【新浪新聞】作為采集物件，拋磚引玉，演示下新聞從采集到分析的整個程序，

2. 采集流程

主要流程分為4個步驟：

2.1 采集

從新浪滾動新聞頁面中，找出獲取新聞的API，然后，并發的采集新聞，
這里為了簡單起見，主要采集了新聞標題和摘要資訊，

# -*- coding: utf-8 -*-

import requests
import csv
import time
import os
import threading
import math

host = "https://feed.mix.sina.com.cn/api/roll/get?pageid=153&lid=2509&k=&num=50&page={}"


class spiderThread(threading.Thread):
    def __init__(self, fname, delay, start_page, end_page):
        threading.Thread.__init__(self)
        self.fname = fname
        self.delay = delay
        self.start_page = start_page
        self.end_page = end_page

    def run(self):
        for page in range(self.start_page, self.end_page):
            time.sleep(self.delay)
            url = host.format(page)
            rows = _parse_html_content(url)
            _save_data(self.fname, rows)
            print("thead: {} 已采集 第【{}】頁的資料".format(self.fname, page))


def spider(start_page=1, pages=50, concurrency=2):
    """ 采集資料
    并發采集 sina 滾動新聞資料

    Parameters:
      start_page - 采集開始的頁數，默認從第1頁開始采集
      pages - 采集的頁數，默認采集500頁
      concurrency - 并發采集的數量，默認4個執行緒采集

    Returns:
      采集結果寫入檔案
    """

    if pages < 0 or concurrency < 0:
        print("pages or concurrency must more than 0")
        return

    threads = []
    now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
    delta = math.ceil((pages - start_page + 1) / concurrency)
    for i in range(concurrency):
        end_page = delta + start_page
        if end_page > pages:
            end_page = pages + 1

        t = spiderThread("{}-{}".format(now_str, i + 1), 2, start_page, end_page)
        threads.append(t)
        t.start()

        start_page = end_page

    for t in threads:
        t.join()

    print("采集結束")


def _parse_html_content(url):
    """ parse html to csv row like: oid, intime, title, media_name, intro
    """
    response = requests.get(url)
    data = https://www.cnblogs.com/wang_yb/p/response.json()
    data = data["result"]["data"]
    rows = []
    for d in data:
        # print(d["oid"])
        # print(d["intime"])
        # print(d["title"])
        # print(d["media_name"])
        # print(d["intro"])
        rows.append([d["oid"], d["intime"], d["title"], d["media_name"], d["intro"]])

    return rows


def _save_data(filename, rows):
    fp = os.path.join("./data", filename + ".csv")
    print("fname {}: rows {}".format(filename, len(rows)))
    with open(fp, "a", encoding='utf-8') as f:
        writer = csv.writer(f)
        writer.writerows(rows)

主要函式是：def spider(start_page=1, pages=50, concurrency=2)
可以設定采集的起始/結束頁，以及并發采集的執行緒數，

新浪滾動新聞最多只提供了最近50頁的新聞，大概4000多條新聞，

采集之后，默認會在 data檔案夾下生成采集結果的 csv 檔案（幾個執行緒采集，就生成幾個csv）

2.2 清理

清理資料主要將多執行緒采集的所有csv檔案合并成一個，同時去重和按照時間排序，

# -*- coding: utf-8 -*-

import pandas as pd
import os
import time


def clean(data_dir="./data"):
    """ 清洗資料
    合并所有采集的資料檔案，去除重復資料和不需要的欄位

    Parameters:
      data - 采集資料的檔案夾

    Returns:
      清理后的結果寫入檔案
    """

    data = https://www.cnblogs.com/wang_yb/p/_read_all_data(data_dir)
    data = _uniq_and_order(data)

    _write_clean_data(data_dir, data)


def _read_all_data(data_dir):
    all_data = []
    for f in os.listdir(data_dir):
        fp = os.path.join(data_dir, f)
        if os.path.isdir(fp):
            continue

        data = pd.read_csv(
            fp, names=["oid", "intime", "title", "media_name", "intro"], header=None,
        )
        all_data.append(data)

    return pd.concat(all_data, ignore_index=True)


def _uniq_and_order(data):
    data = https://www.cnblogs.com/wang_yb/p/data.drop_duplicates(keep="first")
    data = https://www.cnblogs.com/wang_yb/p/data.drop(columns=["oid", "intime", "media_name", "intro"])
    # data = https://www.cnblogs.com/wang_yb/p/data.sort_values(by=["intime"], ascending=False)
    return data


def _write_clean_data(data_dir, data):
    clean_data_dir = os.path.join(data_dir, "clean")
    if not os.path.exists(clean_data_dir):
        os.makedirs(clean_data_dir)

    now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
    data.to_csv(
        os.path.join(clean_data_dir, now_str + ".csv"), index=False, header=None
    )

清理之后，所有新聞合并在一個檔案中，只保留了【新聞標題】用來分析，

2.3 分詞

新聞標題的文字是沒有規律的，所以分析之前需要先分詞，

# -*- coding: utf-8 -*-

import jieba.posseg as pseg
import pandas as pd

import os
import time


def split_word(fp, data_dir="./data"):
    """對標題進行分詞

    Parameters:
      data_dir - 采集資料的檔案夾
      fp - 待分詞的檔案

    Returns:
      分詞后的結果寫入檔案
    """

    mdata = https://www.cnblogs.com/wang_yb/p/{}
    with open(fp,"r", encoding="utf-8") as f:
        total = len(f.readlines())
        count = 0

        f.seek(0)
        for line in f:
            count += 1
            print("決議進度[{}/{}]...".format(count, total))
            _jieba(line, mdata)

    total = len(mdata)
    count = 0
    data_list = []
    for word in mdata.keys():
        count += 1
        print("寫入進度[{}/{}]...".format(count, total))
        data_list.append([word, mdata[word][0], mdata[word][1]])

    data = https://www.cnblogs.com/wang_yb/p/pd.DataFrame(data_list, columns=["單詞", "詞性", "數量"])
    _write_split_data(data_dir, data)


def _jieba(s, mdata):
    words = pseg.cut(s, HMM=True)
    for word, flag in words:
        if _check_flag(flag):
            if word not in mdata.keys():
                mdata[word] = [flag, 0]

            mdata[word][1] += 1

    return mdata


def _write_split_data(data_dir, data):
    split_data_dir = os.path.join(data_dir, "jieba")
    if not os.path.exists(split_data_dir):
        os.makedirs(split_data_dir)

    now_str = time.strftime("%Y-%m-%d--%H-%M-%S", time.localtime())
    data.to_csv(os.path.join(split_data_dir, now_str + ".csv"), index=False)


def _check_flag(flag):
    flags = ["n"]  # n-名詞類，a-形容詞類 v-動詞類

    for fg in flags:
        if flag.startswith(fg):
            return True

    return False

這里使用分詞使用是【結巴分詞】庫，并且只保留了新聞標題中的【名詞】，

2.4 分析繪圖

最后是分析結果，為了快速獲取新聞的有效資訊，這一步必不可少，
這里只分析了【新聞標題】中的名詞，所以這里就做了兩張圖，一張是高頻詞的柱狀圖，一張是詞云圖，

# -*- coding: utf-8 -*-

import pandas as pd
import os
import wordcloud

from prettytable import PrettyTable
import matplotlib
import matplotlib.pyplot as plt

# 為了顯示中文
matplotlib.rcParams["font.sans-serif"] = ["Microsoft YaHei Mono"]
matplotlib.rcParams["axes.unicode_minus"] = False

cn_font_path = "D:\\miniconda3\\envs\\databook\\Lib\\site-packages\\matplotlib\\mpl-data\\fonts\\ttf\\Microsoft-Yahei-Mono.ttf"


def analysis(fp, data_dir="./data"):
    """分析資料
    根據分詞結果分析結果
    """

    data = https://www.cnblogs.com/wang_yb/p/pd.read_csv(fp)
    # 過濾關鍵詞長度為1的資料
    data = https://www.cnblogs.com/wang_yb/p/data[data["單詞"].str.len() > 1]

    # 創建檔案夾
    analy_data_dir = os.path.join(data_dir, "analy")
    if not os.path.exists(analy_data_dir):
        os.makedirs(analy_data_dir)

    # 顯示前N個關鍵詞
    N = 20
    _topN_table(data, N)

    # 高頻詞柱狀圖比較
    _topN_bar_graph(data, N, analy_data_dir)

    # 詞云 圖
    _word_cloud(data, analy_data_dir)


def _topN_table(data, n):
    tbl = PrettyTable()

    data = https://www.cnblogs.com/wang_yb/p/data.sort_values(by=["數量"], ascending=False)

    tbl.field_names = data.columns.values.tolist()
    tbl.add_rows(data.head(n).values.tolist())

    print(tbl)


def _topN_bar_graph(data, n, d):
    data = https://www.cnblogs.com/wang_yb/p/data.sort_values(by=["數量"], ascending=False)
    data = https://www.cnblogs.com/wang_yb/p/data.head(n)

    y = list(data["數量"])
    plt.bar(range(n), height=y, tick_label=range(1, n + 1), color=["b", "c", "g", "m"])
    plt.xticks(range(n), data["單詞"])

    fig = plt.gcf()
    fig.set_size_inches(15, 5)

    plt.savefig(os.path.join(d, "bar.png"))


def _word_cloud(data, d):
    w = wordcloud.WordCloud(
        width=800, height=600, background_color="white", font_path=cn_font_path
    )

    # 詞頻大于N的單詞才展示
    N = 5
    data = https://www.cnblogs.com/wang_yb/p/data[data["數量"] > N]

    dic = dict(zip(list(data["單詞"]), list(data["數量"])))
    w.generate_from_frequencies(dic)

    w.to_file(os.path.join(d, "word_cloud.png"))

注意，這里為了顯示中文，我引入了自己的字體（Microsoft-Yahei-Mono.ttf），你也可以換成任何能夠顯示中文的字體，