python網路爬蟲學習筆記（十）：資料存盤

1.文本存盤

import requests
from pyquery import PyQuery as pq
 
url = 'https://www.zhihu.com/explore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc('.ExploreCollectionCard-contentItem').items()
for item in items:
    question = item.find('a').text()
    answer = pq(item.find('.ExploreCollectionCard-contentExcerpt').html()).text()
    file = open('explore.txt', 'a', encoding='utf-8')
    file.write('\n'.join([question, answer]))
    file.write('\n' + '=' * 50 + '\n')
    file.close()

這里open()方法的第一個引數即要保存的目標檔案名稱，第二個引數為a，代表以追加方式寫入到文本，

我們用requests提取知乎的“發現”頁面，然后將熱門話題的問題、回答者、答案全文提取出來，然后利用Python提供的open()方法打開一個文本檔案，獲取一個檔案操作物件，這里賦值為file，接著利用file物件的write()方法將提取的內容寫入檔案，最后呼叫close()方法將其關閉，這樣抓取的內容即可成功寫入文本中了，

打開方式

關于檔案的打開方式，還有其他幾種：

簡化寫法

使用with as語法，在with控制塊結束時，檔案會自動關閉，所以就不需要再呼叫close()方法了，這種保存方式可以簡寫如下：

with open('explore.txt', 'a', encoding='utf-8') as file:
    file.write('\n'.join([question, answer]))
    file.write('\n' + '=' * 50 + '\n')

如果想保存時將原文清空，那么可以將第二個引數改寫為w，代碼如下：

with open('explore.txt', 'w', encoding='utf-8') as file:
    file.write('\n'.join([question, author, answer]))
    file.write('\n' + '=' * 50 + '\n')

2.JSON檔案存盤

在JavaScript語言中，一切都是物件，因此，任何支持的型別都可以通過JSON來表示，例如字串、數字、物件、陣列等，

物件

它在JavaScript中是使用花括號{}包裹起來的內容，資料結構為{key1：value1, key2：value2, …}的鍵值對結構，在面向物件的語言中，key為物件的屬性，value為對應的值，鍵名可以使用整數和字串來表示，值的型別可以是任意型別，

一個JSON物件可以寫為如下形式：

[{
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
}, {
     "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
}]

[{'birthday': '1992-10-18', 'gender': 'male', 'name': 'Bob'},
 {'birthday': '1995-10-18', 'gender': 'female', 'name': 'Selina'}]

由中括號包圍的就相當于串列型別，串列中的每個元素可以是任意型別，這個示例中它是字典型別，由大括號包圍，

JSON可以由以上兩種形式自由組合而成，可以無限次嵌套，結構清晰，是資料交換的極佳方式，

2.1 讀取JOSN

我們可以呼叫庫的loads()方法將JSON文本字串轉為JSON物件，可以通過dumps()方法將JSON物件轉為文本字串，

import json
 
str = '''
[{
    "name": "Bob",
    "gender": "male",
    "birthday": "1992-10-18"
}, {
    "name": "Selina",
    "gender": "female",
    "birthday": "1995-10-18"
}]
'''
print(type(str))
data = json.loads(str)
print(data)
print(type(data))

<class 'str'>
[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]
<class 'list'>

with open('data.json', 'w') as f:
    f.write(str)

這里使用loads()方法將字串轉為JSON物件，由于最外層是中括號，所以最終的型別是串列型別，

這樣一來，我們就可以用索引來獲取對應的內容了，例如，如果想取第一個元素里的name屬性，就可以使用如下方式：

data[0]['name']
data[0].get('name')

'Bob'

兩種方法得到的結果是一樣的，這里推薦使用get()方法, 這樣如果鍵名不存在，則不會報錯，會回傳None，另外，get()方法還可以傳入第二個引數（即默認值），示例如下：

print(data[0].get('age'))
data[0].get('age', 25)

None
25

這里我們嘗試獲取年齡age，其實在原字典中該鍵名不存在，此時默認會回傳None，如果傳入第二個引數（即默認值），那么在不存在的情況下回傳該默認值，

需要注意的是，JSON的資料需要用雙引號來包圍，不能使用單引號，例如，若使用如下形式表示，則會出現錯誤：

import json
 
str = '''
[{
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
}]
'''
data = json.loads(str)

json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 (char 8)

千萬注意JSON字串的表示需要用雙引號，否則loads()方法會決議失敗，

如果從JSON文本中讀取內容，例如這里有一個data.文本檔案，其內容是剛才定義的JSON字串，我們可以先將文本檔案內容讀出，然后再利用loads()方法轉化：

import json

with open('data.json') as file:
    str = file.read()
    data = json.loads(str)
    print(data)

[{'name': 'Bob', 'gender': 'male', 'birthday': '1992-10-18'}, {'name': 'Selina', 'gender': 'female', 'birthday': '1995-10-18'}]

2.2 輸出JSON

我們可以呼叫dumps()方法將JSON物件轉化為字串:

import json

data = [{
    'name': 'Bob',
    'gender': 'male',
    'birthday': '1992-10-18'
}]
with open('data.json', 'w') as f:
    f.write(json.dumps(data))

利用dumps()方法，我們可以將JSON物件轉為字串，然后再呼叫檔案的write()方法寫入文本

如果想保存JSON的格式，可以再加一個引數indent，代表縮進字符個數:

 with open('data.json', 'w') as file:
    file.write(json.dumps(data, indent=2))

如果JSON中包含中文字符,中文字符就變成了Unicode字符：

import json
 
data = [{
    'name': '王偉',
    'gender': '男',
    'birthday': '1992-10-18'
}]
with open('data.json', 'w') as file:
    file.write(json.dumps(data, indent=2))

為了輸出中文，還需要指定引數ensure_ascii為False，另外還要規定檔案輸出的編碼：

with open('data.json', 'w', encoding='utf-8') as file:
    file.write(json.dumps(data, indent=2, ensure_ascii=False))

3.CSV檔案存盤

CSV，全稱為Comma-Separated Values，中文可以叫作逗號分隔值或字符分隔值，其檔案以純文本形式存盤表格資料，該檔案是一個字符序列，可以由任意數目的記錄組成，記錄間以某種換行符分隔，每條記錄由欄位組成，欄位間的分隔符是其他字符或字串，最常見的是逗號或制表符，不過所有記錄都有完全相同的欄位序列，相當于一個結構化表的純文本形式，所以，有時候用CSV來保存資料是比較方便的，

3.1 寫入

import csv
 
with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])

首先，打開data.csv檔案，然后指定打開的模式為w（即寫入），獲得檔案句柄，隨后呼叫csv庫的writer()方法初始化寫入物件，傳入該句柄，然后呼叫writerow()方法傳入每行的資料即可完成寫入，

如果想修改列與列之間的分隔符，可以傳入delimiter引數，其代碼如下：

import csv
 
with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile, delimiter=' ')
    writer.writerow(['id', 'name', 'age'])
    writer.writerow(['10001', 'Mike', 20])
    writer.writerow(['10002', 'Bob', 22])
    writer.writerow(['10003', 'Jordan', 21])

我們也可以呼叫writerows()方法同時寫入多行，此時引數就需要為二維串列，例如：

import csv
 
with open('data.csv', 'w') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['id', 'name', 'age'])
    writer.writerows([['10001', 'Mike', 20], ['10002', 'Bob', 22], ['10003', 'Jordan', 21]])

在csv庫中也提供了字典的寫入方式，示例如下：

import csv
 
with open('data.csv', 'w', newline='') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

如果要寫入中文內容的話，可能會遇到字符編碼的問題，此時需要給open()引數指定編碼格式：

import csv
 
with open('data.csv', 'a', newline='', encoding='utf-8') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writerow({'id': '10005', 'name': '王偉', 'age': 22})

3.2 讀取

我們同樣可以使用csv庫來讀取CSV檔案：

import csv
 
with open('data.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)

['id', 'name', 'age']
['10001', 'Mike', '20']
['10002', 'Bob', '22']
['10003', 'Jordan', '21']
['10005', '王偉', '22']

使用pandas的話，可以利用read_csv()方法將資料從CSV中讀取出來，例如：

import pandas  as pd
 
df = pd.read_csv('data.csv')
print(df)

      id    name  age
0  10001    Mike   20
1  10002     Bob   22
2  10003  Jordan   21
3  10005      王偉   22