主頁 > 軟體設計 > 《詩經》那么美,讀不懂多浪費|爬取一本好好學習,準備做一個“有文化”的程式人!

《詩經》那么美,讀不懂多浪費|爬取一本好好學習,準備做一個“有文化”的程式人!

2021-10-25 07:20:59 軟體設計

引言

古人云:“不學詩,無以言”,

意思是:不讀《詩經》,連話都不會說了,

《詩經》是中國古代詩歌的開始,也是最早的一部詩歌總集,它的偉大并非內容多艱深,而是生命的百般形態、生活的瑣碎日常,萬事萬物皆可入詩,充滿了人間煙火氣,草木鳥獸蟲魚、飲食男女、七情六欲……

關雎
佚名 〔先秦〕

關關雎鳩,在河之洲,窈窕淑女,君子好逑,
參差荇菜,左右流之,窈窕淑女,寤寐求之,
求之不得,寤寐思服,悠哉悠哉,輾轉反側,
參差荇菜,左右采之,窈窕淑女,琴瑟友之,
參差荇菜,左右芼之,窈窕淑女,鐘鼓樂之,

這一首《關睢》是初中幼ò肝上學的,大多數中國人都能熟練背出前兩句吧,詩經中還有很多很多關于愛情、吃穿、禮樂、理想、情感等方面的美句,現在我想用爬蟲生成一本《詩經》電子書,好好學習學習,準備做一個“有文化”的程式人,以此向1024節致敬!

生成目錄

先來做一個詩經目錄,簡單地用requests獲取get網頁,再用BeautifulSoup分析,獲取詩經風雅頌全部章節,并獲取所有能下載的鏈接(不全因部分詩歌已佚),代碼如下:

from requests import get
from bs4 import BeautifulSoup as bs

webSite = 'https://*********'

def directory():
    global Urls
    Urls = []
    url1 = webSite + '/gushi/shijing.aspx'
    text = get(url1)
    text.encoding='uft-8'
    soup = bs(text.text,'html.parser')
    Tags = soup.find_all('div',class_='typecont')
    
    for i,tag in enumerate(Tags):
        aTags = tag.find("strong")
        print(f'\nNo.{i+1}:《{aTags.text}》\n')
        bTags = tag.find_all("a")
        try:
            Title = [(t.text,t['href']) for t in bTags]
        except:
            Title = [(t.text,'None') for t in bTags]
        for i,t in enumerate(Title):
            if t[1]!='None':
                Urls.append(t[1])
            print(f'{t[0]:<8}',end='\t' if (i+1)%3 else '\n')
        if i%3!=2: print()
        print('\n'+'='*40)

if __name__=='__main__':
    
    directory()

代碼中網址已隱去,微信搜索并關注“PythonTogether”公眾號(或者掃碼文末的二維碼),關注后回復“詩經”獲取,運行結果如下:

No.1:《國風·周南》

關雎 葛覃 卷耳
樛木 螽斯 桃夭
兔罝 芣苢 漢廣
汝墳 麟之趾

========================================

No.2:《國風·召南》

鵲巢 采蘩 草蟲
采蘋 甘棠 行露
羔羊 殷其雷 摽有梅
小星 江有汜 野有死麕
何彼襛矣 騶虞

========================================

No.3:《國風·邶風》

柏舟 綠衣 燕燕
日月 終風 擊鼓
凱風 雄雉 匏有苦葉
谷風 式微 旄丘
簡兮 泉水 北門
北風 靜女 新臺
二子乘舟

========================================

No.4:《國風·鄘風》

柏舟 墻有茨 君子偕老
桑中 鶉之奔奔 定之方中
蝃蝀 相鼠 干旄
載馳

========================================

No.5:《國風·衛風》

淇奧 考槃 碩人
氓 竹竿 芄蘭
河廣 伯兮 有狐
木瓜

========================================

No.6:《國風·王風》

黍離 君子于役 君子陽陽
國風·王風·揚之水 中谷有蓷 兔爰
葛藟 采葛 大車
丘中有麻

========================================

No.7:《國風·鄭風》

緇衣 將仲子 叔于田
大叔于田 清人 羔裘
遵大路 女曰雞鳴 有女同車
山有扶蘇 萚兮 狡童
褰裳 豐 東門之墠
風雨 子衿 鄭風·揚之水
出其東門 野有蔓草 溱洧

========================================

No.8:《國風·齊風》

雞鳴 還 著
東方之日 東方未明 南山
甫田 盧令 敝笱
載驅 猗嗟

========================================

No.9:《國風·魏風》

葛屨 汾沮洳 園有桃
陟岵 十畝之間 伐檀
碩鼠

========================================

No.10:《國風·唐風》

蟋蟀 山有樞 揚之水
椒聊 綢繆 杕杜
詩經·羔裘 鴇羽 無衣
有杕之杜 葛生 采苓

========================================

No.11:《國風·秦風》

車鄰 駟驖 小戎
蒹葭 終南 黃鳥
晨風 秦風·無衣 渭陽
權輿

========================================

No.12:《國風·陳風》

宛丘 東門之枌 衡門
東門之池 東門之楊 墓門
防有鵲巢 月出 株林
澤陂

========================================

No.13:《國風·檜風》

羔裘 素冠 隰有萇楚
匪風

========================================

No.14:《國風·曹風》

蜉蝣 候人 鳲鳩
下泉

========================================

No.15:《國風·豳風》

七月 鴟鸮 東山
破斧 伐柯 九罭
狼跋

========================================

No.16:《小雅·鹿鳴之什》

鹿鳴 四牡 皇皇者華
常棣 伐木 天保
采薇 出車 小雅·杕杜
魚麗 南陔(今佚) 白華(今佚)
華黍(今佚)

========================================

No.17:《小雅·南有嘉魚之什》

南有嘉魚 南山有臺 由庚(今佚)
崇丘(今佚) 由儀(今佚) 蓼蕭
湛露 彤弓 菁菁者莪
六月 采芑 車攻
吉日

========================================

No.18:《小雅·鴻雁之什》

鴻雁 庭燎 沔水
鶴鳴 祈父 白駒
小雅·黃鳥 我行其野 斯干
無羊

========================================

No.19:《小雅·節南山之什》

節南山 正月 十月之交
雨無正 小旻 小宛
小弁 巧言 何人斯
巷伯

========================================

No.20:《小雅·谷風之什》

谷風 蓼莪 大東
四月 北山 無將大車
小明 鼓鐘 楚茨
信南山

========================================

No.21:《小雅·甫田之什》

甫田 大田 瞻彼洛矣
裳裳者華 桑扈 鴛鴦
頍弁 車舝 青蠅
賓之初筵

========================================

No.22:《小雅·魚藻之什》

魚藻 采菽 角弓
菀柳 都人士 采綠
黍苗 隰桑 白華
綿蠻 瓠葉 漸漸之石
苕之華 何草不黃

========================================

No.23:《大雅·文王之什》

文王 大明 綿
棫樸 旱麓 思齊
皇矣 靈臺 下武
文王有聲

========================================

No.24:《大雅·生民之什》

生民 行葦 既醉
鳧鹥 大雅·假樂 公劉
泂酌 卷阿 民勞

========================================

No.25:《大雅·蕩之什》

蕩 抑 桑柔
云漢 崧高 烝民
韓奕 江漢 常武
瞻卬 召旻

========================================

No.26:《周頌·清廟之什》

清廟 維天之命 維清
烈文 天作 昊天有成命
我將 時邁 執競
思文

========================================

No.27:《周頌·臣工之什》

臣工 噫嘻 振鷺
豐年 有瞽 潛
雝 載見 有客

========================================

No.28:《周頌·閔予小子之什》

閔予小子 訪落 敬之
小毖 載芟 良耜
絲衣 酌 桓
賚 般

========================================

No.29:《魯頌·駉之什》

駉 有駜 泮水
閟宮

========================================

No.30:《商頌》

那 烈祖 玄鳥
長發 殷武

========================================

爬取正文生成檔案

抓取的內容整理后直接寫入文本檔案,網址同樣已隱去,代碼如下:

from requests import get
from bs4 import BeautifulSoup as bs
from time import perf_counter

webSite = 'https://*********'

def directory():
    global Urls
    Urls = []
    url1 = webSite + '/gushi/shijing.aspx'
    text = get(url1)
    text.encoding='uft-8'
    soup = bs(text.text,'html.parser')
    Tags = soup.find_all('div',class_='typecont')
    output = '《詩經》風雅頌.txt'
    with open(output,'w',encoding='utf-8') as tofile:
        print('《詩經》總目錄\n',file=tofile)
        for i,tag in enumerate(Tags):
            aTags = tag.find("strong")
            print(f'\nNo.{i+1}:《{aTags.text}》\n',file=tofile)
            bTags = tag.find_all("a")
            try:
                Title = [(t.text,t['href']) for t in bTags]
            except:
                Title = [(t.text,'None') for t in bTags]
            for i,t in enumerate(Title):
                if t[1]!='None':
                    Urls.append(t[1])
                print(f'{t[0]:<8}',end='\t' if (i+1)%3 else '\n',file=tofile)
            if i%3!=2: print(file=tofile)
            print('\n'+'='*40,file=tofile)

def content():
    output = '《詩經》風雅頌.txt'
    with open(output,'a',encoding='utf-8') as tofile:
        print('\n《詩經》正文\n',file=tofile)
        for i,url in enumerate(Urls):
            print(f'\nNo.{i+1}',file=tofile)
            url2 = webSite + url
            text = get(url2)
            text.encoding='uft-8'
            soup = bs(text.text,'html.parser')
            Tags = soup.find('div',id="sonsyuanwen")
            text = str(Tags).replace('<br/>','\n')
            text = text.replace('完善','').strip()
            text = bs(text,'html.parser').text
            while '\n\n' in text:
                text = text.replace('\n\n','\n')
            print(text,file=tofile)
            print('-'*40,file=tofile)
    

if __name__=='__main__':
    
    directory()

    content()

    print(f'\n程式運行耗時(s):{perf_counter()}\n')

程式執行后大約50秒,一本電子書《詩經》風雅頌.txt 就生成后了,可以拷貝進kindle設備慢慢看吧,其實網站還有更精彩的詩歌賞析,這些內容有?“展開閱讀全文”?的縮略,這個留待以后再想辦法解決,(本篇完)

學習交流 Python 的群和公眾號:

歡迎關注公眾號

http://qr01.cn/FHYKEa

轉載請註明出處,本文鏈接:https://www.uj5u.com/ruanti/335208.html

標籤:其他

上一篇:競賽最好用的平衡樹-Size Balanced Tree(SBT)【建議收藏】

下一篇:華為網路配置(STP與MSTP)

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 面試突擊第一季,第二季,第三季

    第一季必考 https://www.bilibili.com/video/BV1FE411y79Y?from=search&seid=15921726601957489746 第二季分布式 https://www.bilibili.com/video/BV13f4y127ee/?spm_id_fro ......

    uj5u.com 2020-09-10 05:35:24 more
  • 第三單元作業總結

    1.前言 這應該是本學期最后一次寫作業總結了吧。總體來說,對作業的節奏也差不多掌握了,作業做起來的效率也更高了。雖然和之前的作業一樣,作業中都要用到新的知識,但是相比之前,更加懂得了如何利用工具以及資料。雖然之間卡過殼,但總體而言,這幾次作業還算完成的比較好。 2.作業程序總結 相比前兩個單元,此單 ......

    uj5u.com 2020-09-10 05:35:41 more
  • 北航OO(2020)第四單元博客作業暨課程總結博客

    北航OO(2020)第四單元博客作業暨課程總結博客 本單元作業的架構設計 在本單元中,由于UML圖具有比較清晰的樹形結構,因此我對其中需要進行查詢操作的元素進行了包裝,在樹的父節點中存盤所有孩子的參考。考慮到性能問題,我采用了快取機制,一次查詢后盡可能快取已經遍歷過的資訊,以減少遍歷次數。 本單元我 ......

    uj5u.com 2020-09-10 05:35:48 more
  • BUAA_OO_第四單元

    一、UML決議器設計 ? 先看下題目:第四單元實作一個基于JDK 8帶有效性檢查的UML(Unified Modeling Language)類圖,順序圖,狀態圖分析器 MyUmlInteraction,實際上我們要建立一個有向圖模型,UML中的物件(元素)可能與同級元素連接,也可與低級元素相連形成 ......

    uj5u.com 2020-09-10 05:35:54 more
  • 6.1邏輯運算子

    邏輯運算子 1. && 短路與 運算式1 && 運算式2 01.運算式1為true并且運算式2也為true 整體回傳為true 02.運算式1為false,將不會執行運算式2 整體回傳為false 03.只要有一個運算式為false 整體回傳為false 2. || 短路或 運算式1 || 運算式2 ......

    uj5u.com 2020-09-10 05:35:56 more
  • BUAAOO 第四單元 & 課程總結

    1. 第四單元:StarUml檔案決議 本單元采用了圖模型決議UML。 UML檔案可以抽象為圖、子圖、邊的邏輯結構。 在實作中,圖的節點包括類、介面、屬性,子圖包括狀態圖、順序圖等。 采用了三次遍歷UML元素的方法建圖,第一遍遍歷建點,第二、三次遍歷設定屬性、連邊,實作圖物件的初始化。這里借鑒了一些 ......

    uj5u.com 2020-09-10 05:36:06 more
  • 談談我對C# 多型的理解

    面向物件三要素:封裝、繼承、多型。 封裝和繼承,這兩個比較好理解,但要理解多型的話,可就稍微有點難度了。今天,我們就來講講多型的理解。 我們應該經常會看到面試題目:請談談對多型的理解。 其實呢,多型非常簡單,就一句話:呼叫同一種方法產生了不同的結果。 具體實作方式有三種。 一、多載 多載很簡單。 p ......

    uj5u.com 2020-09-10 05:36:09 more
  • Python 資料驅動工具:DDT

    背景 python 的unittest 沒有自帶資料驅動功能。 所以如果使用unittest,同時又想使用資料驅動,那么就可以使用DDT來完成。 DDT是 “Data-Driven Tests”的縮寫。 資料:http://ddt.readthedocs.io/en/latest/ 使用方法 dd. ......

    uj5u.com 2020-09-10 05:36:13 more
  • Python里面的xlrd模塊詳解

    那我就一下面積個問題對xlrd模塊進行學習一下: 1.什么是xlrd模塊? 2.為什么使用xlrd模塊? 3.怎樣使用xlrd模塊? 1.什么是xlrd模塊? ?python操作excel主要用到xlrd和xlwt這兩個庫,即xlrd是讀excel,xlwt是寫excel的庫。 今天就先來說一下xl ......

    uj5u.com 2020-09-10 05:36:28 more
  • 當我們創建HashMap時,底層到底做了什么?

    jdk1.7中的底層實作程序(底層基于陣列+鏈表) 在我們new HashMap()時,底層創建了默認長度為16的一維陣列Entry[ ] table。當我們呼叫map.put(key1,value1)方法向HashMap里添加資料的時候: 首先,呼叫key1所在類的hashCode()計算key1 ......

    uj5u.com 2020-09-10 05:36:38 more
最新发布
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:20:47 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:20:25 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:20:17 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:20:10 more
  • 【中介者設計模式詳解】C/Java/JS/Go/Python/TS不同語言實作

    * 中介者模式是一種行為型設計模式,它可以用來減少類之間的直接依賴關系,
    * 將物件之間的通信封裝到一個中介者物件中,從而使得各個物件之間的關系更加松散。
    * 在中介者模式中,物件之間不再直接相互互動,而是通過中介者來中轉訊息。 ......

    uj5u.com 2023-04-20 08:19:44 more
  • 露天煤礦現場調研和交流案例分享

    他們集團的資訊化公司及研究院在一個礦區正在做智能礦山的統一平臺的 試點,專案投資大概1億,包括了礦山的各方面的內容,顯示得我們這次交流有點多余。他們2年前開始做智能礦山的規劃,有很多煤礦行業專家的加持,他們的描述是非常完美,但是去年底應該上線的平臺,現在還沒有看到影子。他們確實有很多場景需求,但是被... ......

    uj5u.com 2023-04-20 08:19:07 more
  • 《社區人員管理》實戰案例設計&個人案例分享

    設計是一個讓人夢想成真程序,開始編碼、測驗、除錯之前進行需求分析和架構設計,才能保證關鍵方面都做正確 ......

    uj5u.com 2023-04-20 08:18:57 more
  • 軟體架構生態化-多角色交付的探索實踐

    作為一個技術架構師,不僅僅要緊跟行業技術趨勢,還要結合研發團隊現狀及痛點,探索新的交付方案。在日常中,你是否遇到如下問題 “ 業務需求排期長研發是瓶頸;非研發角色感受不到研發技改提效的變化;引入ISV 團隊又擔心質量和安全,培訓周期長“等等,基于此我們探索了一種新的技術體系及交付方案來解決如上問題。 ......

    uj5u.com 2023-04-20 08:18:49 more
  • 05單件模式

    #經典的單件模式 public class Singleton { private static Singleton uniqueInstance; //一個靜態變數持有Singleton類的唯一實體。 // 其他有用的實體變數寫在這里 //構造器宣告為私有,只有Singleton可以實體化這個類! ......

    uj5u.com 2023-04-19 08:42:51 more
  • 【架構與設計】常見微服務分層架構的區別和落地實踐

    軟體工程的方方面面都遵循一個最基本的道理:沒有銀彈,架構分層模型更是如此,每一種都有各自優缺點,所以請根據不同的業務場景,并遵循簡單、可演進這兩個重要的架構原則選擇合適的架構分層模型即可。 ......

    uj5u.com 2023-04-19 08:42:41 more