專案1:博思學習平臺課程資料爬取與清洗入庫
子專案一:創建保存博思課程資料的course資料庫
1、創建資料庫course
2、創建商品資訊表ifly_course_info(編號id,課程名name,圖片pic,類別type,參與人數num)
子專案二:cookie模擬登錄博思學習平臺
1、獲取登錄的cookie資訊
2、找到博思課程頁面里的獲取課程資訊的url
3、利用scrapy框架cookie模擬登錄,訪問獲取博思課程資訊的url
子專案三:資料清洗入庫
1、 將正在課程資料資訊(課程名,類別,圖片鏈接, 參與人數)存入ifly_course_info表
2、 保存圖片到本地
3、 查詢ifly_ course _info表中的資料,分析開放的課程多少門和授權的課程多少門。 并將參與人數前5名的課程形成柱狀圖。(matplotlib或echarts圖均可)
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/17685.html
標籤:數據庫相關
下一篇:大神們,你們可會p圖
