系列文章
- 基于 abp vNext 和 .NET Core 開發博客專案 - 使用 abp cli 搭建專案
- 基于 abp vNext 和 .NET Core 開發博客專案 - 給專案瘦身，讓它跑起來
- 基于 abp vNext 和 .NET Core 開發博客專案 - 完善與美化，Swagger登場
- 基于 abp vNext 和 .NET Core 開發博客專案 - 資料訪問和代碼優先
- 基于 abp vNext 和 .NET Core 開發博客專案 - 自定義倉儲之增刪改查
- 基于 abp vNext 和 .NET Core 開發博客專案 - 統一規范API，包裝回傳模型
- 基于 abp vNext 和 .NET Core 開發博客專案 - 再說Swagger，分組、描述、小綠鎖
- 基于 abp vNext 和 .NET Core 開發博客專案 - 接入GitHub，用JWT保護你的API
- 基于 abp vNext 和 .NET Core 開發博客專案 - 例外處理和日志記錄
- 基于 abp vNext 和 .NET Core 開發博客專案 - 使用Redis快取資料
- 基于 abp vNext 和 .NET Core 開發博客專案 - 集成Hangfire實作定時任務處理
- 基于 abp vNext 和 .NET Core 開發博客專案 - 用AutoMapper搞定物件映射
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰（一）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰（二）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰（三）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇（一）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇（二）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇（三）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇（四）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇（五）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（一）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（二）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（三）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（四）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（五）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（六）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（七）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（八）
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列（九）
- 基于 abp vNext 和 .NET Core 開發博客專案 - 終結篇之發布專案
上一篇(https://www.cnblogs.com/meowv/p/12966092.html)文章使用AutoMapper來處理物件與物件之間的映射關系，本篇主要圍繞定時任務和資料抓取相關的知識點并結合實際應用，在定時任務中回圈處理爬蟲任務抓取資料，
開始之前可以刪掉之前測驗用的幾個HelloWorld，沒有什么實際意義，直接干掉吧，抓取資料我主要用到了，HtmlAgilityPack和PuppeteerSharp，一般情況下HtmlAgilityPack就可以完成大部分的資料抓取需求了，當在抓取動態網頁的時候可以用到PuppeteerSharp，同時PuppeteerSharp還支持將圖片保存為圖片和PDF等牛逼的功能，
關于這兩個庫就不多介紹了，不了解的請自行去學習，
先在.BackgroundJobs層安裝兩大神器：Install-Package HtmlAgilityPack、Install-Package PuppeteerSharp，我在使用Package Manager安裝包的時候一般都不喜歡指定版本號，因為這樣默認是給我安裝最新的版本，
之前無意中發現愛思助手的網頁版有很多手機壁紙(https://www.i4.cn/wper_4_0_1_1.html)，于是我就動了小心思，把所有手機壁紙全部抓取過來自嗨，可以看看我個人博客中的成品吧：https://meowv.com/wallpaper ??????
最開始我是用Python實作的，現在我們在.NET中抓它，
我數了一下，一共有20個分類，直接在.Domain.Shared層添加一個壁紙分類的列舉WallpaperEnum.cs，
//WallpaperEnum.cs
using System.ComponentModel;
namespace Meowv.Blog.Domain.Shared.Enum
{
public enum WallpaperEnum
{
[Description("美女")]
Beauty = 1,
[Description("型男")]
Sportsman = 2,
[Description("萌娃")]
CuteBaby = 3,
[Description("情感")]
Emotion = 4,
[Description("風景")]
Landscape = 5,
[Description("動物")]
Animal = 6,
[Description("植物")]
Plant = 7,
[Description("美食")]
Food = 8,
[Description("影視")]
Movie = 9,
[Description("動漫")]
Anime = 10,
[Description("手繪")]
HandPainted = 11,
[Description("文字")]
Text = 12,
[Description("創意")]
Creative = 13,
[Description("名車")]
Car = 14,
[Description("體育")]
PhysicalEducation = 15,
[Description("軍事")]
Military = 16,
[Description("節日")]
Festival = 17,
[Description("游戲")]
Game = 18,
[Description("蘋果")]
Apple = 19,
[Description("其它")]
Other = 20,
}
}
查看原網頁可以很清晰的看到，每一個分類對應了一個不同的URL，于是手動創建一個抓取的串列，串列內容包括URL和分類，然后我又想用多執行緒來訪問URL，回傳結果，新建一個通用的待抓項的類，起名為:WallpaperJobItem.cs，為了規范和后續的壁紙查詢介面，我們放在.Application.Contracts層中，
//WallpaperJobItem.cs
using Meowv.Blog.Domain.Shared.Enum;
namespace Meowv.Blog.Application.Contracts.Wallpaper
{
public class WallpaperJobItem<T>
{
/// <summary>
/// <see cref="Result"/>
/// </summary>
public T Result { get; set; }
/// <summary>
/// 型別
/// </summary>
public WallpaperEnum Type { get; set; }
}
}
WallpaperJobItem<T>接受一個引數T，Result的型別由T決定，在.BackgroundJobs層Jobs檔案夾中新建一個任務，起名叫做：WallpaperJob.cs吧，老樣子，繼承IBackgroundJob，
//WallpaperJob.cs
using Meowv.Blog.Application.Contracts.Wallpaper;
using Meowv.Blog.Domain.Shared.Enum;
using System.Collections.Generic;
using System.Threading.Tasks;
namespace Meowv.Blog.BackgroundJobs.Jobs.Wallpaper
{
public class WallpaperJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
var wallpaperUrls = new List<WallpaperJobItem<string>>
{
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_1_1.html", Type = WallpaperEnum.Beauty },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_58_1.html", Type = WallpaperEnum.Sportsman },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_66_1.html", Type = WallpaperEnum.CuteBaby },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_4_1.html", Type = WallpaperEnum.Emotion },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_3_1.html", Type = WallpaperEnum.Landscape },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_9_1.html", Type = WallpaperEnum.Animal },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_13_1.html", Type = WallpaperEnum.Plant },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_64_1.html", Type = WallpaperEnum.Food },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_11_1.html", Type = WallpaperEnum.Movie },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_5_1.html", Type = WallpaperEnum.Anime },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_34_1.html", Type = WallpaperEnum.HandPainted },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_65_1.html", Type = WallpaperEnum.Text },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_2_1.html", Type = WallpaperEnum.Creative },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_10_1.html", Type = WallpaperEnum.Car },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_14_1.html", Type = WallpaperEnum.PhysicalEducation },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_63_1.html", Type = WallpaperEnum.Military },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_17_1.html", Type = WallpaperEnum.Festival },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_15_1.html", Type = WallpaperEnum.Game },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_12_1.html", Type = WallpaperEnum.Apple },
new WallpaperJobItem<string> { Result = "https://www.i4.cn/wper_4_19_7_1.html", Type = WallpaperEnum.Other }
};
}
}
}
先構建一個要抓取的串列 wallpaperUrls，這里準備用 HtmlAgilityPack，默認只抓取第一頁最新的資料，
public async Task RunAsync()
{
...
var web = new HtmlWeb();
var list_task = new List<Task<WallpaperJobItem<HtmlDocument>>>();
wallpaperUrls.ForEach(item =>
{
var task = Task.Run(async () =>
{
var htmlDocument = await web.LoadFromWebAsync(item.Result);
return new WallpaperJobItem<HtmlDocument>
{
Result = htmlDocument,
Type = item.Type
};
});
list_task.Add(task);
});
Task.WaitAll(list_task.ToArray());
}
上面這段代碼，先new了一個HtmlWeb物件，我們主要用這個物件去加載我們的URL，
web.LoadFromWebAsync(...)，它會回傳一個HtmlDocument物件，這樣就和上面的list_task對應起來，從而也應證了前面添加的WallpaperJobItem是通用的一個待抓項的類，
回圈處理 wallpaperUrls，等待所有請求完成，這樣就拿到了20個HtmlDocument，和它的分類，接下來就可以去處理list_task就行了，
在開始處理之前，要想好抓到的圖片資料存放在哪里？我這里還是選擇存在資料庫中，因為有了之前的自定義倉儲之增刪改查的經驗，可以很快的處理這件事情，
添加物體類、自定義倉儲、DbSet、Code-First等一些列操作，就不一一介紹了，我相信看過之前文章的人都能完成這一步，
Wallpaper物體類包含主鍵Guid，標題Title，圖片地址Url，型別Type，和一個創建時間CreateTime，
自定義倉儲包含一個批量插入的方法：BulkInsertAsync(...)，
貼一下完成后的圖片，就不上代碼了，如果需要可以去GitHub獲取，
回到WallpaperJob，因為我們要抓取的是圖片，所以獲取到HTML中的img標簽就可以了，
查看源代碼發現圖片是一個串列呈現的，并且被包裹在//article[@id='wper']/div[@class='jbox']/div[@class='kbox']下面，學過XPath語法的就很容易了，關于XPath語法這里也不做介紹了，對于不會的這里有一篇快速入門的文章：https://www.cnblogs.com/meowv/p/11310538.html ，
利用XPath Helper工具我們在瀏覽器上模擬一下選擇的節點是否正確，
使用//article[@id='wper']/div[@class='jbox']/div[@class='kbox']/div/a/img可以成功將圖片高亮，說明我們的語法是正確的，
public async Task RunAsync()
{
...
var wallpapers = new List<Wallpaper>();
foreach (var list in list_task)
{
var item = await list;
var imgs = item.Result.DocumentNode.SelectNodes("//article[@id='wper']/div[@class='jbox']/div[@class='kbox']/div/a/img[1]").ToList();
imgs.ForEach(x =>
{
wallpapers.Add(new Wallpaper
{
Url = x.GetAttributeValue("data-big", ""),
Title = x.GetAttributeValue("title", ""),
Type = (int)item.Type,
CreateTime = x.Attributes["data-big"].Value.Split("/").Last().Split("_").First().TryToDateTime()
});
});
}
...
}
在 foreach 回圈中先拿到當前回圈的Item物件，即WallpaperJobItem<HtmlDocument>，
通過.DocumentNode.SelectNodes()語法獲取到圖片串列，因為在a標簽下面有兩個img標簽，取第一個即可，
GetAttributeValue()是HtmlAgilityPack的擴展方法，用于直接獲取屬性值，
在看圖片的時候，發現圖片地址的規則是根據時間戳生成的，于是用TryToDateTime()擴展方法將其處理轉換成時間格式，
這樣我們就將所有圖片按分類存進了串列當中，接下來呼叫批量插入方法，
在建構式中注入自定義倉儲IWallpaperRepository，
...
private readonly IWallpaperRepository _wallpaperRepository;
public WallpaperJob(IWallpaperRepository wallpaperRepository)
{
_wallpaperRepository = wallpaperRepository;
}
...
...
var urls = (await _wallpaperRepository.GetListAsync()).Select(x => x.Url);
wallpapers = wallpapers.Where(x => !urls.Contains(x.Url)).ToList();
if (wallpapers.Any())
{
await _wallpaperRepository.BulkInsertAsync(wallpapers);
}
因為抓取的圖片可能存在重復的情況，我們需要做一個去重處理，先查詢到資料庫中的所有的URL串列，然后在判斷抓取到的url是否存在，最后呼叫BulkInsertAsync(...)批量插入方法，
這樣就完成了資料抓取的全部邏輯，在保存資料到資料庫之后我們可以進一步操作，比如：寫日志、發送郵件通知等等，這里大家自由發揮吧，
寫一個擴展方法每隔3小時執行一次，
...
public static void UseWallpaperJob(this IServiceProvider service)
{
var job = service.GetService<WallpaperJob>();
RecurringJob.AddOrUpdate("壁紙資料抓取", () => job.ExecuteAsync(), CronType.Hour(1, 3));
}
...
最后在模塊內中呼叫，
...
public override void OnApplicationInitialization(ApplicationInitializationContext context)
{
...
service.UseWallpaperJob();
}
編譯運行，打開Hangfire界面手動執行看看效果，
完美，資料庫已經存入了不少資料了，還是要提醒一下：爬蟲有風險，抓數需謹慎，
Hangfire定時處理爬蟲任務，用HtmlAgilityPack抓取資料后存入資料庫，你學會了嗎？??????
開源地址：https://github.com/Meowv/Blog/tree/blog_tutorial
轉載請註明出處，本文鏈接：https://www.uj5u.com/net/20516.html
標籤：.NET Core