系列文章
- 基于 abp vNext 和 .NET Core 開發博客專案 - 使用 abp cli 搭建專案
- 基于 abp vNext 和 .NET Core 開發博客專案 - 給專案瘦身,讓它跑起來
- 基于 abp vNext 和 .NET Core 開發博客專案 - 完善與美化,Swagger登場
- 基于 abp vNext 和 .NET Core 開發博客專案 - 資料訪問和代碼優先
- 基于 abp vNext 和 .NET Core 開發博客專案 - 自定義倉儲之增刪改查
- 基于 abp vNext 和 .NET Core 開發博客專案 - 統一規范API,包裝回傳模型
- 基于 abp vNext 和 .NET Core 開發博客專案 - 再說Swagger,分組、描述、小綠鎖
- 基于 abp vNext 和 .NET Core 開發博客專案 - 接入GitHub,用JWT保護你的API
- 基于 abp vNext 和 .NET Core 開發博客專案 - 例外處理和日志記錄
- 基于 abp vNext 和 .NET Core 開發博客專案 - 使用Redis快取資料
- 基于 abp vNext 和 .NET Core 開發博客專案 - 集成Hangfire實作定時任務處理
- 基于 abp vNext 和 .NET Core 開發博客專案 - 用AutoMapper搞定物件映射
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰(一)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰(二)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 定時任務最佳實戰(三)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇(一)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇(二)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇(三)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇(四)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 博客介面實戰篇(五)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(一)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(二)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(三)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(四)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(五)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(六)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(七)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(八)
- 基于 abp vNext 和 .NET Core 開發博客專案 - Blazor 實戰系列(九)
- 基于 abp vNext 和 .NET Core 開發博客專案 - 終結篇之發布專案
上一篇(https://www.cnblogs.com/meowv/p/12974439.html)完成了全網各大平臺的熱點新聞資料的抓取,本篇繼續圍繞抓取完成后的操作做一個提醒,當每次抓取完資料后,自動發送郵件進行提醒,
在開始正題之前還是先玩一玩之前的說到卻沒有用到的一個庫PuppeteerSharp,
PuppeteerSharp:Headless Chrome .NET API ,它運用最多的應該是自動化測驗和抓取異步加載的網頁資料,更多介紹可以看GitHub:https://github.com/hardkoded/puppeteer-sharp ,
我這里主要來試試它的異步抓取功能,同時它還能幫我們生成網頁截圖或者PDF,
如果沒有安裝可以先安裝一下,在.BackgroundJobs層安裝PuppeteerSharp:Install-Package PuppeteerSharp
在Jobs檔案夾下新建一個PuppeteerTestJob.cs,繼承IBackgroundJob,同樣是在ExecuteAsync()方法中執行操作,
//PuppeteerTestJob.cs
using System;
using System.Threading.Tasks;
namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
throw new NotImplementedException();
}
}
}
使用 await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision); 第一次檢測到沒有瀏覽器檔案會默認幫我們下載 chromium 瀏覽器,
DownloadAsync(...)可以指定 Chromium 版本,BrowserFetcher.DefaultRevision 下載當前默認最穩定的版本,
然后配置瀏覽器啟動的方式,
using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
Headless = true,
Args = new string[] { "--no-sandbox" }
});
感興趣的可以自己看看LaunchOptions有哪些引數,我這里指定了Headless = true 以無頭模式運行瀏覽器,然后加了一個啟動引數 "--no-sandbox",針對Linux環境下,如果是運行在 root 權限下,在啟動 Puppeteer 時要添加 "--no-sandbox" 引數,否則 Chromium 會啟動失敗,
我們打開一個異步加載的網頁,然后獲取到頁面加載完后的HTML,以我個人博客中的某個單頁為例:https://meowv.com/wallpaper ,
//PuppeteerTestJob.cs
using PuppeteerSharp;
using System.Threading.Tasks;
namespace Meowv.Blog.BackgroundJobs.Jobs.PuppeteerTest
{
public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
await new BrowserFetcher().DownloadAsync(BrowserFetcher.DefaultRevision);
using var browser = await Puppeteer.LaunchAsync(new LaunchOptions
{
Headless = true,
Args = new string[] { "--no-sandbox" }
});
using var page = await browser.NewPageAsync();
await page.SetViewportAsync(new ViewPortOptions
{
Width = 1920,
Height = 1080
});
var url = "https://meowv.com/wallpaper";
await page.GoToAsync(url, WaitUntilNavigation.Networkidle0);
var content = await page.GetContentAsync();
}
}
}
page.SetViewportAsync()設定網頁預覽大小,page.GoToAsync()語法打開網頁,WaitUntilNavigation.Networkidle0等待網頁加載完畢,使用page.GetContentAsync()獲取到HTML,
新建擴展方法,呼叫這個PuppeteerTestJob的ExecuteAsync()方法,除錯看看效果,

HTML已經出來了,此時該干嘛就干嘛就可以了,
第一次運行可能會很慢,因為如果你本地不存在 Chromium 是會去幫我們下載的,因為網路原因可能會下載的很慢,所以推薦大家手動下載,
可以使用淘寶的源:https://npm.taobao.org/mirrors/chromium-browser-snapshots/ ,
要注意的是,下載完成后的解壓的路徑不能出錯,默認下載地址是在啟動目錄下面,
Windows:..\.local-chromium\Win64-706915\chrome-win 、 Linux:../.local-chromium/Linux-706915/chrome-linux
接下來試試生成PDF和保存圖片功能,使用方式也很簡單,
await page.PdfAsync("meowv.pdf",new PdfOptions { });
await page.ScreenshotAsync("meowv.png", new ScreenshotOptions
{
FullPage = true,
Type = ScreenshotType.Png
});
這里只做簡單的展示,page.PdfAsync()直接生成PDF檔案,同時還有很多方法可以自己呼叫page.試試,PdfOptions選項中可以設定各種引數,
page.ScreenshotAsync()保存圖片,ScreenshotOptions中FullPage可以設定保存圖片為全屏模式,圖片格式為Png型別,

可以看到專案根目錄已經生成了圖片和PDF,感覺去試試吧,
接下里來實作發送郵件的功能,
我這里發郵件的賬號是用的騰訊企業郵箱,也可以用普通郵箱開通SMTP服務即可,
在appsettings.json配置收發郵件的賬號等資訊,
//appsettings.json
"Email": {
"Host": "smtp.exmail.qq.com",
"Port": 465,
"UseSsl": true,
"From": {
"Username": "[email protected]",
"Password": "[Password]",
"Name": "MEOWV.COM",
"Address": "[email protected]"
},
"To": [
{
"Name": "test1",
"Address": "[email protected]"
},
{
"Name": "test2",
"Address": "[email protected]"
}
]
}
然后再AppSettings中讀取配置的項,
//AppSettings.cs
public static class Email
{
/// <summary>
/// Host
/// </summary>
public static string Host => _config["Email:Host"];
/// <summary>
/// Port
/// </summary>
public static int Port => Convert.ToInt32(_config["Email:Port"]);
/// <summary>
/// UseSsl
/// </summary>
public static bool UseSsl => Convert.ToBoolean(_config["Email:UseSsl"]);
/// <summary>
/// From
/// </summary>
public static class From
{
/// <summary>
/// Username
/// </summary>
public static string Username => _config["Email:From:Username"];
/// <summary>
/// Password
/// </summary>
public static string Password => _config["Email:From:Password"];
/// <summary>
/// Name
/// </summary>
public static string Name => _config["Email:From:Name"];
/// <summary>
/// Address
/// </summary>
public static string Address => _config["Email:From:Address"];
}
/// <summary>
/// To
/// </summary>
public static IDictionary<string, string> To
{
get
{
var dic = new Dictionary<string, string>();
var emails = _config.GetSection("Email:To");
foreach (IConfigurationSection section in emails.GetChildren())
{
var name = section["Name"];
var address = section["Address"];
dic.Add(name, address);
}
return dic;
}
}
}
分別介紹下每項的含義:
Host:發送郵件服務器地址,Port:服務器地址埠號,UseSsl:是否使用SSL方式,From:發件人的賬號密碼,名稱及郵箱地址,一般郵箱地址和賬號是相同的,To:收件人郵箱串列,也包含名稱和郵箱地址,
收件人郵箱串列我將其讀取為IDictionary<string, string>了,key是名稱,value是郵箱地址,
接著在.ToolKits層添加一個EmailHelper.cs,收發郵件我選擇了MailKit和MailKit兩個庫,沒有安裝的先安裝一下,Install-Package MailKit、Install-Package MimeKit,
直接新建一個發送郵件的方法SendAsync(),按照要求將基本的配置資訊填進去,然后直接呼叫即可,
//EmailHelper.cs
using MailKit.Net.Smtp;
using Meowv.Blog.Domain.Configurations;
using MimeKit;
using System.Linq;
using System.Threading.Tasks;
namespace Meowv.Blog.ToolKits.Helper
{
public static class EmailHelper
{
/// <summary>
/// 發送Email
/// </summary>
/// <param name="message"></param>
/// <returns></returns>
public static async Task SendAsync(MimeMessage message)
{
if (!message.From.Any())
{
message.From.Add(new MailboxAddress(AppSettings.Email.From.Name, AppSettings.Email.From.Address));
}
if (!message.To.Any())
{
var address = AppSettings.Email.To.Select(x => new MailboxAddress(x.Key, x.Value));
message.To.AddRange(address);
}
using var client = new SmtpClient
{
ServerCertificateValidationCallback = (s, c, h, e) => true
};
client.AuthenticationMechanisms.Remove("XOAUTH2");
await client.ConnectAsync(AppSettings.Email.Host, AppSettings.Email.Port, AppSettings.Email.UseSsl);
await client.AuthenticateAsync(AppSettings.Email.From.Username, AppSettings.Email.From.Password);
await client.SendAsync(message);
await client.DisconnectAsync(true);
}
}
}
SendAsync(...)接收一個引數MimeMessage物件,這樣就完成了一個通用的發郵件方法,接著我們去需要發郵件的地方構造MimeMessage,呼叫SendAsync(),
//WallpaperJob.cs
...
// 發送Email
var message = new MimeMessage
{
Subject = "【定時任務】壁紙資料抓取任務推送",
Body = new BodyBuilder
{
HtmlBody = $"本次抓取到{wallpapers.Count()}條資料,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
}.ToMessageBody()
};
await EmailHelper.SendAsync(message);
...
//HotNewsJob.cs
...
// 發送Email
var message = new MimeMessage
{
Subject = "【定時任務】每日熱點資料抓取任務推送",
Body = new BodyBuilder
{
HtmlBody = $"本次抓取到{hotNews.Count()}條資料,時間:{DateTime.Now:yyyy-MM-dd HH:mm:ss}"
}.ToMessageBody()
};
await EmailHelper.SendAsync(message);
...
分別在兩個爬蟲腳本中添加發送Email,MimeMessage中設定了郵件主題Subject,正文Body,最后呼叫await EmailHelper.SendAsync(message)執行發送郵件操作,
編譯運行執行兩個定時任務,看看能否收到郵件提醒,

成功了,郵箱收到了兩條提醒,
還有一種比較特殊的用法,也介紹一下,如果想要發送帶圖片的郵件怎么操作呢?注意不是附件,是將圖片內嵌在郵箱中,
一般常規都是有郵件模板的,將圖片的具體地址插入到img標簽中,這就不說了,這里選擇另外一種方式,以前面添加的PuppeteerTestJob為例,正好我們生成了一張圖片的,將這種圖片以郵件的形式發出去,
public class PuppeteerTestJob : IBackgroundJob
{
public async Task ExecuteAsync()
{
var path = Path.Combine(Path.GetTempPath(), "meowv.png");
...
await page.ScreenshotAsync(path, new ScreenshotOptions
{
FullPage = true,
Type = ScreenshotType.Png
});
// 發送帶圖片的Email
var builder = new BodyBuilder();
var image = builder.LinkedResources.Add(path);
image.ContentId = MimeUtils.GenerateMessageId();
builder.HtmlBody = "當前時間:{0}.<img src=https://www.cnblogs.com/"cid:{1}\"/>".FormatWith(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss"), image.ContentId);
var message = new MimeMessage
{
Subject = "【定時任務】每日熱點資料抓取任務推送",
Body = builder.ToMessageBody()
};
await EmailHelper.SendAsync(message);
}
}
先確定我們生成圖片的路徑 path ,將圖片生成Message-Id,然后賦值給ContentId,給模板中<img src=https://www.cnblogs.com/"cid:{1}\"/>圖片標簽cid賦上值在呼叫發送郵件方法即可,

成功收到郵件,搞定了,你學會了嗎???????
開源地址:https://github.com/Meowv/Blog/tree/blog_tutorial
基于 abp vNext 和 .NET Core 開發博客專案,截止到本篇所用到的基礎模塊算是寫完了,如果對您有些許幫助請多多分享,我的所有原創文章都首發于我發個人公眾號:阿星Plus ,
下面有二維碼可以直接掃一掃,如果你不想關注也沒有關系,博客園我也會同步過來的,
不管因為什么,如果你在學習這個專案或者跟著我一起做這個專案,里面肯定還是有瑕疵的,大家可以根據自己的需求自行修改,
接下來應該還會更新博客所用到的介面,這個純屬于CRUD,可以自己先行開發,我這邊目前也不知道以什么樣的方式展現給大家是最好的選擇,
轉載請註明出處,本文鏈接:https://www.uj5u.com/net/20525.html
標籤:.NET Core
上一篇:abp(net core)+easyui+efcore實作倉儲管理系統——出庫管理之一(四十九)
下一篇:Elasticsearch 入門(三)使用Elasticsearch.Net & NEST作為elasticsearch客戶端
