[C#]使用 AltCover 獲得代碼覆寫率 - E2E Test 和 Unit Test

背景

在 CI/CD 流程當中，測驗是 CI 中很重要的部分，跟開發人員關系最大的就是單元測驗，單元測驗撰寫完成之后，我們可以使用 IDE 或者 dot cover 等工具獲得單元測驗對于業務代碼的覆寫率，不過我們需要一個獨立的 CLI 工具，這樣我們才能夠在 Jenkins 的 CI 流程集成，

端到端測驗(End to End Test) 是在 Preview 版本部署完成之后，需要對 Preview 版本進行自動化測驗，測驗完成之后輸出對應的覆寫率報告，根據代碼覆寫率報告，我們可以了解 QA 撰寫的測驗用例，是否完整覆寫了所有分支流程，

實作

工具選型

單元測驗框架我選擇的是 xUnit，它對于 .NET Core 與 .NET Framework 的支持都不錯，并且也提供了獨立于 IDE 之外的 Console Runner，可以很方便地同 Jenkins 集成，

覆寫率收集工具我選擇的是 AltCover，因為它能夠收集到部署在 IIS 的 ASP.NET MVC 程式覆寫率指標，這樣我們就能夠對一些 .NET Framework 老專案進行測驗覆寫率匯總計算，AltCover 可以生成多種格式的覆寫率報告，默認格式是 OpenCover，

AltCover 生成的覆寫率報告并不是直接可讀的，我們需要一個工具來生成人類可以閱讀理解的報告，這里我選擇的是 ReportGenerator ，它支持 OpenCover 格式的覆寫率報告，并生成對應的 HTML 檔案方便查看，

.NET Framework 集成

我建立了一個簡單的 ASP.NET Web API 專案(.NET Framework 4.8)，提供了一個 ApiTestController 控制器，暴露了一個 HTTP POST 方法 CreateOrder，內部邏輯比較簡單，就是創建了一個新的 OrderAggregateRoot 實體，然后回傳了一個 Success 文本，

/// <summary>
/// ApiTestController.
/// </summary>
[Route("api/test")]
public class ApiTestController : ApiController
{
    private readonly IOrderRepository _orderRepository;

    /// <summary>
    /// <see cref="ApiTestController"/>.
    /// </summary>
    public ApiTestController()
    {
        _orderRepository = new FakeOrderRepository();
    }

    /// <summary>
    /// CreateOrder.
    /// </summary>
    [HttpPost]
    [Route("api/test/create")]
    public IHttpActionResult CreateOrder(CreateOrderInputDto input)
    {
        var newOrder = new OrderAggregateRoot(null, input.Items.Select(x => new OrderItem(x.Price, x.Number)).ToList());
        _orderRepository.InsertAsync(newOrder);

        return Ok("Success");
    }
}

單元測驗覆寫率報告

單元測驗專案建立比較簡單，我建立了一個 AltCoverTestUnitTest 專案，并且添加了 ASP.NET Web API 專案的參考，在內部添加了 AltCover 與 xUnit 相關包的參考，

AltCover 與 xUnit Console Runner 包安裝完成之后，對于 .NET Framework 專案來說，會在對應的解決方案目錄下面有一個 packages 檔案夾，在里面找到 packages\altcover.8.3.838\tools\net472 目錄，在這個目錄里面有一個 AltCover.exe 的可執行檔案，這個就是 AltCover 的 CLI 工具，

而 xUnit Console Runner 對應的 CLI 工具則在 packages\xunit.runner.console.2.4.2\tools\net472 中，根據自己的平臺使用 xunit.console.exe 或者是 xunit.console.x86.exe 均可，

隨后我們直接使用 MSBuild 命令/IDE 重新編譯一下單元測驗專案，轉到對應的 bin\Debug 目錄，在 .bin\Debug 目錄中，執行以下命令，將會生成一個新的檔案夾，里面會包含修改后的 DLL 檔案，

這里 CLI 工具的路徑，取決于你的實際路徑，就在你解決方案對應的 pacakges 里面，

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe /o=./__UnitTestWithAltCover -s=Adapter -s=Shouldly -s=Microsoft -t="Shouldly." -s="AltCover.Monitor" -t="System." -s=xunit -e="EmptyFiles" -e=Tests -r=".\_Reports\UnitTestWithAltCover.xml"

這里我解釋以下命令，其中 /o 引數指的是修改后 DLL 的輸出目錄，這里我指定的當前目錄下的 __UnitTestWithAltCover 檔案夾，-s 引數指的是需要排除的程式集名稱，支持通配符與正則運算式，-e 的作用與 -s 類似，具體可以查看 Usage ，最有一個 -r 引數指定報告的輸出路徑，也就是 OpenCover 格式的 XML 檔案輸出路徑，

為什么需要排除？因為我們的專案可能會參考很多第三方庫，這個時候我們為了減少報告的噪音，你也不想在報告里面看到一堆 Microsoft 的代碼吧，所以需要手動排除掉這些程式集，

為什么叫做修改后，因為執行命令后，AltCover 會重新生成一個新的 DLL，這個新的 DLL 反編譯后可以看到會在每行代碼插入 Instance.Visit() 來記錄代碼的訪問路徑，

命令執行完成之后，可以看到對應的覆寫率檔案生成了，但是這里面覆寫率是 0，因為我們的單元測驗還沒開始跑，

隨后我們執行下面的命令，使用 xUnit Console Runner 運行我們的單元測驗專案，

D:\CoverageTool\AltCoverTestRESFul\packages\xunit.runner.console.2.4.2\tools\net47\xunit.console.exe ./__UnitTestWithAltCover/AltCoverTestUnitTest.dll -xml "./_Reports/UnitTestWithAltCoverReport.xml"

第一個引數是需要執行的單元測驗 DLL，第二個引數 -xml 說明我們具體的執行結果輸出路徑，這里我們也輸出到了 _Reports 檔案夾，這個時候我們就有兩個 XML 檔案了，

切換到 _Reports 檔案夾，打開終端，我們這個時候需要使用 reportgeneator 工具，根據這兩個 XML 檔案生成人類可讀的 HTML 報告，

reportgenerator "-reports:UnitTestWithAltCover.xml;UnitTestWithAltCoverReport.xml" "-targetdir:coveragereport" -reporttypes:Html

上述命令的意思就是根據這兩個 xml ，在當前目錄的 coveragereport 檔案夾，生成一個新的 HTML 報告，

關于 reportgenerator 的安裝，可以參考官方的 線上工具，它會根據你選擇的情況回傳適合的安裝命令，我自己直接使用的 dotnet tool install --global dotnet-reportgenerator-globaltool 命令進行的安裝，

最后的效果:

IIS Web API 覆寫率報告

我們建立一個新的 IIS 站點，并將對應的 DLL 檔案放到對應的目錄下面，首先暫停對應 IIS 站點，并且停止對應的應用程式池，

隨后執行以下命令，將會修改對應的 DLL 檔案，以便后續進行覆寫率跟蹤，原理跟上面的一樣，

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe --save --inplace -i "D:\TempFiles\IIS\AltCoverTestWebSite\bin" -s=Adapter -s=Shouldly -s="Antlr3.Runtime" -s=Microsoft -t="Shouldly." -s="AltCover.Monitor" -t="System." -s=xunit -e="EmptyFiles" -e=Tests

執行完上述命令以后，將會在終端執行目錄下生成兩個檔案，一個是 coverage.xml ，一個是 coverage.xml.acv 檔案，后者是 AltCover 的控制檔案，用于記錄程式在運行程序中的執行代碼路徑，

隨后啟動對應的 IIS 站點與應用程式池，執行自動化測驗，或者呼叫對應的介面，

如果需要停止測驗了，需要將對應的 IIS 站點與應用程式池停止，只有停止了，AltCover 才會將已執行代碼路徑資訊寫入到對應的控制檔案當中，

可以看到 coverage.xml.0.acv 檔案已經有內容了，但是我們還需要將控制檔案的資訊合并到 coverage.xml 當中，這個時候需要執行第二個命令進行合并，

D:\CoverageTool\AltCoverTestRESFul\packages\altcover.8.3.838\tools\net472\AltCover.exe runner --collect -r "D:\TempFiles\IIS\AltCoverTestWebSite\bin"

output:

... D:\TempFiles\IIS\AltCoverTestWebSite\coverage.xml.0.acv (380b)
308 visits recorded in 00:00:00.0171096 (18,002 visits/sec)
A total of 308 visits recorded
Coverage statistics flushing took 0.04 seconds
Visited Classes 10 of 12 (83.33)
Visited Methods 14 of 22 (63.64)
Visited Points 65 of 93 (69.89)
Visited Branches 4 of 30 (13.33)
Maximum CRAP score 30
==== Alternative Results (includes all methods including those without corresponding source) ====
Alternative Visited Classes 13 of 15 (86.67)
Alternative Visited Methods 20 of 30 (66.67)
Alternative maximum CRAP score 30

可以看到控制臺的輸出已經有 308 visits recorded，隨后我們使用 reportgenerator 工具生成 HTML 報告，

.NET Core 集成

單元測驗覆寫率報告

集成方法同 .NET Framework 一樣，

ASP .NET Core 覆寫率報告

這里我使用的是 dotnet tool 安裝的 altcover 命令，安裝命令如下，前提是你得有 .NET Core 運行時，

dotnet tool install --global altcover.global --version

隨后編譯對應的 ASP.NET Core 專案，并且在對應的 bin\Debug 目錄打開終端，執行以下命令進行準備作業，

altcover /o=./__UnitTestWithAltCover -i .

隨后使用 altcover runner 命令啟動對應的程式，

altcover runner -x .\__UnitTestWithAltCover\AltCoverTestRESTFulCore.exe -r .\__UnitTestWithAltCover\

如果已經完成了測驗，請終止掉對應的行程，否則 AltCover 不會將資料寫入到 XML 檔案，最后也使用 reportgenerator 工具生成 HTML 報告，

總結

如果你的專案是基于 .NET Core ，那么可以直接選擇微軟主推的 coverlet ，AltCover 對于 .NET Framework、Mono、.NET Core 專案都有不錯的支持，并且作者維護得也很勤快，

標籤：C#

上一篇：PerfView專題 (第二篇)：如何尋找 C# 中的 Heap堆記憶體泄漏

下一篇：iNeuOS工業互聯網作業系統，在航天和軍工測控領域的應用