教程 | Datavines 自定義資料質量檢查規則（Metric）-有解無憂

Metric 是 Datavines 中一個核心概念，一個 Metric 表示一個資料質量檢查規則，比如空值檢查和表行數檢查都是一個規則，Metric 采用插件化設計，用戶可以根據自己的需求來實作一個 Metric，下面我們來詳細講解一下如何自定義Metric，

第一步

我們先了解下幾個介面和抽象類，它們是實作自定義 Metric 的關鍵，

SqlMetric 介面

SqlMetric介面中定義了規則的各種屬性和操作的介面，

@SPI
public interface SqlMetric {
    // 中文名
    String getName();
    // 英文名
    String getZhName();
    // 根據系統的語言進行名字回傳
    default String getNameByLanguage(boolean isEn) {
        return isEn ? getName() : getZhName();
    }
    // 規則屬于哪個維度，比如準確性、唯一性等等
    MetricDimension getDimension();
    // 規則的型別，包括單表檢查、單表自定義檢查
    MetricType getType();
    // 規則的級別，比如表級別、列級別
    default MetricLevel getLevel() {
        return MetricLevel.NONE;
    }
    // 是否支持錯誤資料輸出
    boolean isInvalidateItemsCanOutput();

    /**
     * 獲取不符合規則的資料的SQL陳述句
     * @return ExecuteSql
     */
    ExecuteSql getInvalidateItems(String uniqueKey);

    /**
     * 計算實際值的SQL陳述句
     * @return ExecuteSql
     */
    ExecuteSql getActualValue(String uniqueKey);

    /**
     * 實際值的欄位名
     */
    default String getActualName() {
        return "actual_value";
    }
    // 實際值的型別，比如數字，百分比或者串列
    default String getActualValueType() {
        return MetricActualValueType.COUNT.getDescription();
    }
    // 對引數進行檢查并輸出檢查結果
    CheckResult validateConfig(Map<String,Object> config);
    //規則所需要的引數
    Map<String, ConfigItem> getConfigMap();
    //構造規則前需要做的檢查
    void prepare(Map<String,String> config);

    default String getIssue() {
        return "";
    }
    // 適合哪些欄位型別
    List<DataVinesDataType> suitableType();
    // 是否支持多選，比如表行數檢查支持多張表
    default boolean supportMultiple() {
        return false;
    }
    // 對規則引數的重新構造，配合表行數多張表檢查
    default List<Map<String,Object>> getMetricParameter(Map<String,Object> metricParameter) {
        return Collections.singletonList(metricParameter);
    }
}

BaseSingleTable 抽象類

BaseSingleTable是實作了 SqlMetric 介面的抽象類，實作了表級別檢查規則中所需要引數的添加、錯誤資料SQL陳述句構造和實際值計算SQL陳述句構造和對過濾條件的處理等，

這里定義了獲取不符合規則的資料的基礎SQL陳述句，判斷型別的規則比如正則運算式檢查和列舉值檢查，只需要在基礎SQL陳述句后面添加過濾條件即可，

    protected StringBuilder invalidateItemsSql = new StringBuilder("select * from ${table}");

實際值計算SQL陳述句默認是計算不符合規則資料的行數

String actualValueSql = "select count(1) as actual_value_"+ uniqueKey +" from ${invalidate_items_table}";

計算平均值、匯總值等統計型別的規則需要重新實作getActualValue()中的ExecuteSql，

public abstract class BaseSingleTable implements SqlMetric {
    // 這里定義了獲取不符合規則的資料的基礎 SQL 陳述句，判斷類的規則比如正則運算式和列舉值檢查，只需要在基礎SQL后面添加過濾條件即可，
    protected StringBuilder invalidateItemsSql = new StringBuilder("select * from ${table}");

    protected List<String> filters = new ArrayList<>();

    protected HashMap<String,ConfigItem> configMap = new HashMap<>();

    protected Set<String> requiredOptions = new HashSet<>();

    public BaseSingleTable() {
        configMap.put("table",new ConfigItem("table", "表名", "table"));
        configMap.put("filter",new ConfigItem("filter", "過濾條件", "filter"));

        requiredOptions.add("table");
    }

    @Override
    public ExecuteSql getInvalidateItems(String uniqueKey) {
        ExecuteSql executeSql = new ExecuteSql();
        executeSql.setResultTable("invalidate_items_" + uniqueKey);
        executeSql.setSql(invalidateItemsSql.toString());
        executeSql.setErrorOutput(isInvalidateItemsCanOutput());
        return executeSql;
    }

    @Override
    public ExecuteSql getActualValue(String uniqueKey) {
        ExecuteSql executeSql = new ExecuteSql();
        executeSql.setResultTable("invalidate_count_" + uniqueKey);
        String actualValueSql = "select count(1) as actual_value_"+ uniqueKey +" from ${invalidate_items_table}";
        executeSql.setSql(actualValueSql);
        executeSql.setErrorOutput(false);
        return executeSql;
    }

    @Override
    public CheckResult validateConfig(Map<String, Object> config) {
        return ConfigChecker.checkConfig(config, requiredOptions);
    }

    @Override
    public void prepare(Map<String, String> config) {
        if (config.containsKey("filter")) {
            filters.add(config.get("filter"));
        }

        addFiltersIntoInvalidateItemsSql();
    }

    private void addFiltersIntoInvalidateItemsSql() {
        if (filters.size() > 0) {
            invalidateItemsSql.append(" where ").append(String.join(" and ", filters));
        }
    }

    @Override
    public MetricLevel getLevel() {
        return MetricLevel.TABLE;
    }
}

BaseSingleTableColumn 抽象類

BaseSingleTableColumn是列級別的抽象實作類，主要是添加列級別規則的通用引數，

public abstract class BaseSingleTableColumn extends BaseSingleTable {

    public BaseSingleTableColumn() {
        super();
        configMap.put("column",new ConfigItem("column", "列名", "column"));
        requiredOptions.add("column");
    }

    @Override
    public Map<String, ConfigItem> getConfigMap() {
        return configMap;
    }

    @Override
    public MetricLevel getLevel() {
        return MetricLevel.COLUMN;
    }

    @Override
    public boolean isInvalidateItemsCanOutput() {
        return false;
    }
}

第二步

了解完上面的三個基礎類以后，自定義一個Metric就變得格外簡單了，

基礎作業

在 datavines-metric-plugins 下創建一個新規則的 module

在 pom.xml 中添加

 <dependency>
     <groupId>io.datavines</groupId>
     <artifactId>datavines-metric-base</artifactId>
     <version>${project.version}</version>
 </dependency>

以列舉值檢查規則為例來講解

判斷要實作的規則的級別，因為列舉值檢查是列級別，所以繼承 BaseSingleTableColumn 即可，
在建構式中的configMap添加enum_list引數用于回傳給前端進行展示，在requiredOptions添加enum_list用于引數的檢查，
實作英文名、中文名、規則維度、規則型別這些基礎的屬性，
因為列舉值檢查規則是為了找出在列舉值串列中的資料，所以只需要在fileters這個陣列里面加入(${column} in ( ${enum_list} ))，prepare()方法會自動進行不符合規則的SQL陳述句構造，
實作suitableType()方法添加規則適用的欄位型別，

public class ColumnInEnums extends BaseSingleTableColumn {

    public ColumnInEnums(){
        super();
        configMap.put("enum_list",new ConfigItem("enum_list", "列舉值串列", "enum_list"));
        requiredOptions.add("enum_list");
    }

    @Override
    public String getName() {
        return "column_in_enums";
    }

    @Override
    public String getZhName() {
        return "列舉值檢查";
    }

    @Override
    public MetricDimension getDimension() {
        return MetricDimension.EFFECTIVENESS;
    }

    @Override
    public MetricType getType() {
        return MetricType.SINGLE_TABLE;
    }

    @Override
    public boolean isInvalidateItemsCanOutput() {
        return true;
    }

    @Override
    public void prepare(Map<String, String> config) {
        if (config.containsKey("enum_list") && config.containsKey("column")) {
            filters.add(" (${column} in ( ${enum_list} )) ");
        }
        super.prepare(config);
    }

    @Override
    public List<DataVinesDataType> suitableType() {
        return Arrays.asList(DataVinesDataType.NUMERIC_TYPE, DataVinesDataType.STRING_TYPE, DataVinesDataType.DATE_TIME_TYPE);
    }
}

第三步

非常重要的一步

在 resources 目錄下創建META-INF/plugins目錄，
在 plugins 目錄下創建檔案并且命名為io.datavines.metric.api.SqlMetric，
在檔案中添加column_in_enums=io.datavines.metric.plugin.ColumnInEnums，

第四步

打包成jar放到 datavines 目錄下的libs目錄下即可，

收工！自定義 Metric 就這樣輕松搞定了，

加入我們

Datavines 的目標是成為更好的資料可觀測性領域的開源專案，為更多的用戶去解決元資料管理和資料質量管理中遇到的問題，在此我們真誠歡迎更多的貢獻者參與到社區建設中來，和我們一起成長，攜手共建更好的社區，

專案地址： https://github.com/datavane/datavines
問題和建議： https://github.com/datavane/datavines/issues
貢獻代碼： https://github.com/datavane/datavines/pulls

關于Datavane

Datavane 是一個專注于大資料領域的開源組織(社區)，由一群大資料領域優秀的開源專案作者共同創建，旨在幫助開源專案作者更好的建設專案、為大眾提供高質量的開源軟體，宗旨是：只為做一個好軟體，目前已經聚集了一批優質的開源專案，涉及到資料集成、大資料組件管理、資料質量等，

在 Datavane 社區中，所有的專案都是開源開放的，代碼質量和架構設計優質的潛力專案，社區保持開放中立、協作創造、堅持精品，鼓勵所有的開發者、用戶和貢獻者積極參與我們的社區、共同合作，創新創造，建設一個更加強大的開源社區，

官網: http://www.datavane.org/
Github : https://github.com/datavane

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/556082.html

標籤：其他

上一篇：NetBeans連接SQLServer2008配置

下一篇：返回列表

教程 | Datavines 自定義資料質量檢查規則（Metric）

第一步