1、背景

最近抖音上測一測你的動漫人物有點火啊，感覺不過癮，我想要隨時穿越二次元，動手用HaaS開發板打造一臺二次元穿越小電視，大家排隊來穿越吧！

2、人物動漫化原理

在安防、新聞媒體等行業，為保護影像中的人物隱私，將人物卡通化，可避免識別出原人物是誰，與馬賽克等處理方法相比，更具趣味性，更易于用戶接受提升用戶體驗，由于生成對抗網路（GAN）在影像生成領域和視頻生成領域具有巨大的發展潛力，許多研究者嘗試從GAN入手，實作動漫影像的自動生成，

目前已有的動漫影像生成方式主要分為兩種，第一種，是基于已有的真實人臉圖片，進行人臉風格遷移，利用影像處理技術將原始影像內容與動漫風格圖形相融合，實作動漫風格轉換，如下圖，雖然風格遷移技術已經有豐富研究成果，但有一些缺陷依然無法避免，例如：生成的卡通影像表情單一、面部特征畸變、網路結構復雜等問題，

第二種方法，是將已有的動漫人物影像，輸入到訓練好的生成對抗神經網路模型中，對動漫影像的面部進行特征提取，最后訓練出一組網路模型，實作自動生成新的動漫人物影像，

現在用于動漫化的GAN神經網路有多種可以選擇，比如清華大學研究人員提出的CartoonGAN，以及GoodFellow 2014年提出的DCGAN，加州伯克利大學分校提出的CycleGAN等等，各有優缺點，本例使用阿里達摩院演算法，基于cycleGAN構建了風格引導的門控回圈映射網路（Gated Cyclic Mapping），使得網路更容易學習到真人到卡通人物轉換中夸張的幾何形變，從而實作更加真實自然的效果，

3、整體方案

3.1、方案設計

看過前面給大家帶來的“老板來了”這個監控老板的案例《HaaS AI 應用實踐“老板來了”系列之一 ：整體方案》，應該比較熟悉如何使用HaaS AI來打造案例了，通過這個個案例，舉一反三再來一個人物動漫化也不在話下，

3.2、材料清單

3.3、制作程序

3.2.1、硬體連線

通過母對母的杜邦線將HaaS擴展口與SPI LCD屏連接起來，

3.2.2、機箱制作

回應國家提倡環保，我們把廢棄的HaaS開發板包裝二次利用，用來做小電視的機箱，下面是完工后的造型：

3.2.2、攝像頭畫面采集

通過ESP32-EYE連接WiFi攝像頭，HaaS100將WiFi天線扣上，確保WiFi信號良好，如何進行畫面采集請參考

《HaaS AI 應用實踐“老板來了”系列之二 ：WiFi攝像頭人像采集》

3.2.3 人物動漫化實作

人物動漫化功能開通

人物動漫化使用阿里云視覺智能開放平臺進行，先來開通人物動漫化功能：

只要開通了人臉人體功能，無需再開通，免費開通既有2QPS的不限量免費呼叫，先來網站上體驗一下吧！

人物動漫化功能的詳細介紹參考：https://help.aliyun.com/document_detail/188840.html

OSS影像上傳

現在我們要使用云端AI能力來實作人物動漫化，前面整體方案已經提到使用OSS上傳本地采集的影像，并使用視覺智能平臺進行人物動漫化，那么如何將采集的畫面上傳OSS請參考：

《HaaS AI 應用實踐“老板來了”系列之三：OSS影像上傳》

HaaS設備端開發

采集到人物圖片后，先上傳圖片到OSS，再進行人物動漫化處理：

int ucloud_ai_facebody_generate_human_anime_style(char *path, facebody_generate_human_anime_stype_cb_t cb)
{
    int ret;
    int len;
    char *tmp_upload_url, p_upload_url[128];

    /*上傳采集到到人物圖片*/
    tmp_upload_url = upload_local_file(path, OSS_ACCESS_KEY, \
                                       OSS_ACCESS_SECRET, NULL , OSS_ENDPOINT, OSS_BUCKET);
    if (!tmp_upload_url) {
        LOGE(TAG, "url is null\n");
        return -1;
    }
    len = strlen(tmp_upload_url);
    memcpy(p_upload_url, tmp_upload_url, len);
    p_upload_url[len] = '\0';

    /*呼叫人物動漫化云端模型實作人物影片化*/
    ret = facebody_generate_human_anime_style_ai(p_upload_url, cb);
    return ret;
}

人物動漫化云端模型呼叫步驟：

int facebody_generate_human_anime_style_ai(char *url, facebody_generate_human_anime_stype_cb_t cb) {
    /*初始化SDK*/
    InitializeSdk();
    /*設定云端訪問引數*/
    configuration.setRegionId(CLOUD_AI_REGION_ID);
    configuration.setEndpoint(CLOUD_AI_FACEBODY_ENDPOINT);
    FacebodyClient client(key, secret, configuration);
    Model::GenerateHumanAnimeStyleRequest request;
    string tmpImageURL, outImageURL;
    int ret;

    /*設定請求方式為POST*/
    tmpImageURL = url;
    request.setScheme("http");
    request.setMethod(HttpRequest::Method::Post);
    request.setImageURL(tmpImageURL);

    /*請求進行人物動漫化*/
    auto outcome = client.generateHumanAnimeStyle(request);
    cout << endl << "facebody describeInstances returned:" << endl;
    cout << "error code: " << outcome.error().errorCode() << endl;
    cout << "requestId: " << outcome.result().requestId() << endl << endl;
    cout << "image url:" << outcome.result().getData().imageURL << endl;

    /*回傳人物動漫化后的圖片地址，并進行通過cb函式實作圖片下載*/
    outImageURL = outcome.result().getData().imageURL;
    if (!outImageURL.empty() && cb) {
        ret = cb((char *)outImageURL.c_str());
    }
    /*關閉SDK*/
    ShutdownSdk();
    return ret;
}

callback函式實作人物動漫化圖片下載及顯示：

int generate_human_anime_styple_callback(char *out_url)
{
    int ret;
    long size;
    int recv_len = 0;;

    if (!out_url) {
        LOGE(TAG, "out_url is null\n");
        return -1;
    }
    /*下載人物動漫化圖片*/
    LOG("out_url: %s\n", out_url);
    /*get image by url*/
    ret = ucloud_ai_connect(out_url);
    if(HTTP_SUCCESS != ret) {
        LOGE(TAG, "ucloud_ai_connect failed, ret: %d\n", ret);
        return -1;
    }

    recv_len = ucloud_ai_get_stream(out_url);
    LOG("image recv_len: %d", recv_len);
    ucloud_ai_disconnect();
    if (!recv_len) {
        LOGE(TAG, "recv_len is %d\n", recv_len);
        return -1;
    }

    /*save human anime style image*/
    ret = ucloud_ai_save_image("/data/humananime.png"/>4.1、下載代碼 
參考《HaaS100快速開始》下載AliOS Things代碼，
 
git clone https://github.com/alibaba/AliOS-Things.git -b dev_3.1.0_haas
 
4.2、設備端配置
 
前面通過開通OSS，視覺智能開放平臺功能獲取到賬號及域相關資訊，配置到sdkconfig.h中，并選擇AI_MODEL，同時將前面獲取到的WiFi攝像頭IP也更新進來，
 
 
 
 
4.3、代碼編譯
 
1. $aos make distclean
2. $aos make ucloud_ai_demo@haas100 -c config
3. $aos make
 
4.4、代碼燒錄
 
如果是使用的Window燒錄工具參考《HaaS100快速開始》，燒錄的檔案位于：
 
1. $./out/ucloud_ai_demo@haas100/binary/ucloud_ai_demo@haas100.bin
2. $./platform/mcu/haas1000/release/write_flash_tool/ota_bin/littlefs.bin
 
將檔案ucloud_ai_demo@haas100.bin和littlefs.bin分別替換write_flash_gui/ota_bin/ota_rtos.bin和write_flash_gui/ota_bin/littlefs.bin，
 
如果使用的是docker環境請參考《一步搞定AliOS Things開發環境安裝》4.3燒錄韌體，
 
4.5、網路連接
 
因為HaaS開發板需要連接到云端，因此需要連接到一個可以上外網的路由器，WiFi攝像頭也只能使用Station模式連接到同一臺路由器，例如：
 
$netmgr -t wifi -c haas_open 12345678
 
5、效果展示
 
網路連上后就可以直接體驗效果了：
 
 
6、開發者技術支持
 
如需更多技術支持，可加入釘釘開發者群，或者關注微信公眾號
 
 
更多技術與解決方案介紹，請訪問阿里云AIoT首頁https://iot.aliyun.com/