摘要

虛擬人和數字人是人工智能技術在現實生活中的具體應用，它們可以為人們的生活和作業帶來便利和創新，在直播間場景里，虛擬人和數字人可用于直播主播、智能客服、營銷推廣等，接入GPT的虛擬人像是加了超強buff，具備更強大的自然語言處理能力和智能對話能力，可以實作更加智能化、自然化的人機互動，

直播主播：虛擬人可以作為直播間的主播角色，通過與粉絲的對話和互動，提高粉絲的互動效果和興趣
代替客服：數字人可以作為客服角色，通通過自然語言處理和智能對話，解決客戶的問題，并提高客戶滿意度，
營銷推廣：虛擬人可以作為品牌形象進行推廣，數字人可以通過客觀資料進行精準營銷，提高粉絲的黏性和忠誠度，

前言

續上一篇文章《「GPT虛擬直播」實戰篇｜GPT接入虛擬人實作直播間彈幕回復》，我們實作了ChatGPT與ZIM的對接，使得加入聊天群組就相當于加入了直播間，實時與ChatGPT文字互動，但還缺了點什么：直播間可不是只有文字，還有主播！接下來進入本文主題：如何接入虛擬人直播，

虛擬主播我們可以通過即構Avatar進行個人化定制，之前在他們《官網》體驗過Avatar Demo,一鍵可以打造多元化風格，支持Q版、二次元、動漫、擬人等多種風格，即構自研虛擬形象引擎強大AI驅動能力，四種驅動方式：表情驅動、聲音驅動、文本驅動、肢體驅動，根據本期Demo需求定制了擬人版本的主播小姐姐，即構AvatarQ版形象軟萌可愛含豐富的服飾和妝容素材庫，推薦大家去體驗，即構Avatar的文本驅動方式剛好符合咱們的業務需求，

微信圖片_20230529131522.png

1 加入ZIM房間，實時收發訊息

加入ZIM房間跟上一篇文章介紹的nodejs版原理一致：

先登錄ZIM

加入房間或創建房間

發送彈幕

監聽房間訊息，如果來自ChatGPT則朗讀

1.1 創建ZIM物件

首先引入ZIM庫后，可以呼叫ZIM的create函式創建ZIM物件，然后呼叫ZIM物件的setEventHandler函式，將ZIMEventHandler物件傳入，ZIMEventHandler主要用于處理一些回呼事件如用戶上線等回呼事件，

public class ZIMMngr {
    /**
     * 創建ZIM物件
    */
    private ZIM createZIM(Application app, ZIMEventHandler handler) {
        // 創建 ZIM 物件，傳入 APPID 與 Android 中的 Application
        ZIM zim = ZIM.create(KeyCenter.APP_ID, app);
        zim.setEventHandler(handler);
        return zim;
    }
    //其他代碼略...
}

1.2 群聊-登錄、創建房間、加入房間

登錄即構服務首選需要token，生成token演算法在附件原始碼已經給出，直接呼叫即可，但是需要注意，在這個Demo中直接在客戶端上生成了，這是非常危險的操作，因為你的密鑰和appid暴露出來了，黑客可以通過密鑰和appid蹭你的額度費用，因此，建議把token計算放在服務器端生成，

ZIM的createRoom函式用于創建房間，需要提供房間號；joinRoom函式用于加入房間，同樣也需要提供房間號，具體代碼如下所示：

public class ZIMMngr {
    //其他代碼略....
    /**
     * 登錄zim
    */
    public void login(String userId, CB cb) {

        String token = ZIMMngr.getToken(userId);
        ZIMMngr.login(zim, token, userId, new ZIMLoggedInCallback() {
            @Override
            public void onLoggedIn(ZIMError errorInfo) {

                if (errorInfo.getCode() != ZIMErrorCode.SUCCESS) {
                    Log.e(TAG, "login error:" + errorInfo.getMessage());
                    cb.complete(false, "登錄失敗");
                } else {
                    cb.complete(true, null);
                }
            }
        });
    }
    /**
     * 加入房間
    */
    public void joinRoom(String roomId, CB cb) {
        zim.joinRoom(roomId, new ZIMRoomJoinedCallback() {
            @Override
            public void onRoomJoined(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
                Log.e(TAG, ">>" + errorInfo.code);
                if (errorInfo.code == ZIMErrorCode.ROOM_DOES_NOT_EXIST) {
                    cb.complete(false, "房間不存在！");
                } else if (errorInfo.code == ZIMErrorCode.SUCCESS || errorInfo.code == ZIMErrorCode.THE_ROOM_ALREADY_EXISTS) {
                    cb.complete(true, roomInfo.baseInfo.roomName);
                }
            }
        });
    }
 
    /**
     * 創建房間
    */
    public void createRoom(String masterId, String roomId, String roomName, CB cb) {

        ZIMRoomInfo groupInfo = new ZIMRoomInfo();
        groupInfo.roomID = roomId;
        groupInfo.roomName = roomName;

        zim.createRoom(groupInfo, new ZIMRoomCreatedCallback() {
            @Override
            public void onRoomCreated(ZIMRoomFullInfo roomInfo, ZIMError errorInfo) {
                if (errorInfo.code == ZIMErrorCode.SUCCESS) {

                    inviteJoinRoom(masterId, roomId, CHATGPT_ID, cb);//這里把chagpt的用戶id硬編碼
                } else {
                    Log.e(TAG, "創建房間失敗：" + errorInfo.message);
                    cb.complete(false, "房號已存在，請更換一個房間號！");
                }
            }
        });
    }
}

1.3 即時通訊實作收發訊息

接下來實作訊息收發，主動發送訊息與監聽接收訊息，注意，這里因為我們只關注彈幕訊息，因此非彈幕訊息過濾，發送訊息封裝兩類：

P2P
ROOM

注意，因為我們這里只用彈幕訊息，因此ROOM訊息只表示彈幕訊息，

public class ZIMMngr {
  
    //定義屬性略....
    /**
     * 收到房間訊息
    */
    private void onRcvMsg(ArrayList<ZIMMessage> messageList) {
        if (mListener == null) return;
        for (ZIMMessage zimMessage : messageList) {
            if (zimMessage instanceof ZIMBarrageMessage) {//只看彈幕訊息
                ZIMBarrageMessage zimTextMessage = (ZIMBarrageMessage) zimMessage;
                if (zimMessage.getTimestamp() < this.startTime)
                    continue;
                String fromUID = zimTextMessage.getSenderUserID();
                ZIMConversationType ztype = zimTextMessage.getConversationType();
                String toUID = zimTextMessage.getConversationID();
                Msg.MsgType type = Msg.MsgType.P2P; 
                String data = https://www.cnblogs.com/RTCWang/archive/2023/05/29/zimTextMessage.message; 

                Msg msg = Msg.parseMsg(data, fromUID, toUID, ztype == ZIMConversationType.ROOM);
                mListener.onRcvMsg(msg);
            }
        }
    } 
        
    /**
     * 發送zim訊息
     * */
    public void sendMsg(Msg msg, CB cb) {
        //p2p訊息則發送Text，room發送彈幕型別訊息
        ZIMMessage zimMsg = null;
        ZIMConversationType type;
        if (msg.type == Msg.MsgType.P2P) {
            ZIMTextMessage m = new ZIMTextMessage();
            m.message = msg.msg;
            zimMsg = m;
            type = ZIMConversationType.PEER;
        } else {
            ZIMBarrageMessage m = new ZIMBarrageMessage();
            m.message = msg.msg;
            zimMsg = m;
            type = ZIMConversationType.ROOM;
        }

        ZIMMessageSendConfig config = new ZIMMessageSendConfig();
        // 訊息優先級，取值為 低:1 默認,中:2,高:3
        config.priority = ZIMMessagePriority.LOW;
        // 設定訊息的離線推送配置
        ZIMPushConfig pushConfig = new ZIMPushConfig();
        pushConfig.title ="離線推送的標題";
        pushConfig.content = "離線推送的內容";
        config.pushConfig = pushConfig; 
        zim.sendMessage(zimMsg, msg.toUID, type, config, new ZIMMessageSentCallback() {
            @Override
            public void onMessageAttached(ZIMMessage message) {
            } 
            @Override
            public void onMessageSent(ZIMMessage message, ZIMError errorInfo) { 
                cb.complete(errorInfo.code == ZIMErrorCode.SUCCESS, errorInfo.message); 
            }
        }); 
    }  
    // 其他代碼略....
}

上面代碼只挑選了關鍵函式, 更多關于即構ZIM介面與官方Demo可以點擊參考這里，或者參考附錄原始碼，

2 創建虛擬形象-即構Avatar

接下來需要創建虛擬形象，讀者可以參考官方檔案獲取更多詳細資訊，

需要注意的是，通過官方封裝的ZegoCharacterHelper可以非常簡單的創建Avatar，創建虛擬形象封裝到setCharacter函式中，在程式初始化期間，需要執行initRes函式，將資源拷貝到SDCard，作為演示，這里是將Assets里面的相關資源拷貝到SDCard，在實際專案中，建議將資源存放在服務器端，通過離線下載的方式存盤到SDCard，這樣既可以降低安裝包的大小，也更靈活，

public class AvatarMngr implements ZegoAvatarServiceDelegate {
 
    //屬性定義略.... 
 
    /**
     * 設定虛擬形象如衣服、頭發、性別等
    */
    private void setCharacter(User user) {  
        // 創建 helper 簡化呼叫
        // base.bundle 是頭模, human.bundle 是全身人模
        mCharacterHelper = new ZegoCharacterHelper(FileUtils.getPhonePath(mApp, "human.bundle", "assets"));
        mCharacterHelper.setExtendPackagePath(FileUtils.getPhonePath(mApp, "Packages", "assets"));
        // 設定形象配置
        mCharacterHelper.setDefaultAvatar(ZegoCharacterHelper.MODEL_ID_FEMALE);
        // 角色上屏, 必須在 UI 執行緒, 必須設定過avatar形象后才可呼叫(用 setDefaultAvatar 或者 setAvatarJson 都可以)
        mCharacterHelper.setCharacterView(user.avatarView, () -> {
        });
        mCharacterHelper.setViewport(ZegoAvatarViewState.half);
    
        mCharacterHelper.setPackage("ZEGO_Girl_Hair_0001");
        mCharacterHelper.setPackage("ZEGO_Girl_Tshirt_0001_0002");
        mCharacterHelper.setPackage("facepaint5");
        mCharacterHelper.setPackage("irises2");  
        updateUser(user);  
    }   
    private void initRes(Application app) {
        // 先把資源拷貝到SD卡，注意：線上使用時，需要做一下判斷，避免多次拷貝，資源也可以做成從網路下載，
        if (!FileUtils.checkFile(app, "AIModel.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "AIModel.bundle", "assets");
        if (!FileUtils.checkFile(app, "base.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "base.bundle", "assets");
        if (!FileUtils.checkFile(app, "human.bundle", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "human.bundle", "assets");
        if (!FileUtils.checkFile(app, "Packages", "assets"))
            FileUtils.copyAssetsDir2Phone(app, "Packages", "assets");

    }

    //...
    //其他代碼略....
    //...
}

除了衣服、首飾、發型等"裝飾類"形象定義，還可以捏臉，這里不詳細描述，建議讀者前往官網查看，即構Avatar官網，

4 直播間虛擬人與粉絲互動聊天

創建完虛擬人后，接下來將收到的ChatGPT訊息朗讀出來，使虛擬主播嘴巴動起來，互動玩法更好，首先執行initTextApi函式，初始化本地文字驅動引擎，接下來就可以呼叫ZegoTextAPI的playTextExpression函式，驅動虛擬人語音播報文字內容，

/**
 * 朗讀文字（嘴唇+語音）
*/
public void playText(String text) {
    if (mTextApi == null) return;
    mTextApi.playTextExpression(text);
    Log.e(TAG, ">>>>已播放" + text);
}
/**
 * 初始化文本驅動介面
*/
private void initTextApi() {
    mTextApi = new ZegoTextAPI(mCharacterHelper.getCharacter());
    mTextApi.setTextExpressionCallback(new ITextExpressionCallback() {
        /**
         * 文本驅動播放啟動時，回呼
         */
        @Override
        public void onStart() {
            Log.d(TAG, "text drive start");
        }

        /**
         * 文本驅動播放出錯時，回呼
         * @param errorCode 錯誤碼，詳情請參考 [常見錯誤碼 - 文本驅動](https://doc-zh.zego.im/article/14884#2)，
         */
        @Override
        public void one rror(int errorCode, String msg) {
        }

        /**
         * 文本驅動播放結束時，回呼
         */
        @Override
        public void onEnd() {
            Log.d(TAG, "text drive end");
        }
    });
}

文本驅動部分代碼比較簡單，也反映了官方對這塊封裝的比較好，播報文字主要借助即構avatar的文本能力，讀者可以查看官方檔案描述：官方檔案，仔細閱讀可以發現，關鍵核心代碼非常少，附件里面的其他代碼主要是開發App非核心代碼，

本文演示了從0開發、無須服務端開發完成的基于ChatGPT的虛擬人直播，任何人下載該App即可加入直播間，一些小伙伴可能并不需要開發一個虛擬人直播平臺，而是想著在抖音、快手、視頻號等平臺實作虛擬人直播，這里提供一個實作思路：

復用本文代碼，可以實作ChatGPT回復、并將回復的文字驅動虛擬人
使用直播伴侶等工具錄制虛擬人，推流到抖音平臺
去github找開源工具，實時爬取直播間的彈幕
讀取到彈幕后，呼叫ChatGPT得到回復，再回到第1步，

未來想象方面，虛擬人接入GPT可以實作更加智能化、個性化的服務，可以預見的是，未來的虛擬人將更加人性化，通過情感計算等技術，可以實作更加真實、自然的人機互動，虛擬人還可以與物理機器人結合，成為未來的機器人助手，為人們的生活和作業提供更加便利的服務，

5 Github原始碼

供一個實作思路：

復用本文代碼，可以實作ChatGPT回復、并將回復的文字驅動虛擬人
使用直播伴侶等工具錄制虛擬人，推流到抖音平臺
去github找開源工具，實時爬取直播間的彈幕
讀取到彈幕后，呼叫ChatGPT得到回復，再回到第1步，

5 Github原始碼

ChatGPT虛擬直播原始碼

轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/553766.html

標籤：其他

上一篇：揭秘“AI換臉”詐騙背后，黑灰產使用的手段

下一篇：返回列表

GPT虛擬直播Demo系列（二）｜無人直播間實作虛擬人回復粉絲

摘要

前言

1 加入ZIM房間，實時收發訊息

1.1 創建ZIM物件

1.2 群聊-登錄、創建房間、加入房間

1.3 即時通訊實作收發訊息

2 創建虛擬形象-即構Avatar

4 直播間虛擬人與粉絲互動聊天

5 Github原始碼

5 Github原始碼