抖音直播間資料采集，ProtoBuf + gRPC 分析請求頭

短視頻、直播資料實時采集介面，請查看檔案： TiToData

免責宣告：本檔案僅供學習與參考，請勿用于非法用途！否則一切后果自負，

概念

Protobuf是Google protocol buffer的簡稱，是一種語言中立、平臺無關、易于擴展的結構化資料序列化技術，可用于資料傳輸、存盤等領域，
與Protoful類似的序列化技識訓有XML、JSON、Thrift等，但Protoful更快、更小、更簡單，且具備良好的兼容性，

目前經常運用在 安卓直播彈幕等業務場景中

配置請求頭

方法1

只設定客戶端請求時附帶的header

類 io.grpc.stub.MetadataUtils，其中有個方法

@ExperimentalApi("https://github.com/grpc/grpc-java/issues/1789")
  public static <T extends AbstractStub<T>> T attachHeaders(
      T stub,
      final Metadata extraHeaders) {
    return stub.withInterceptors(newAttachHeadersInterceptor(extraHeaders));
  }

**
自己封裝后

private static <T extends AbstractStub<T>> T attachHeaders(T stub, final Map<String, String> headerMap) {
    Metadata extraHeaders = new Metadata();
    if (headerMap != null) {
        for (String key : headerMap.keySet()) {
            Metadata.Key<String> customHeadKey = Metadata.Key.of(key, Metadata.ASCII_STRING_MARSHALLER);
            extraHeaders.put(customHeadKey, headerMap.get(key));
        }
    }
    return MetadataUtils.attachHeaders(stub, extraHeaders);
}

**

方法2

支持設定客戶端請求的header以及獲取服務端回傳結果中的header

• 官方demo
• 官方完整Demo

1. 設定攔截器

class HeaderClientInterceptor implements ClientInterceptor {
    private static final String TAG = "HeaderClientInterceptor";
    private Map<String, String> mHeaderMap;
    public HeaderClientInterceptor(Map<String, String> headerMap) {
        mHeaderMap = headerMap;
    }
    @Override
    public <ReqT, RespT> ClientCall<ReqT, RespT> interceptCall(MethodDescriptor<ReqT, RespT> method,
                                                               CallOptions callOptions, Channel next) {
        return new SimpleForwardingClientCall<ReqT, RespT>(next.newCall(method, callOptions)) {
            @Override
            public void start(Listener<RespT> responseListener, Metadata headers) {
                /* put custom header */
                if (mHeaderMap != null) {
                    for (String key : mHeaderMap.keySet()) {
                        Metadata.Key<String> customHeadKey = Metadata.Key.of(key, Metadata.ASCII_STRING_MARSHALLER);
                        headers.put(customHeadKey, mHeaderMap.get(key));
                    }
                }
                Logger.i(TAG, "header send to server:" + headers);
                super.start(new SimpleForwardingClientCallListener<RespT>(responseListener) {
                    @Override
                    public void onHeaders(Metadata headers) {
                        /**
                         * if you don't need receive header from server,
                         * you can use {@link io.grpc.stub.MetadataUtils attachHeaders}
                         * directly to send header
                         */
                        Logger.i(TAG, "header received from server:" + headers);
                        super.onHeaders(headers);
                    }
                }, headers);
            }
        };
    }
}

_

2. 使用

Map<String, String> headerMap = new HashMap<>();
//...
ClientInterceptor interceptor = new HeaderClientInterceptor(headerMap);
//...
ManagedChannel managedChannel = ManagedChannelBuilder.forAddress(host, port).usePlaintext(true).build();
Channel channel = ClientInterceptors.intercept(managedChannel, interceptor);
// then create stub here by this channel

**

所以

要實作添加header 那么必須實作 ClientInterceptor 介面類中的 interceptCall 的方法

• 而且還要有一個 添加Header的具體方法
• 不管 grpc 怎么混淆都離不開這種配置模式

例如這種

注意他們的型別，很明顯這種情況可以快速推論

• z1.c.v.p.a.d.b.f.a.a() 大概率就是混淆后的 interceptCall
• z1.c.v.p.a.d.b.f.a.c() 是添加請求頭的函式

標籤：其他

上一篇：Redis DEBUG 除錯命令

下一篇：Redis記憶體碎片