主頁 > .NET開發 > .NetCore HttpClient發送請求的時候為什么自動帶上了一個RequestId頭部?

.NetCore HttpClient發送請求的時候為什么自動帶上了一個RequestId頭部?

2020-11-09 04:36:18 .NET開發

奇怪的問題

最近在公司有個系統需要呼叫第三方的一個webservice,本來呼叫一個下很簡單的事情,使用HttpClient構造一個SOAP請求發送出去拿到XML決議就是了,
可奇怪的是我們的請求在運行一段時間后就會被服務器504給拒絕掉了,導致系統無法使用,用戶叫苦連天,
古怪就古怪在這個問題不是每次都會出現,是隔三差五的查詢,每次修改完代碼發布上去以為好了,
過了兩天又不行了,簡直讓人奔潰,

Postman測驗

在反復除錯代碼無果的情況下,我懷疑是對方服務器的問題,于是拿出Postman往對方服務器發送請求測驗,
postman測驗一測就測出問題了,不管發送什么,服務器全部給出了504的回應,因為在瀏覽器里訪問webservice的首頁是可以的,但是為什么在postman上面就不行了呢?
于是我開始反復檢查postman的請求有何不同,到這里感覺離發現問題不遠了,在反復查看下我開始懷疑是postman的一個頭部的問題:

Postman-Token: 4d407574-636b-9343-8216-7f2845cbeef1

postman每次發送請求的時候都會帶上一個叫做postman-token的頭部,于是我把這個頭部給禁用了再試一次,果斷成功了,
在反復測驗下終于明白了,對方服務器應該有防護,只要http請求里帶有自定義的頭部就會直接給出504的回應,直接拒絕請求,
至此服務器拒絕請求的原因終于明了了,

fiddler監控

但是,我們的代碼發送請求的時候并沒有帶上任何自定義的頭部啊,莫非.NET Core會在發送請求的時候帶上什么頭部嗎?
于是在服務器上安裝fiddler,把請求通過fiddler代理轉發出去,然后監控http請求的頭部,當系統再次出現問題的時候
果斷上去查看fiddler,一看果然發現了問題,所有被拒絕的請求都帶上了一個叫“Request-Id”的頭部,
BTgP1A.png
當時我是震驚的,.NetCore居然會自說自話給我加上一個頭部?
如果不是親身發現,打死我也不會相信的,或許你看到這里也還是不相信,心里在想一定是我搞錯了吧,

Request-Id頭部到底哪里來的?

這個問題真是百思不得其解,于是開始請教google,很快在.net core runtime的github上的issues發現一個同樣的問題:
HttpClient automatically adds Request-Id HTTP header
提問的人說使用HttpClient發送請求的時候莫名其妙加上了一個Request-Id,跟我情況一毛一樣,
于是乎有人開始討論,有人說HttpClient不可能自己加上Request-Id這個頭部的,下面的老哥直接打臉,說:事實上會的,還給出了原始碼的位置,笑哭!后來還有開發者回復這個功能是內置的,是為了分布式追蹤,
既然原始碼都給出來了,直接從上面老哥給出的原始碼位置開始追原始碼,下面大概說一下原始碼:
HttpClient默認建構式:

  public HttpClient()
            : this(new HttpClientHandler())
        {
        }

繼續看里面的HttpClientHandler:

   protected internal override Task<HttpResponseMessage> SendAsync(HttpRequestMessage request,
            CancellationToken cancellationToken)
        {
            return DiagnosticsHandler.IsEnabled() ?
                _diagnosticsHandler.SendAsync(request, cancellationToken) :
                _socketsHttpHandler.SendAsync(request, cancellationToken);
        }

HttpClientHandler發送請求的時候會判斷是否使用diagnosticsHandler來發送請求,繼續看diagnosticsHandler的代碼:

  private static void InjectHeaders(Activity currentActivity, HttpRequestMessage request)
        {
            if (currentActivity.IdFormat == ActivityIdFormat.W3C)
            {
                if (!request.Headers.Contains(DiagnosticsHandlerLoggingStrings.TraceParentHeaderName))
                {
                    request.Headers.TryAddWithoutValidation(DiagnosticsHandlerLoggingStrings.TraceParentHeaderName, currentActivity.Id);
                    if (currentActivity.TraceStateString != null)
                    {
                        request.Headers.TryAddWithoutValidation(DiagnosticsHandlerLoggingStrings.TraceStateHeaderName, currentActivity.TraceStateString);
                    }
                }
            }
            else
            {
                if (!request.Headers.Contains(DiagnosticsHandlerLoggingStrings.RequestIdHeaderName))
                {
                    request.Headers.TryAddWithoutValidation(DiagnosticsHandlerLoggingStrings.RequestIdHeaderName, currentActivity.Id);
                }
            }

            // we expect baggage to be empty or contain a few items
            using (IEnumerator<KeyValuePair<string, string?>> e = currentActivity.Baggage.GetEnumerator())
            {
                if (e.MoveNext())
                {
                    var baggage = new List<string>();
                    do
                    {
                        KeyValuePair<string, string?> item = e.Current;
                        baggage.Add(new NameValueHeaderValue(WebUtility.UrlEncode(item.Key), WebUtility.UrlEncode(item.Value)).ToString());
                    }
                    while (e.MoveNext());
                    request.Headers.TryAddWithoutValidation(DiagnosticsHandlerLoggingStrings.CorrelationContextHeaderName, baggage);
                }
            }
        }

        private static readonly DiagnosticListener s_diagnosticListener =
            new DiagnosticListener(DiagnosticsHandlerLoggingStrings.DiagnosticListenerName);

        #endregion
    }

終于找到關鍵的位置了有個叫InjectHeaders的方法里面有這么一句 request.Headers.TryAddWithoutValidation(DiagnosticsHandlerLoggingStrings.RequestIdHeaderName, currentActivity.Id);其中DiagnosticsHandlerLoggingStrings.RequestIdHeaderName是個常量,它的值就是"Request-Id",
到這里是誰帶上的Request-Id頭部的問題終于石錘了,

復現問題

原因找到了,于是開始測驗解決辦法,解決問題的第一步是先復現問題,正常情況下你使用HttpClient發送請求時不會帶上這個頭部的,要讓本地發送的請求也帶上這個頭部也不是件容易的事,經過查看源代碼發現其實是跟.net core的Diagnostics機制有關,由于原始碼邏輯比較復雜,直接給出會帶上頭部的代碼:
首先定義一個Observer:

    public class MyObserver<T> : IObserver<T>
    {
        private Action<T> _next;
        public MyObserver(Action<T> next)
        {
            _next = next;
        }

        public void OnCompleted()
        {
        }

        public void one rror(Exception error)
        {
        }

        public void OnNext(T value) => _next(value);
    }

訂閱HttpHandlerDiagnosticListener:

    DiagnosticListener.AllListeners.Subscribe(new MyObserver<DiagnosticListener>(listener =>
            {
                //判斷發布者的名字
                if (listener.Name == "HttpHandlerDiagnosticListener")
                {
                    //獲取訂閱資訊
                    listener.Subscribe(new MyObserver<KeyValuePair<string, object>>(listenerData =https://www.cnblogs.com/kklldog/archive/2020/11/09/>
                    {
                        System.Console.WriteLine($"監聽名稱:{listenerData.Key}");
                        dynamic data = https://www.cnblogs.com/kklldog/archive/2020/11/09/listenerData.Value;
                    
                    }));

                }
            }));

當我們訂閱HttpHandlerDiagnosticListener的時候HttpClient發送的請求就會帶上這個頭部,這個設計的真的比較變態,因為DiagnosticListener.AllListeners是靜態的,所以它的影響是全域的,也就是說我這里訂閱了一個監聽,會導致整個程式中所有的HttpClient都開始帶上這個頭部,
這也解釋了為何我們的程式運行一段時間之后才帶上Request-Id的頭部,因為我們程式中其它模塊,或者參考的三方庫的在達到某種狀態的時候會開始訂閱HttpHandlerDiagnosticListener這個監聽,導致我請求webservice的代碼也帶上了這個頭部,

解決問題

問題的原因也找到了,本地也復現了,現在我們要開始真正的解決問題了,經過google跟查看原始碼,要讓HttpClient不發送這個Request-Id頭部有幾種辦法,

  1. 方法1

設定System.Net.Http.EnableActivityPropagation開關為false

string switchName = "System.Net.Http.EnableActivityPropagation";
AppContext.SetSwitch(switchName, false);
  1. 方法2
    配置環境變數DOTNET_SYSTEM_NET_HTTP_ENABLEACTIVITYPROPAGATIO=false

  2. 方法3

    public class DisableActivityHandler : DelegatingHandler
    {
        public DisableActivityHandler(HttpMessageHandler innerHandler) : base(innerHandler)
        {

        }

        protected override async Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, CancellationToken cancellationToken)
        {
            Activity.Current = null;

            return await base.SendAsync(request, cancellationToken);
        }
    }

    var httpClient = new HttpClient(new DisableActivityHandler(new HttpClientHandler()));

該方法定義一個DisableActivityHandler再構造HttpClient,在每次發送請求的時候都把Activity.Current置空,

總結

最近被這個Request-Id折騰了很久,這里忍不住要吐槽下,這個內置的功能真的好嗎,強力插入自定義頭部,有考慮過防火墻的感受嗎?或者是不是可以讓開發者主動選擇是否計入Diagnostic統計,而不是某一處開始訂閱就全部請求都添加頭部,畢竟我們無法控制第三方的庫是否有什么騷操作,如果要關閉這個Diagnostic是不是可以在HttpClient實體上直接給出一個明確的開關讓開發者關閉它,而不是需要配置什么環境變數,

ps:如果是使用HttpWebRequest類發送請求同樣有這個問題,因為HttpWebRequest發送請求的時候就是用的HttpClient,

關注我的公眾號一起玩轉技術

轉載請註明出處,本文鏈接:https://www.uj5u.com/net/207449.html

標籤:.NET技术

上一篇:vs2019中編輯水晶報表問題

下一篇:.NetCore HttpClient發送請求的時候為什么自動帶上了一個RequestId頭部?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • WebAPI簡介

    Web體系結構: 有三個核心:資源(resource),URL(統一資源識別符號)和表示 他們的關系是這樣的:一個資源由一個URL進行標識,HTTP客戶端使用URL定位資源,表示是從資源回傳資料,媒體型別是資源回傳的資料格式。 接下來我們說下HTTP. HTTP協議的系統是一種無狀態的方式,使用請求/ ......

    uj5u.com 2020-09-09 22:07:47 more
  • asp.net core 3.1 入口:Program.cs中的Main函式

    本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......

    uj5u.com 2020-09-09 22:07:49 more
  • asp.net網站作為websocket服務端的應用該如何寫

    最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......

    uj5u.com 2020-09-09 22:08:02 more
  • ASP.NET 開源匯入匯出庫Magicodes.IE Docker中使用

    Magicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......

    uj5u.com 2020-09-09 22:08:05 more
  • 在webform中使用ajax

    如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......

    uj5u.com 2020-09-09 22:08:50 more
  • iis添加asp.net網站,訪問提示:由于擴展配置問題而無法提供您請求的

    今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......

    uj5u.com 2020-09-09 22:10:00 more
  • WebAPI-處理架構

    帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......

    uj5u.com 2020-09-09 22:11:13 more
  • 微信門戶開發框架-使用指導說明書

    微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......

    uj5u.com 2020-09-09 22:15:18 more
  • WebAPI-HTTP編程模型

    帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......

    uj5u.com 2020-09-09 22:15:23 more
  • 部署WebApi隨筆

    一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......

    uj5u.com 2020-09-09 22:15:48 more
最新发布
  • C#多執行緒學習(二) 如何操縱一個執行緒

    <a href="https://www.cnblogs.com/x-zhi/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2943582/20220801082530.png" alt="" /></...

    uj5u.com 2023-04-19 09:17:20 more
  • C#多執行緒學習(二) 如何操縱一個執行緒

    C#多執行緒學習(二) 如何操縱一個執行緒 執行緒學習第一篇:C#多執行緒學習(一) 多執行緒的相關概念 下面我們就動手來創建一個執行緒,使用Thread類創建執行緒時,只需提供執行緒入口即可。(執行緒入口使程式知道該讓這個執行緒干什么事) 在C#中,執行緒入口是通過ThreadStart代理(delegate)來提供的 ......

    uj5u.com 2023-04-19 09:16:49 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    <a href="https://www.cnblogs.com/huangxincheng/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/214741/20200614104537.png" alt="" /&g...

    uj5u.com 2023-04-18 08:39:04 more
  • 記一次 .NET某醫療器械清洗系統 卡死分析

    一:背景 1. 講故事 前段時間協助訓練營里的一位朋友分析了一個程式卡死的問題,回過頭來看這個案例比較經典,這篇稍微整理一下供后來者少踩坑吧。 二:WinDbg 分析 1. 為什么會卡死 因為是表單程式,理所當然就是看主執行緒此時正在做什么? 可以用 ~0s ; k 看一下便知。 0:000> k # ......

    uj5u.com 2023-04-18 08:33:10 more
  • SignalR, No Connection with that ID,IIS

    <a href="https://www.cnblogs.com/smartstar/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/u36196.jpg" alt="" /></a>...

    uj5u.com 2023-03-30 17:21:52 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:15:33 more
  • 一次對pool的誤用導致的.net頻繁gc的診斷分析

    <a href="https://www.cnblogs.com/dotnet-diagnostic/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/3115652/20230225090434.png" alt=""...

    uj5u.com 2023-03-28 10:13:31 more
  • C#遍歷指定檔案夾中所有檔案的3種方法

    <a href="https://www.cnblogs.com/xbhp/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/957602/20230310105611.png" alt="" /></a&...

    uj5u.com 2023-03-27 14:46:55 more
  • C#/VB.NET:如何將PDF轉為PDF/A

    <a href="https://www.cnblogs.com/Carina-baby/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/2859233/20220427162558.png" alt="" />...

    uj5u.com 2023-03-27 14:46:35 more
  • 武裝你的WEBAPI-OData聚合查詢

    <a href="https://www.cnblogs.com/podolski/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/616093/20140323000327.png" alt="" /><...

    uj5u.com 2023-03-27 14:46:16 more