主頁 >  其他 > 一次網路請求中的流量分發程序 | 京東云技術團隊

一次網路請求中的流量分發程序 | 京東云技術團隊

2023-06-02 10:24:12 其他

1. 摘要

現代的企業級或互聯網系統往往需要進行流量規劃,達成透明多級分流,流量從客戶端發出到服務端處理這個程序里,流經的與功能無關的技術部件有(達成“透明分流”這個目標所采用的工具與手段):客戶端快取、域名服務器、傳輸鏈路、內容分發網路、負載均衡器、服務端快取,透明分流帶來的價值:高可用架構、高并發,

本文主要介紹流量規劃中的網路請求程序程序及:

第一部分:對一次網路請求的程序作簡要介紹,然后介紹自己目前了解到的前端網路組件搭配方式、后端網路組件搭配方式

第二部分:介紹LB負載系統 、vip與rip 的映射關系

第三部分:介紹內網域名決議及公網域名決議

2. 網路請求程序

通用請求程序及請求程序名詞解釋來源于: https://cf.jd.com/pages/viewpage.action?pageId=766717554

2.1 通用請求程序

2.2 請求程序名詞解釋

rip: 真實ip,指虛擬機或容器ip

vip: 虛擬ip,不可跨機房,online申請,負載、自動探活等功能,分公網vip與內網vip

內網: 專指機房內部,嚴格的防火墻策略,內網之間無防火墻,可申請內網vip 提供負載均衡供應用間互訪;內網≠辦公網

辦公網: 辦公區個人電腦網路,通過反向代理訪問內網機房應用

公網: 互聯網用戶網路,通過DNS + 公網vip 訪問內網機房應用

備注(自己理解 ,有可能理解不正確):

公網vip 即公網虛擬ip,虛擬不是說公網上找不到這個ip,虛擬是相對于服務器ip(rip)來說的,vip不直接承擔業務邏輯

公網VIP在公網真實存在、內網vip在公司內網真實存在

2.3 前端網路組件搭配方式

參考鏈接: http://jdthelp.jdos.jd.com/help/bestpractice/multi-web-demo.html

外網訪問需滿足如下圖架構:VIP后面掛 jen-nginx 來代理前端的主應用,jen代理后面掛靜態應用1~N

測驗環境:多個前端專案可能存在下列架構方式: 域名 -> VIP -> JEN代理(根據不同域名訪問不同檔案夾下的檔案)-> 靜態應用

2.4 后端網路組件搭配方式

后端應用從呼叫方式來說分為兩種 (http呼叫 JSF呼叫)

前端應用 ---(協議http或者https)---后端前置應用 --(協議 jsf私有協議)----JSF微服務應用

后端前置應用 -----jsf微服務應用,之間的負載由消費者來決定,所以一般無須關注這兩者之間的負載,

方式1: vip下的負載(LB負載系統) + Nginx

方式1備注:

VIP下可以直接掛載服務器,這里Nginx不是必須的,除非你需要 nginx 提供的功能(除了負載),

如果你僅僅是用nginx來做負載,那么請去除nginx組件,沒有必要加一這個組件,集團的vip的LB已經包含負載功能,不要加重系統的復雜性,

方式2:容器K8S層面的負載

vip提供的LB:

vip提供的LB下是直接掛機器IP,其中多個ip之間沒有分組的概念,并且沒有探活機制

每次上線需要摘掉負載下的機器,上線完成后,再把機器掛上去

行云部署-高級功能-負載均衡 ( 容器k8s層面的負載 ) 優點:

有機器分組的概念: 按斬訓房或者 機房+機房集群的維度分組后,每個分組申請自己的負載均衡,

具有探活機制: 設定健康探活路徑,針對負載進行探活,每次上線無須摘掉負載下的機器,

3. LB負載系統簡介

其實吧,vip本身就是個ip,沒有多少真正的價值,vip可以理解為是集團LB負載均衡的入口ip,而LB負載均衡才是真正的分流組件,

vip 是系統自動分配復用的(vip資源珍貴,系統分配的vip有可能復用),LB負載均衡有兩種分流規則:

1. 分流規則的實作方式

分流規則兩種實作方式,默認規則、專用規則,

默認規則:面向域名,流量接入到后端集群,此為模板,可選擇應用范圍,

專用規則:面向VIP,可為某VIP獨立指定后端集群, 其中專用規則優先級高,

默認規則、專用規則兩者關系:

共同點 不同點
默認規則面向域名的一個埠有且只有一條分流規則 專用規則面向VIP的一個埠有且只有一條分流規則 默認規則必須存在; 專用規則優先級高; 專用規則無設定時,繼承默認規則指向的后端

3.1 默認規則: 默認分流規則:域名+埠+集群,分流規則唯一性

備注: 系統分配的vip有可能復用

在默認規則中, 假設系統分配的vip都是 111.111.111

域名A (www.a.jdcom)+ 域名的一個埠port(80) 通過配置的 vip (111.111.111) 將請求轉發到 后端集群A,

域名B (www.b.jd.com) + 域名的一個埠port(443) 通過配置的 vip (111.111.111) 將請求轉發到 后端集群B,

3.2 專用規則: 面向vip的一個埠有且只有1條分流規則

備注:(猜測 不確定):專用規則中的vip可能不是復用的,

備注:一個VIP 也可以用多個埠,比如HTTP 是80和443,TCP是2000-2014

4. vip 和 rip的映射關系 (重要 非常重要)

一對一:一個機房,一個vip 對應一個rip

一對多:一個機房,一個vip 對應多個rip

多對多: 多個機房,每個機房的vip對應 其機房下的多個rip

4.1 vip下掛載rip的約定

  1. vip(機房入口)是機房維度的,當然如果說vip出問題了,一般情況下就是機房出問題了,這個出現的幾率會比較小,

  2. vip是機房維度的,但是vip下掛哪些機器 是由研發人員決定的,因此vip下的機器是有可能跨機房的,但是研發人員應該 根據機房視圖( 機器的機房所在地 )來對應此所在地的機房入口( vip ),應盡可能遵守 這個規定,

4.2 為什么要遵守這個約定呢?

1. 盡可能縮小問題影響的范圍: 如果你VIP下的機器跨機房,如果Vip出問題,導致多個機房的機器都無法接收流量

2. 盡可能匹配斷網演練的目標: 機房斷網演練,估計VIP 也不會讓流量進入到下一層,如果你vip下掛載跨機房的rip,直接讓 機房的斷網演練,變成了 跨機房演練(因為多個機房的機器不會接收到流量)

5. 內網域名決議(機房視圖與機房入口說明)

  1. 內網域名決議時: vip是根據 機房入口(目前有 廊坊vip 馬駒橋vip 印尼vip) 走的,

  2. 每個視圖必須決議, 廊坊視圖—>廊坊VIP,馬駒橋視圖—>馬駒橋VIP,其他的視圖—>選擇馬駒橋或者廊坊VIP(必須指向線上可用VIP)

  3. 為優化機房內訪問,優先選擇本機房VIP,

  4. 考慮到舊的機房已下架或者正在下架,舊機房優先選擇廊坊、馬駒橋VIP,國外應用優先選擇國外的VIP,

6. 公網域名決議

pop入口 在計算機網路中,pop表示入網點(pop),pop位于網路企業的邊緣外側,是訪問企業網路內部的進入點,外界提供的服務通過pop進入,這些服務包括Internet接入,廣域連接以及電話服務(PSTN),

pop入口 :新應用上線時應該申請入網點(pop)處的vip,

域名決議:

不需要VIP: 直接填寫自己的公網IP

需要VIP:

  1. 請提前申請POP入口的VIP

  2. 決議前請線下系結host測驗VIP業務可用性

  3. 按照運營商對應的POP入口VIP進行決議

7. 總結

簡單的請求程序最實用,實用的請求程序最簡單,

用簡單實用的搭配方式滿足流量分發,不要隨意搭配,增加系統的復雜性,

作者:京東保險 張江濤

來源:京東云開發者

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/554110.html

標籤:其他

上一篇:讀改變未來的九大演算法筆記01_資料壓縮

下一篇:返回列表

標籤雲
其他(160201) Python(38196) JavaScript(25473) Java(18174) C(15236) 區塊鏈(8269) C#(7972) AI(7469) 爪哇(7425) MySQL(7222) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5346) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4580) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1980) 功能(1967) Web開發(1951) HtmlCss(1951) C++(1928) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 一次網路請求中的流量分發程序 | 京東云技術團隊

    簡單的請求程序最實用,實用的請求程序最簡單。用簡單實用的搭配方式滿足流量分發,不要隨意搭配,增加系統的復雜性。 ......

    uj5u.com 2023-06-02 10:24:12 more
  • 讀改變未來的九大演算法筆記01_資料壓縮

    ![](https://img2023.cnblogs.com/blog/3076680/202306/3076680-20230601235552862-525546511.png) # 1. 起源 ## 1.1. 香農–法諾編碼(Shannon-Fano Coding) ### 1.1.1. 克 ......

    uj5u.com 2023-06-02 09:08:35 more
  • windows 以太坊開發框架Truffle環境搭建

    **一、安裝DApp開發環境**1. * 1.1 安裝Node.js 我們使用官方長期支持的8.10.0LTS版本,下載64位包裝包。 下載后直接安裝即可。安裝完畢,打開一個控制臺視窗,可以使用node了: ``` C:\Users\Administrator> node -v v8.10.0 `` ......

    uj5u.com 2023-06-02 09:08:27 more
  • [網鼎杯 2020 朱雀組]Think Java——wp

    ##源檔案代碼審計 這里使用IDEA打開 ###Test.class ![](https://img2023.cnblogs.com/blog/3117123/202305/3117123-20230531143357357-282348130.png) ![](https://img2023.cn ......

    uj5u.com 2023-06-02 09:08:04 more
  • Flask測驗小工具平臺

    1.首先安裝flask pip install flask,或者在setting里邊去搜flask去安裝 2.寫一個簡單的介面,輸出hello 介面是一個函式,介面要系結一個介面地址,以確定那個介面去走這個函式,系結到路由也就是介面地址 from flask import Flaskapp = Fl ......

    uj5u.com 2023-06-02 09:07:49 more
  • 6.1. 網路基礎知識

    在開始學習Java網路編程之前,首先讓我們了解一些關于網路基礎知識的內容。網路編程主要涉及到計算機網路、網路協議、資料通信等方面的知識。接下來,我將盡量詳細、通俗易懂地介紹這些概念。 **計算機網路** 計算機網路是指將地理位置不同的計算機和其他設備通過通信鏈路(如光纖、無線電波等)連接在一起,實作 ......

    uj5u.com 2023-06-02 09:02:36 more
  • 基于nerdctl+buildkitd+containerd實作鏡像構建

    容器技術除了的docker之外,還有coreOS的rkt、google的gvisor、以及docker開源的containerd、redhat的podman、阿?的pouch等,為了保證容器?態的標準性和健康可持續發展,包括Linux 基?會、Docker、微軟、紅帽、?歌和IBM等公司在2015年... ......

    uj5u.com 2023-06-02 08:59:32 more
  • 魔力屏障 (magic) 題解

    魔力屏障 (magic) 【問題描述】 小 Z 生活在神奇的魔法大陸上。今天他的魔法老師給了它這樣一個法陣作為它 的期末考試題目: 法陣由從左至右 n 道魔力屏障組成,每道屏障有一個臨界值 a,如果它承受攻 擊的魔力值 ≥ a,屏障將會破碎,它所承受的魔力攻擊將在魔力值減半后(向下取 整)繼續向右移 ......

    uj5u.com 2023-06-02 08:59:14 more
  • 2萬聊天詞庫機器人詞庫ACCESS資料庫

    最近ChatGPT很火暴,機器人聊天很多年前就已經開始有了,只不過國內一直都是很淺顯的應用,這幾年又隨著小米同學、新能源汽車的語音控制又有所發展,國外的ChatGPT對漢語的理解還不是很透徹,還需要大量的學習程序。 這個聊天詞庫是從QQ機器人插件中提取出來的,但是有些分類沒有匯出,比如歇后語、成語啊 ......

    uj5u.com 2023-06-02 08:59:08 more
  • 【Haxe】(二)字串與變數的輸入輸出

    前言 每次學習一門新語言,各種手冊和教程一上來就是講變數如何定義,資料結構怎么用,很少有講輸入輸出應該怎么寫的。我比較喜歡先搞懂這部分,這讓我感覺像是掌握了學習主動權,很能調動我的學習積極性。于是我的第一篇筆記就打算記錄 Haxe 語言的輸入輸出陳述句怎么使用,算是用自己的筆記彌補對教程的缺憾了。關于 ......

    uj5u.com 2023-06-02 08:59:03 more