主頁 >  其他 > SAE 最佳實踐范本:助力視野數科進入云原生“快車道”

SAE 最佳實踐范本:助力視野數科進入云原生“快車道”

2022-01-22 06:29:24 其他

阿里云生態金融科技行業標桿 ——
?

2021 年,云原生的商業價值正在被加速釋放,
?

一個公認的事實是,Serverless 是當下云原生方向內絕對的亮點,可以看作,它的出現,讓企業用戶真正地免除運維負擔,更專注于業務本身,換言之,企業可以基于按需付費的模式降本增效,實作技術的商業價值最大化,
?

在這場技術與商業互補的浪潮中,視野數科是一個鮮明的案例,基于阿里云 Serverless 應用引擎(SAE),視野數科已然全面升級為云原生架構,為金融科技全行業應用云原生提供了最佳業務實踐范本,
?

視野數科成立于 2014 年,是國內首個專注服務于一級市場、公司信貸、產業規劃招商、面向多層次資本市場的大資料金融資訊服務商,和其他 to C 的運作邏輯不同的是,視野數科將資料產品與金融行業使用場景做了深層系結,推出了一系列業務功能模塊,

伴隨業務不斷升級,視野數科從為金融機構提供資料資訊服務出發,近年來其客戶已逐步擴展服務政府、產業園區、大型國企集團等,同時覆寫資料范圍也從金融相關資料逐步延伸到產業產品資料、企業經營資料、宏觀經濟資料、政務資料、政策輿情資料、地理資訊資料等,圍繞客戶數字化轉型,為客戶提供資料銷售、資料整合、資料加工處理、資料中臺、系統開發和大資料模型分析咨詢服務的整體資料服務解決方案,助力中國產業數字化轉型,
?

在金融資料提供商的角色定位之外,如今的視野數科正在邁入多產品線和多型別服務客群的新發展階段,成為一個真正的金融產業資料服務方案解決商,?

業務痛點當先,優選阿里云 Serverless 方案

?

在金融行業系統中,大資料的應用場景一直是敏感復雜的代名詞,

以資料呼叫為例,大多數金融機構系統與外網隔離,需要資料服務公司搭建更適合這樣場景下的資料服務體系或可以滿足客戶需求的嵌入式資料功能,對于客戶來說,視野數科不僅提供常規的資料檔案/資料同步/API 的資料服務方式還可以將資料以 SDK + 嵌入式的方式無縫嵌入到客戶內部系統之中,

一方面,這簡化了客戶的開發成本,另一方面,則大大縮減了客戶對大量的外部采購資料的實際使用投入的開發時間,
?

此外,和眾多的金融科技公司一樣,視野數科是自建 IDC + 公有云混合部署的模式,而在上云的探索中,視野數科一直是行業的先行者,早在 14 年,視野數科基于阿里云 ECS 服務器,使用開源自建+云產品組合使用,搭建了第一代基礎設施云:整個架構以資料為核心,包括 SaaS 化資料服務平臺、安全接入和防護、資料服務層,資料處理層、云安全等,

做為一家科技行業的創業公司來說,在創業之初是需要將業務快速跑起來,最初所有應用都是單體煙囪式架構、手工部署,但基于技術側的短板,這些架構優化作業一直被耽擱,

但近兩年這類基于技術架構的問題被日益凸顯,可以看作,資料是企業業務的核心資產,資料的安全、穩定和效率是服務大型客戶的關鍵,在固有的模型下,視野數科測驗環境無法獲取客戶全量真實資料,很多 case 覆寫不到,只能等上線前,在灰度環境(等同預發)頻繁發版 & 測驗的程序中才暴露了一些問題:
?

1)開發迭代效率慢:單體煙囪式架構,代碼耦合度高,開發效率慢,
2)上線流程復雜,成本高:使用 SVN 代碼管理+人工部署,缺少規范化 DevOps 流程,每次上線前研發、質檢、運維三個團隊在灰度環境都需要大量的協作,來回折騰 20~30 次資料校驗,頻繁發版測驗,開發和運維幸福感很差,
3)容量預估無法自動化:每次客戶側有營銷活動/重要事件(如新華財經金融排名等),需提前一周告知視野數科備容 ECS,存在備容不準風險和閑置浪費問題,

針對以上的問題,視野數科自身的技術架構升級已劍在弦上,據了解,視野數科內部曾討論過兩個方案:

方案一:ECS 自建 Docker+開源微服務,發現能快速容器化&提升資源利用率,但底層基礎施運維(DockerDaemon 升級、配置管理、鏡像倉庫管理等)和開發作業量大(微服務組件自研),上線運維風險高,簡單 POC 之后,做出集體放棄的決定,
?

方案二:使用商業化的微服務 PaaS 平臺托管應用,發現能降低微服務門檻,能為微服務組件的穩定性兜底,但 ECS 還需要自己運維還是很繁瑣,而且整體費用太高超預算,
image.png
最終,在一次技術溝通會上了解到 SAE,結合公司當時的技術背景,發現 SAE 和公司的技術升級改造有很高的契合度,不改代碼、不改變應用現有的部署方式,享受到微服務 + Serverless + K8s 的完整體驗,開箱即用,也免去后期的運維,視野數科開啟了架構升級的踐行之路,
?

技術架構全面升級

?

工欲善其事,必先利其器,在正式遷移業務之前,視野數科做的第一件事就是標準化上線流程,期望通過持續集成來減負,

1)從 0 到 1 打造 Git + Jenkins + SAE 的云原生 DevOps 體系,


2)通過 SAE 低門檻完成微服務架構轉型,一步升級為微服務 + K8s + Serverless 架構,
?

前期挑選了主線產品—防爬識別應用的新版本,嘗試做微服務拆分,拆分后基于 Spring Cloud 標準開發,然后部署到 SAE,程序中發現 SAE 對 Java 微服務的支持實在是太全了:完全不需要客戶考慮資料隔離、分布式事務、熔斷設計、限流降級等,也無需擔心社區維護力度有限二次定制開發的問題,開箱即用,極大提升了開發效率,而且在開源基礎上,SAE 通過深度集成 MSE,提供了無損上下線、服務鑒權、全鏈路灰度等高級服務治理能力,幫助客戶屏蔽 K8s 技術細節,讓客戶零門檻容器化,無感擁抱 K8s,
?


?

在實踐 SAE 的程序中,采用了獨立業務 + 用戶灰度的策略,逐漸放大流量,將一部分業務陸續上線,然后再遷移歷史存量應用,

持續演進,打造金融級云平臺

?

因為金融行業的特殊性,在將 ECS 架構升級為 Serverless 架構的程序中,其實一開始很擔心 SAE 不能匹配金融安全合規監管需求,但經過和 SAE 同學溝通確認,以及 SAE 產品的不斷演進,徹底打消了視野的顧慮,

1)等保合規:在 ECS 模式下使用的云盾、防火墻、DDOS、保壘機等安全防護產品還繼續可以使用,SAE 也提供入侵檢測和漏洞掃描,SAE 后來也支持了容器鏡像服務企業版部署應用,支持鏡像安全掃描及多維度漏洞報告,保障存盤及內容安全,
?

2)安全隔離:SAE 同學告知用戶流量側無傾入,選擇 JDK 為 Dragonwell 后續還能支持通信加密,底層基于安全沙箱容器 + VPC 網路,能實作系統 + 網路 + 資料的多重安全隔離,
?

3)操作審計:在 SAE 上的一些操作,可以通過 SAE 獨有的發布單回溯變更歷史 ,同時 SAE 也對接了云產品操作審計,能查詢云上所有的操作行為日志和增刪改查事件,
?

4)權限管控:SAE 還解決了一個老大難的問題:權限隔離和審批,以往 ECS 模式下,尤其是新人到崗或者跨團隊聯調時,配置用戶組、RAM 權限,新機器登陸連接方式,非常繁瑣,賬號管理人員也時常會成為瓶頸,更重要的是運維操作沒有審批,風險不可控,開發都有機器的用戶名和密碼,發布比較隨意,

使用 SAE 后,以應用粒度添加權限,一個應用添加一次即可,省心省力,SAE 還通過主子賬號設計了運維審批流程,有效收斂了線上隨意發布帶來的質量風險,
?


?

運維效率提升 60%,效果顯著

?

通過和 SAE 平臺不斷的磨合驗證,視野數科的一部分應用已經陸續遷移到 SAE,整個遷移程序平滑,無任何改造成本,零故障,并且只投入了 1 個研發人員,接下來計劃將整體架構全面遷移到 SAE,充分享受云原生技術紅利,?

打造金融科技行業標桿,企業大資料大有可為

?

就當下而言,金融、工業、農業等很多行業正走在數字化的快車道之上,

其中金融行業足夠特殊,一方面其資料源比較標準化,另一方面金融資料覆寫面和應用面相對較廣泛,行業對資料的認可度較高,如今視野數科基于對核心金融機構服務的經驗,已經在行業有口皆碑,其資料質量獲得了行業一致好評,
?

據了解,當下視野數科已經打造了多條產品線,既有“無場景”化的資料查詢平臺,也有基于特定業務場景化的業務功能化平臺,除了業界標準的資料外,其還為不同資料劃分了更深層次,更全面的標簽,

值得稱道的是,視野數科面向國民經濟的 100 多個產業鏈,6000 多個細分行業和接近 10 萬種的“產品服務”分類投入了大量的研究力量,并產出了較為精準完善的產業分類體系,憑借對資料標簽的深層次挖掘,構建出了其對各類企業相關資料的深層次加工和再計算能力,

總結

?

未來,金融科技的運用將成為中國金融行業的嶄新增長點,通過技術驅動的金融創新將進一步幫助金融以及各行業領域實作效率的大幅度提升,基于此貧訓,視野數科也將踏浪而歌,持續在自己的賽道深耕,以產融資料動能推動金融行業數智化發展與轉型,助力中國金融科技發展的新格局,[ 作者 | 胡陽(視野數科) ]

更多內容關注 Serverless 微信公眾號(ID:serverlessdevs),匯集 Serverless 技術最全內容,定期舉辦 Serverless 活動、直播,用戶最佳實踐,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/418114.html

標籤:其他

上一篇:DEEP LEARNING WITH PYTORCH: A 60 MINUTE BLITZ | NEURAL NETWORKS

下一篇:演算法競賽——多源BFS

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • 2023年最新微信小程式抓包教程

    01 開門見山 隔一個月發一篇文章,不過分。 首先回顧一下《微信系結手機號資料庫被脫庫事件》,我也是第一時間得知了這個訊息,然后跟蹤了整件事情的經過。下面是這起事件的相關截圖以及近日流出的一萬條資料樣本: 個人認為這件事也沒什么,還不如關注一下之前45億快遞資料查詢渠道疑似在近日復活的訊息。 訊息是 ......

    uj5u.com 2023-04-20 08:48:24 more
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:47:46 more
  • vulnhub_Earth

    前言 靶機地址->>>vulnhub_Earth 攻擊機ip:192.168.20.121 靶機ip:192.168.20.122 參考文章 https://www.cnblogs.com/Jing-X/archive/2022/04/03/16097695.html https://www.cnb ......

    uj5u.com 2023-04-20 07:46:20 more
  • 從4k到42k,軟體測驗工程師的漲薪史,給我看哭了

    清明節一過,盲猜大家已經無心上班,在數著日子準備過五一,但一想到銀行卡里的余額……瞬間心情就不美麗了。最近,2023年高校畢業生就業調查顯示,本科畢業月平均起薪為5825元。調查一出,便有很多同學表示自己又被平均了。看著這一資料,不免讓人想到前不久中國青年報的一項調查:近六成大學生認為畢業10年內會 ......

    uj5u.com 2023-04-20 07:44:00 more
  • 最新版本 Stable Diffusion 開源 AI 繪畫工具之中文自動提詞篇

    🎈 標簽生成器 由于輸入正向提示詞 prompt 和反向提示詞 negative prompt 都是使用英文,所以對學習母語的我們非常不友好 使用網址:https://tinygeeker.github.io/p/ai-prompt-generator 這個網址是為了讓大家在使用 AI 繪畫的時候 ......

    uj5u.com 2023-04-20 07:43:36 more
  • 漫談前端自動化測驗演進之路及測驗工具分析

    隨著前端技術的不斷發展和應用程式的日益復雜,前端自動化測驗也在不斷演進。隨著 Web 應用程式變得越來越復雜,自動化測驗的需求也越來越高。如今,自動化測驗已經成為 Web 應用程式開發程序中不可或缺的一部分,它們可以幫助開發人員更快地發現和修復錯誤,提高應用程式的性能和可靠性。 ......

    uj5u.com 2023-04-20 07:43:16 more
  • CANN開發實踐:4個DVPP記憶體問題的典型案例解讀

    摘要:由于DVPP媒體資料處理功能對存放輸入、輸出資料的記憶體有更高的要求(例如,記憶體首地址128位元組對齊),因此需呼叫專用的記憶體申請介面,那么本期就分享幾個關于DVPP記憶體問題的典型案例,并給出原因分析及解決方法。 本文分享自華為云社區《FAQ_DVPP記憶體問題案例》,作者:昇騰CANN。 DVPP ......

    uj5u.com 2023-04-20 07:43:03 more
  • msf學習

    msf學習 以kali自帶的msf為例 一、msf核心模塊與功能 msf模塊都放在/usr/share/metasploit-framework/modules目錄下 1、auxiliary 輔助模塊,輔助滲透(埠掃描、登錄密碼爆破、漏洞驗證等) 2、encoders 編碼器模塊,主要包含各種編碼 ......

    uj5u.com 2023-04-20 07:42:59 more
  • Halcon軟體安裝與界面簡介

    1. 下載Halcon17版本到到本地 2. 雙擊安裝包后 3. 步驟如下 1.2 Halcon軟體安裝 界面分為四大塊 1. Halcon的五個助手 1) 影像采集助手:與相機連接,設定相機引數,采集影像 2) 標定助手:九點標定或是其它的標定,生成標定檔案及內參外參,可以將像素單位轉換為長度單位 ......

    uj5u.com 2023-04-20 07:42:17 more
  • 在MacOS下使用Unity3D開發游戲

    第一次發博客,先發一下我的游戲開發環境吧。 去年2月份買了一臺MacBookPro2021 M1pro(以下簡稱mbp),這一年來一直在用mbp開發游戲。我大致分享一下我的開發工具以及使用體驗。 1、Unity 官網鏈接: https://unity.cn/releases 我一般使用的Apple ......

    uj5u.com 2023-04-20 07:40:19 more