主頁 > 區塊鏈 > 微礦Qlib:業內首個AI量化投資開源平臺

微礦Qlib:業內首個AI量化投資開源平臺

2021-09-19 11:23:21 區塊鏈

2020年底,微軟亞洲研究院正式發布了 AI 量化投資開源平臺“微礦 Qlib”,這是微軟亞洲研究院成立“創新匯”三年以來,在與金融行業的成員企業合作研究的基礎之上,打造的 AI+金融跨界創新的階段性重要成果,通過創建一個通用的技術平臺,幫助實作量化投資流程的 AI 倍訓,

Qlib 涵蓋了量化投資的全程序,為用戶的 AI 演算法提供了高性能的底層基礎架構,從框架設計上讓用戶可以更容易地應用 AI 演算法來輔助解決量化投資的各個關鍵問題(例如 Alpha 預測,風險預測,市場動態性建模),

對于金融從業者來說,Qlib 平臺大大降低了使用 AI 演算法的門檻,其內部集成了十幾個 AI 演算法在金融場景下的使用樣例以供參考,并且為整個金融行業提供了一個適應 AI 演算法的高性能基礎設施和資料、模型管理平臺,而對于 AI 從業者來說,Qlib 則提供了一個完備的投資研究框架,以及基于領域知識設計的多個跨市場的資料集和業內領先的基準,

專為AI而生的量化投資平臺

與傳統量化投資工具不同,Qlib 覆寫了量化投資的全程序,而且從底層構造開始就專為 AI 而生,從資料處理到計算力支撐,再到模型的訓練與驗證,都為基于 AI 的量化投資提供了全方位的框架支持,用戶可以通過 Qlib 平臺提供的多個工具模塊,更加輕松地管理和使用自己的演算法,特別是其 AI 演算法,Qlib 的三大特點:

涵蓋量化投資全流程

從 Qlib 的功能模塊圖我們便可一窺全貌,

Qlib 平臺功能模塊

最底層的是基礎架構層(Infrastructure),Qlib 的資料服務模塊(Data Server)提供了高性能的資料存盤設計,讓 AI 演算法可以更快地處理更多金融資料,訓練模塊(Trainer)則為 AI 演算法提供了靈活的介面來定義訓練模型的程序,讓 Auto-ML 等演算法成為可能,也為分布式訓練提供了介面,而模型管理模塊(Model Manager)可以讓用戶更好地管理繁多的 AI 模型,更快地迭代其 AI 演算法,

中間層是量化投資流程(Workflow),資訊抽取模塊(Information Extractor)負責從異構資料中提取有效的資訊,因為用 AI 進行投資分析資料是關鍵,盡管金融行業有一定的資料基礎,但 AI 模型可以直接使用的高質量資料仍然十分有限,所以這就需要更多精細化處理和資訊抽取,之后,預測模型(Forecast Model)會輸入抽取的資訊,輸出可供金融專家參考的未來收益、風險等等預測,然而預測模型需要依靠底層海量資料才能訓練出精準、有效的預測模型,而投資組合生成模塊(Portfolio Generator)則能根據預測得到 Alpha 信號和風險信號輔助生成投資策略組合,訂單執行模塊(Order Executor)是投資的最后一步——交易執行,幫助用戶判斷何時下單也是一門藝術,

在量化投資中,幾乎不可能有一個模型在全時段都一直保持卓越的表現,所以對市場動態性建模,以及在不同時期適時地調整模型、策略、執行也是一個非常重要的課題,Qlib 中元控制器模塊 (Meta Controller) 的設計正是要支持這類問題的研究,實時提供精準的參考資訊和方案,輔助用戶進行操作,

最上層是互動層(Interface),其中,分析模塊(Analyzer)會根據下層的預測信號、倉位、執行結果做出詳細的分析并呈現給用戶,

事實上,傳統量化投資開源平臺的誕生大多早于 AI 和機器學習的興起,更偏重于量化投資的回測、分析或執行方面的功能,不少平臺只包含其中的某些部分,而 Qlib 所提供的資料處理、模型訓練、投資組合生成等部分都是其特有的能力,Qlib 完整的投資流程框架不僅讓分析人員可以擁有更加整體的視角,而且工具齊全,需要什么都可以信手拈來,

資料、演算法和算力,聚齊AI三大要素

由于 AI 技術是最近幾年才開始進入投資研究領域的,傳統的量化投資幾乎沒有采用 AI 技術,只需應對傳統演算法,所以基于 AI 的量化投資平臺自然需要提供更強大的底層架構和介面支持,因此,Qlib 提供了一個高性能的基礎平臺,從算力支撐到資料存取,都能夠滿足金融 AI 對于性能的高級別要求,

在資料層面,Qlib 提供了基于領域知識設計的多個跨市場的資料集,其資料服務模塊中內含了為金融資料專門設計的運算式計算引擎,對金融資料和運算進行了存盤和計算優化,相比傳統 IT 平臺,Qlib 的計算性能要快數十倍,可以讓用戶的 AI 模型更輕松地駕馭更多的資料,在資料的使用方面,AI 模型與傳統模式也有很大不同,傳統量化投資的資訊抽取依賴于金融行業研究員根據經驗和領域知識實作的因子,但 AI 演算法則有能力自動從資料中抽取資訊,對此,Qlib 的資料管理框架未來會滿足 AI 模型所特有的使用方式,

在演算法與模型層面,Qlib 目前內置了常見的金融 AI 模型(例如 LightGBM、GRU、GATs 等十幾個模型),用戶可以基于平臺和自己的資料甚至是參考的最新的外部論文去創建全新的模型,挖掘差異化的投資因子,針對不同的資料和目標訓練相應的預測模型并構建自己的投資組合,如果用戶愿意分享自己的模型,也可以開源到 Qlib 平臺,與更多業內人士共享,

值得一提的是,模型管理也是 Qlib 特有的部分,由于管理程序中會涉及模型眾多、引數復雜、資料海量、管理追蹤難/復現難等問題,Qlib 提供了專門的模型管理器模塊(Model Manager)幫助用戶更加系統化地管理自己的 AI 模型,只有管理有序,才能在需要的時候找到最適合的模型,提高預測分析的效率和準確率,


Qlib 支持的資料集和 AI 模型(持續更新中), 點擊以下鏈接,一鍵“跑遍”所有模型https://github.com/Microsoft/qlib/blob/main/examples/run_all_model.py

所有模塊均可靈活配置

投資研究是一個復雜的程序,其中的每個環節實際上都可以獨立出來作為一個單獨的研究課題,所以,Qlib 在框架構建之初就考慮到了研究程序的靈活性,不能將流程固化,框架中的各個模塊分則各具特點,合則渾然一體,這樣研究人員就可以根據自己的作業流將不同的模塊組合,靈活配置架構,

隔行如隔山?在Qlib這里不存在

人們常說,術業有專攻,隔行如隔山,但在 Qlib,行業區隔不再是難題,因為無論是金融從業者還是 AI 從業人員都可以從中找到自己的所需,

AI 技術人員最擅長的是“調參煉丹”,讓他們來做金融投資分析,首先需要學習金融領域的知識,但從何學起很有講究,如果方法不當,會額外耗費很多精力,Qlib 在每個模塊中都預置了一系列相關問題、金融領域資料處理知識以及完備的投資研究框架,例如,在最常見的選股場景中,非金融專業人員很可能一開始就會選擇大盤的漲跌進行研究,但這是行業內非常困難的一個問題,無疑會給研究程序帶來極大的挑戰,而 Qlib 會基于框架分類設定步驟,AI 技術人員只需根據樣例就能循序漸進地切入到金融領域,避免走彎路,

另一方面,對于傳統金融從業者來說,盡管他們十分熟悉量化投資的流程,但卻不清楚應該在哪個環節、引入哪項 AI 技識訓哪個演算法,因此,Qlib 平臺將相關問題拆分,并在每一步和每個模塊中提供了簡單易學的 AI 技術、資料引入的方法,以及模型的訓練方式,大大降低了 AI 使用的專業門檻,Qlib 還提供了很多現成的例子、模型供相關人員參考,隨著更多用戶愿意在 Qlib 平臺上開源自己的模型演算法,今后將會有越來越多的用戶從中受益,

此外,Qlib 也正在逐步成為學術界科研人員的有力工具,Qlib 提供了大量的公開資料集、業界基準和相對統一的評價指標,有助于研究人員在測驗新演算法時省去不必要的、與核心作業無關的作業而專心于研究任務,同時也能夠幫助研究人員定義合理的學術研究問題,

Qlib 平臺開源僅一個月多,目前已經在 Github 上獲得了近700顆星的好評,并得到了社區成員和用戶的積極反饋,現在 Qlib 的更新非常活躍,未來還將有更多功能開放出來,歡迎大家關注、使用 Qlib 平臺:https://github.com/microsoft/qlib,希望通過基于 Qlib 平臺更多的交流和分享,可以助力投資領域形成更大規模的良性回圈,

掃描下方二維碼,或點擊 https://github.com/microsoft/qlib,了解更多Qlib細節,

轉載請註明出處,本文鏈接:https://www.uj5u.com/qukuanlian/301345.html

標籤:區塊鏈

上一篇:2021-09-17

下一篇:StarMiner新游上線:Play-to-Earn NFT 挖礦游戲

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • JAVA使用 web3j 進行token轉賬

    最近新學習了下區塊鏈這方面的知識,所學不多,給大家分享下。 # 1. 關于web3j web3j是一個高度模塊化,反應性,型別安全的Java和Android庫,用于與智能合約配合并與以太坊網路上的客戶端(節點)集成。 # 2. 準備作業 jdk版本1.8 引入maven <dependency> < ......

    uj5u.com 2020-09-10 03:03:06 more
  • 以太坊智能合約開發框架Truffle

    前言 部署智能合約有多種方式,命令列的瀏覽器的渠道都有,但往往跟我們程式員的風格不太相符,因為我們習慣了在IDE里寫了代碼然后打包運行看效果。 雖然現在IDE中已經存在了Solidity插件,可以撰寫智能合約,但是部署智能合約卻要另走他路,沒辦法進行一個快捷的部署與測驗。 如果團隊管理的區塊節點多、 ......

    uj5u.com 2020-09-10 03:03:12 more
  • 谷歌二次驗證碼成為區塊鏈專用安全碼,你怎么看?

    前言 谷歌身份驗證器,前些年大家都比較陌生,但隨著國內互聯網安全的加強,它越來越多地出現在大家的視野中。 比較廣泛接觸的人群是國際3A游戲愛好者,游戲盜號現象嚴重+國外賬號安全應用廣泛,這類游戲一般都會要求用戶系結名為“兩步驗證”、“雙重驗證”等,平臺一般都推薦用谷歌身份驗證器。 后來區塊鏈業務風靡 ......

    uj5u.com 2020-09-10 03:03:17 more
  • 密碼學DAY1

    目錄 ##1.1 密碼學基本概念 密碼在我們的生活中有著重要的作用,那么密碼究竟來自何方,為何會產生呢? 密碼學是網路安全、資訊安全、區塊鏈等產品的基礎,常見的非對稱加密、對稱加密、散列函式等,都屬于密碼學范疇。 密碼學有數千年的歷史,從最開始的替換法到如今的非對稱加密演算法,經歷了古典密碼學,近代密 ......

    uj5u.com 2020-09-10 03:03:50 more
  • 密碼學DAY1_02

    目錄 ##1.1 ASCII編碼 ASCII(American Standard Code for Information Interchange,美國資訊交換標準代碼)是基于拉丁字母的一套電腦編碼系統,主要用于顯示現代英語和其他西歐語言。它是現今最通用的單位元組編碼系統,并等同于國際標準ISO/IE ......

    uj5u.com 2020-09-10 03:04:50 more
  • 密碼學DAY2

    ##1.1 加密模式 加密模式:https://docs.oracle.com/javase/8/docs/api/javax/crypto/Cipher.html ECB ECB : Electronic codebook, 電子密碼本. 需要加密的訊息按照塊密碼的塊大小被分為數個塊,并對每個塊進 ......

    uj5u.com 2020-09-10 03:05:42 more
  • NTP時鐘服務器的特點(京準電子)

    NTP時鐘服務器的特點(京準電子) NTP時鐘服務器的特點(京準電子) 京準電子官V——ahjzsz 首先對時間同步進行了背景介紹,然后討論了不同的時間同步網路技術,最后指出了建立全球或區域時間同步網存在的問題。 一、概 述 在通信領域,“同步”概念是指頻率的同步,即網路各個節點的時鐘頻率和相位同步 ......

    uj5u.com 2020-09-10 03:05:47 more
  • 標準化考場時鐘同步系統推進智能化校園建設

    標準化考場時鐘同步系統推進智能化校園建設 標準化考場時鐘同步系統推進智能化校園建設 安徽京準電子科技官微——ahjzsz 一、背景概述隨著教育事業的快速發展,學校建設如雨后春筍,隨之而來的學校教育、管理、安全方面的問題成了學校管理人員面臨的最大的挑戰,這些問題同時也是學生家長所擔心的。為了讓學生有更 ......

    uj5u.com 2020-09-10 03:05:51 more
  • 位元幣入門

    引言 位元幣基本結構 位元幣基礎知識 1)哈希演算法 2)非對稱加密技術 3)數字簽名 4)MerkleTree 5)哪有位元幣,有的是UTXO 6)位元幣挖礦與共識 7)區塊驗證(共識) 總結 引言 上一篇我們已經知道了什么是區塊鏈,此篇說一下區塊鏈的第一個應用——位元幣。其實先有位元幣,后有的區塊 ......

    uj5u.com 2020-09-10 03:06:15 more
  • 北斗對時服務器(北斗對時設備)電力系統應用

    北斗對時服務器(北斗對時設備)電力系統應用 北斗對時服務器(北斗對時設備)電力系統應用 京準電子科技官微(ahjzsz) 中國北斗衛星導航系統(英文名稱:BeiDou Navigation Satellite System,簡稱BDS),因為是目前世界范圍內唯一可以大面積提供免費定位服務的系統,所以 ......

    uj5u.com 2020-09-10 03:06:20 more
最新发布
  • web3 產品介紹:metamask 錢包 使用最多的瀏覽器插件錢包

    Metamask錢包是一種基于區塊鏈技術的數字貨幣錢包,它允許用戶在安全、便捷的環境下管理自己的加密資產。Metamask錢包是以太坊生態系統中最流行的錢包之一,它具有易于使用、安全性高和功能強大等優點。 本文將詳細介紹Metamask錢包的功能和使用方法。 一、 Metamask錢包的功能 數字資 ......

    uj5u.com 2023-04-20 08:46:47 more
  • Hyperledger Fabric 使用 CouchDB 和復雜智能合約開發

    在上個實驗中,我們已經實作了簡單智能合約實作及客戶端開發,但該實驗中智能合約只有基礎的增刪改查功能,且其中的資料管理功能與傳統 MySQL 比相差甚遠。本文將在前面實驗的基礎上,將 Hyperledger Fabric 的默認資料庫支持 LevelDB 改為 CouchDB 模式,以實作更復雜的資料... ......

    uj5u.com 2023-04-16 07:28:31 more
  • .NET Core 波場鏈離線簽名、廣播交易(發送 TRX和USDT)筆記

    Get Started NuGet You can run the following command to install the Tron.Wallet.Net in your project. PM> Install-Package Tron.Wallet.Net 配置 public reco ......

    uj5u.com 2023-04-14 08:08:00 more
  • DKP 黑客分析——不正確的代幣對比率計算

    概述: 2023 年 2 月 8 日,針對 DKP 協議的閃電貸攻擊導致該協議的用戶損失了 8 萬美元,因為 execute() 函式取決于 USDT-DKP 對中兩種代幣的余額比率。 智能合約黑客概述: 攻擊者的交易:0x0c850f,0x2d31 攻擊者地址:0xF38 利用合同:0xf34ad ......

    uj5u.com 2023-04-07 07:46:09 more
  • Defi開發簡介

    Defi開發簡介 介紹 Defi是去中心化金融的縮寫, 是一項旨在利用區塊鏈技術和智能合約創建更加開放,可訪問和透明的金融體系的運動. 這與傳統金融形成鮮明對比,傳統金融通常由少數大型銀行和金融機構控制 在Defi的世界里,用戶可以直接從他們的電腦或移動設備上訪問廣泛的金融服務,而不需要像銀行或者信 ......

    uj5u.com 2023-04-05 08:01:34 more
  • solidity簡單的ERC20代幣實作

    // SPDX-License-Identifier: GPL-3.0 pragma solidity >=0.7.0 <0.9.0; import "hardhat/console.sol"; //ERC20 同質化代幣,每個代幣的本質或性質都是相同 //ETH 是原生代幣,它不是ERC20代幣, ......

    uj5u.com 2023-03-21 07:56:29 more
  • solidity 參考型別修飾符memory、calldata與storage 常量修飾符C

    在solidity語言中 參考型別修飾符(參考型別為存盤空間不固定的數值型別) memory、calldata與storage,它們只能修飾參考型別變數,比如字串、陣列、位元組等... memory 適用于方法傳參、返參或在方法體內使用,使用完就會清除掉,釋放記憶體 calldata 僅適用于方法傳參 ......

    uj5u.com 2023-03-08 07:57:54 more
  • solidity注解標簽

    在solidity語言中 注釋符為// 注解符為/* 內容*/ 或者 是 ///內容 注解中含有這幾個標簽給予我們使用 @title 一個應該描述合約/介面的標題 contract, library, interface @author 作者的名字 contract, library, interf ......

    uj5u.com 2023-03-08 07:57:49 more
  • 評價指標:相似度、GAS消耗

    【代碼注釋自動生成方法綜述】 這些評測指標主要來自機器翻譯和文本總結等研究領域,可以評估候選文本(即基于代碼注釋自動方法而生成)和參考文本(即基于手工方式而生成)的相似度. BLEU指標^[^?88^^?^]^:其全稱是bilingual evaluation understudy.該指標是最早用于 ......

    uj5u.com 2023-02-23 07:27:39 more
  • 基于NOSTR協議的“公有制”版本的Twitter,去中心化社交軟體Damus

    最近,一個幽靈,Web3的幽靈,在網路游蕩,它叫Damus,這玩意詮釋了什么叫做病毒式營銷,滑稽的是,一個Web3產品卻在Web2的產品鏈上瘋狂傳銷,各方大佬紛紛為其背書,到底發生了什么?Damus的葫蘆里,賣的是什么藥? 注冊和簡單實用 很少有什么產品在用戶注冊環節會有什么噱頭,但Damus確實出 ......

    uj5u.com 2023-02-05 06:48:39 more