Greenplum 5.1.0介紹
Pivotal Greenplum是基于MPP架構的資料庫產品,它可以滿足下一代資料倉庫對大規模的分析任務的需求。通過自動對資料進行磁區以及多節點并行執行查詢等方式,Greenplum使一個包含上百節點的資料庫集群運行起來就像單機版本的傳統資料庫一樣簡單可靠,同時提供了幾十倍甚至上百倍的性能提升。除了傳統的SQL,Greenplum還支持MapReduce,文本索引,存盤程序等很多分析工具。
Greenplum 5.1.0可以從這里下載(https://network.pivotal.io/products),檔案在這里(https://gpdb.docs.pivotal.io/510/main/index.html),主頁在這里(http://greenplum.org/),源代碼在github(https://github.com/greenplum-db/gpdb)。
新特性支持
增強了GPORCA對短查詢的性能優化
Greenplum 5.1.0 中,對不需要估計的欄位跳過統計資料查詢和生成,降低了優化耗時,對短查詢性能提升明顯。在之前的版本中,即使只需要欄位的寬度(width)資訊,GPORCA也會查詢欄位的其他統計資料。
提升了GPORCA優化器性能
Greenplum 5.1.0 新增了以下 GPORCA 性能增強特性
1. 對于大量表的關聯操作生成執行計劃時,GPORCA減少了參與估計的最大join組合的數目,這一改進對查詢性能影響甚微,卻大大降低了優化時間。在之前的版本中,GPORCA會對每一個可能出現的join組合進行估計來確定最優的方案,從而花費更長的時間來生成執行計劃
2. 對于包含關聯子查詢(correlated subquery)并且子查詢包含視窗函式的查詢,GPORCA會為其生成基于join的更有效的查詢計劃。
GPORCA可以支持磁區表子節點的索引
在Greenplum 5.1.0中,如果一個磁區表的資料子節點包含了索引,GPORCA在生成針對這個資料子節點的查詢計劃時,會利用這個索引資訊;之前的版本不會使用葉子節點的索引。
支持表與外部程式之間的COPY操作
Greenplum 5.1.0支持了Postgres 9.3中的copy to/from program功能。用戶可以指定外部命令,在每個segment上并行運行,處理COPY命令的輸出或者輸入資料給COPY命令。
gptransfer支持了SHA-256資料校驗
Greenplum 5.1.0中,gptransfer在傳輸資料時會根據資料的SHA265進行校驗。當作業系統啟用了FIPS以后,md5校驗被認為是不安全的演算法,因此gptransfer使用更高級的SHA265校驗演算法。
提升了gprecoverseg的性能
Greenplum 5.1.0中,當segment節點有大量檔案時,對其進行gprecoverseg操作時,性能有大幅提升。
增加了新的外部資料引擎PXF
Greenplum 5.1.0中引進新的外部資料框架PXF(Pivotal extention framework),它部署在每個運行Segment的物理機器上,提供了對HDFS檔案系統以及HIVE的支持。PXF對外部資料提供了抽象的介面,可以方便的支持各種資料源。
試驗特性
除了正式支持的功能外,Greenplum 5.1.0還包含了下面幾個試驗特性:
Recursive CTE
CTE(Common Table Expressin)定義了一個可以在同一個查詢里重復使用的臨時表,可以大大簡化SQL陳述句。Greenplum 5.1.0中CTE定義支持了recursive關鍵字,從而允許在CTE定義是可以遞回的參考自己。
基于Resource group的資源管理
Resource group是Greenplum的下一代資源管理框架,可以用來管理并發查詢的數量,以及每個查詢允許使用的CPU和記憶體的限制。Greenplum 5.1.0默認仍使用老版本的資源管理機制,可以通修改gp_resource_manager為"group"來試用新的Resource group功能。
Pgadmin4支持
Greenplum 5.1.0 兼容了PGadmin4,用戶可以通過PGAdmin4來查詢瀏覽Greenplum表(包括AO表)以及DDL資訊。
Greenplum 5.1.0的擴展組件
Client端工具

擴展模塊

其他擴展
· PXF Extension Framework
Greenplum 5.1.0中引進新的外部資料框架PXF(Pivotal extention framework),它部署在每個運行Segment的物理機器上,提供了對HDFS檔案系統以及HIVE的支持。PXF對外部資料提供了抽象的介面,可以方便的支持各種資料源。
· Greenplum-Spark Connector
支持Greenplum與Spark之間的高速并行資料傳輸。
· Pivotal GPText
Pivotal Greenplum Database 5.1.0 可以支持 GPText version 2.1.3 及以后的版本。GPText是Greenplum提供的文本搜索引擎,可以支持全文檢索及文本分析功能。
Greenplum 5.1.0支持的平臺
Greenplum的服務器支持如下平臺
· Red Hat Enterprise Linux 64-bit 7.x
· Red Hat Enterprise Linux 64-bit 6.x
· SuSE Linux Enterprise Server 64-bit 11 SP4
· CentOS 64-bit 7.x
· CentOS 64-bit 6.x
Greenplum的java組件依賴java的如下版本
· 8.xxx
· 7.xxx
Greenplum運行時需要如下的依賴包
· OpenSSL 1.0.2l (with FIPS 2.0.16)
· cURL 7.54
· OpenLDAP 2.4.44
· Python 2.7.12
Client端工具可以支持如下平臺
· Red Hat Enterprise Linux 64-bit 7.x
· Red Hat Enterprise Linux 64-bit 6.x
· SuSE Linux Enterprise Server 64-bit 11 SP4
· CentOS 64-bit 7.x
· CentOS 64-bit 6.x
· Windows
· AIX
轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/106463.html
標籤:Greenplum
