現代應用已經進入多資料源階段了，不再是一個單一的資料庫包打天下，一個應用中會涉及除關系資料庫外各種資料源，如文本檔案類資料、NOSQL、多維資料庫、HTML Webservice等等，即使是關系資料庫，也可能不止一個
應用這樣了，那么應用中的報表自然也會涉及到多樣性的資料源了
現在的報表，基本都是用報表工具來做，很多報表工具都號稱支持多資料源，是不是能解決這個問題呢？
其實只能搞定一點點
報表工具能輕松搞定的多源資料長什么樣
簡單的說，來自關系資料庫的多源資料都比較好搞定，不管是多表，還是多庫，都很簡單，用SQL把各個來源的資料都取出來，放到報表中去關聯、計算、呈現就可以
這樣的多源資料，好一點的報表工具都可以輕松應對
報表工具不好搞定的多源資料長什么樣
也可以簡單的說，不是單純的關系資料庫的多源資料，報表工具都不太好做
進入大資料時代以來，資料不僅是大了，而且存盤的方式也多了，除了傳統的關系資料庫外，還有
1.TXT/CSV、Excel、JSON/XML 等檔案；
2.MongoDB、Cassandra、HBase、Redis 這些 NoSQL 資料庫；
3.HDFS 等分布式檔案系統；
4.webService；
5.ES、Kafka 等其他資料源形式
檔案類的某些報表工具還能搞定，但也只限于讀，而不會算，只能先全部讀入到報表中，然后再利用報表的計算能力來計算處理，資料量大時，讀取的效率和空間容量都可能會成為問題，（極個別的工具可以邊讀邊匯總過濾，還能并行流式讀取，會好很多）；其它類的資料源大部分報表工具就連讀都不會了，因為沒有標準，每家有各自的API，想要讀取，大部分都得通過JAVA自定義資料集的方式了
讀取都比較費勁，而這些資料常常在業務邏輯上又有關聯，做報表的時候大部分時候都會涉及到多個資料源之間的關聯混算，單憑報表工具提供的多源關聯能力處理起來就更困難了
報表工具解決不了只能硬編碼
報表工具解決不了，但也難不倒工程師，因為工程師會編碼，沒有什么是編碼解決不了的，
工程師可以先把異構的資料變成同構的，比如把檔案的資料先匯入到RDB中，由RDB計算后再給報表用，而那些不會讀的，就只能再一次依靠所有報表工具都提供的所謂自定義資料原介面了用JAVA讀入并處理好，再傳給報表
專案中，很多困難的多源混算情況，都是這么處理的，都能搞定，但是這么做其實弊端很多
異構變同構，其實大部分時候是把不同的資料強行裝入到常見關系資料庫中，然后再利用SQL的方式來處理計算，這樣做，首先得考慮資料庫本身的管理和壓力，管理上是否允許這樣操作，容量是否夠，每次遇到這樣的庫外資料都要往資料庫中放？
然后還得考慮時效，資料的匯入都需要時間，量少的耗時短可能無所謂，量大的可能進度都被耽誤了，而且一般業務資料都是實時變動的，匯入資料的方式也基本很難保證資料的實時性，還有些變不了或者變起來極困難的，像json/xml多層資料（mongodb也是這種），要建很多表，想變都變不了
JAVA處理的話，要好很多，不用考慮入庫的一系列問題，實時性也可以保證，但是開發成本高，還會破壞應用架構
JAVA開發人員的成本本身就高，然后JAVA計算資料的能力還很弱，寫起來作業量很大，簡單做個求和運算都需要寫數行代碼的回圈來實作，更別說邏輯復雜的運算了，動輒幾百行的代碼，一個報表還可以承受，報表一多，就承受不了這樣的高成本了
另外JAVA代碼需要和專案應用一起編譯，也會帶來報表和應用高耦合的問題，還會影響報表本身熱切換的能力
有沒有更好的辦法
如果報表工具提供處理復雜多樣性資料源的能力，那問題就可以迎刃而解了，就不需要再來回倒騰資料或者JAVA硬寫了
潤乾報表集成SPL集算器以后就具備了這樣的能力
SPL 是一款流行的專業的資料計算處理工具，很多專案開發商都在用，因為它不僅好用，而且還免費，開源，是常年做專案，總需要做資料處理的工程師的好幫手
集成 SPL 后，潤乾報表相當于多了一個計算層，這個計算層支持常見的各類資料源，可以同時計算來自不同資料源的資料，不管它是同構還是異構
比如JSON和ORACLE混算
| A | ||
|---|---|---|
| 1 | =json(file("/data/EO.json").read()) | JSON資料 |
| 2 | =A1.conj(Orders) | |
| 3 | =A2.select(Amount>1000 &&Amount<=3000 && like@c(Client,"s")) | 條件過濾 |
| 4 | =db.query@x(“select ID,Name,Area from Client”) | 資料庫資料 |
| 5 | =join(A3:o,Client;A4:c,ID) | 關聯計算 |
| 再比如MongoDB和 CSV關聯運算 |
| A | |
|---|---|
| 1 | =mongo_open("mongodb://127.0.0.1:27017/mongo") |
| 2 | =mongo_shell(A1,"Orders.find()").fetch() |
| 3 | =file("Employee.csv").import@tc() |
| 4 | =mongo_close(A1) |
| 5 | =join(A2,SellerId;A3,EId) |
| 6 | =A5.new(_1.OrderID,_1.Client,_2.Name,_2.Gender,_2.Dept) |
原本要做各種轉換把資料匯入到庫里，或者用大段的JAVA來寫，現在簡單幾行SPL代碼就輕松搞定了
說在最后
集成了SPL的潤乾報表，簡單幾行代碼就可以搞定多樣性資料源的難題，不僅讓報表做起來更輕松，更是幫用戶省下了大把的人工成本，而且潤乾報表本身也好用，潤乾一直都是報表行業的頭部供應商，各行業的大小軟體開發商們都有用潤乾，現在的價格又很親民，1W一套，3W一年隨便用，也可以給專案上省出不少費用，有需要的可以收藏一下了
潤乾報表資料
- 潤乾報表官網
- 潤乾報表下載
歡迎對潤乾報表有興趣的加小助手（VX號：RUNQIAN_RAQSOFT），進技術交流群
歡迎關注我的公告號：字母哥雜談，回復003贈送作者專欄《docker修煉之道》的PDF版本，30余篇精品docker文章，字母哥博客：zimug.com
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/533500.html
標籤：其他
上一篇：德摩根定律
下一篇：狀態機的技術選型,yyds!