1. 背景
- R語言和Python用于資料分析和資料處理，并生成相應的直方圖和散點圖
- 需要實作一個展示平臺，后端使用Java，分別呼叫R語言和呼叫Python，并回傳資料和圖給前端顯示
- 這個平臺主要實作多維度資料的特征選擇，以及資料集協變數偏移（Covariate shift）的糾正的功能
- 本質就是一個Java呼叫R語言以及Java呼叫Python的Demo，做得很簡單，大神勿噴
2. 技術堆疊
- Java 用的是 Springboot
- R語言
- Python
- 前端用的是 Vue + ElementUI （前端只會點皮毛）
- MySQL
3. Java呼叫R語言
3.1 R語言安裝Rserve服務器
在這之前需要分別對Java和R做些準備，首先是R語言安裝Rserve服務器
Java呼叫R語言時，Rserve需要啟動，可以通過CMD命令列 / RStudio 執行
# 安裝Rserve
install.packages("Rserve")
# 載入Rserve
library(Rserve())
# 啟動Rserve
Rserve()
這里使用CMD命令列展示啟動Rserve，這樣完成了Java呼叫R語言的第一步
3.2 Springboot添加Rsession依賴
添加Rsession依賴之后就可以直接調包了
<dependency>
<groupId>com.github.yannrichet</groupId>
<artifactId>Rsession</artifactId>
<version>1.8.3</version>
</dependency>
3.3 Java呼叫R常用命令
這里演示一些我需求中Java呼叫R的一些方式，其中包括一些比較常用的方法
Java呼叫R的基本指令、R的圖片如何保存并回傳、R的結果如何獲取和過濾等
/**
* 這里是Java呼叫R語言，R語言對多維度的資料進行特征選擇，并將特征選擇的結果回傳，寫入MySQL
**/
public List<Map<String,String>> featureSelection(){
RConnection c = null;// RConnection用于和Rserve建立連接
try{
c = new RConncetion();// 建立連接
String RPath = "../featureSelection.R";// R檔案的地址
c.assign("path",Rpath);// assign命令是將Rpath添加到R中，命名為path
c.eval("source(path)");// eval命令是執行R命令，這里則是執行source方法根據路徑加載R檔案
String Dpath = fileMapper.selectFilePath("train",1);// 通過MySQL獲取資料集路徑
String str = "rfProfile <- fsFunction('"+Dpath+"')";// R命令，執行我的R檔案中的方法
c.eval(str);//執行
// 出圖，因為是個Demo，圖片我就直接存盤在了本地，圖片以資料集名稱命名
String fileName = fileMapper.selectFileName("train", 1);//檔案名
String imgPath = "D:/fileAndData/imgs/" + fileName + ".png";// 圖片保存路徑
c.assign("imgPath",imgPath);
c.eval("png(imgPath)");// 使用R語言的png()方法保存圖片
c.assign("mainName",fileName);
c.eval("print(plot(rfProfile,type='b',main=mainName))");// 想要出圖一定要套一個print()，不然會是空白
c.eval("dev.off()");// 出圖這個也是必不可少，自行百度了解
// 獲取特征選擇的結果，結果使用String接收，需要通過正則運算式過濾一下我們需要的結果
c.eval("features <- rfProfile$optVariables");
// 獲取R的結果使用的是paste()以及capture.output()方法，相當于把輸出全捕獲過來了
String feature = c.eval("paste(capture.output(features),collapse='\\n')").asString();
// 獲取重要性得分
c.eval("impt <- varImp(rfProfile)");
String imptScores = c.eval("paste(capture.output(impt$Overall),collapse='\\n')").asString();
// 寫了個工具類過濾R回傳的結果，可以根據你的輸出結果去定義
handlerRresults = new HandlerRresults();
List<Map<String, String>> stringStringMapList = handlerRresults.catchAndHandlerR(feature, imptScores);
fileMapper.deleteFileInfo(-1,"train");//-1 檔案已使用
String featsStr = handlerRresults.getFeatsStr(feature);
featMapper.insertFeat(featsStr);
return stringStringMapList;
} catch (RserveException | REXPMismatchException e) {
e.printStackTrace();
} finally {
c.close(); // 一定要這一行！！！用完一定要關！！！
}
return null;
}
總結一個簡易的Java呼叫R的模板，R語言是按行執行的，無情eval()
public void JavaCallRDemo(){
RConnection c = null;
try{
c = new RConnection();
c.assign();//通過Java添加變數至R
c.eval();//Java執行R命令
} catch (RserveException | REXPMismatchException e) {
e.printStackTrace();
} finally {
c.close();
}
}
3.4 Java呼叫R的特征選擇前端演示
我的資料集是30維的，結果選取了其中5個特征（Best trade-off）
這里將特征及其對應的重要性得分通過表格的形式展示
圖片則是通過Base64轉碼的方式傳給前端
4 Java呼叫Python
4.1 Java呼叫Python代碼部分
Java呼叫Python，我使用的是Process類并通過Runtime呼叫其他行程
Runtime可以呼叫cmd、shell等，這里我以我的專案為例稍作演示
/**
* Java使用Runtime呼叫python
**/
public String callPy(){
StringBuffer arr = new StringBuffer();// 用于獲取結果
String basePath = "d://fileAndData/process/";// demo都是將檔案直接存本地了，圖方便
// 以下為呼叫Python時傳遞的引數
String featName = featMapper.getFeat();
String trainPath = fileMapper.selectFilePath("train",-2);
String ptrainPath = basePath + fileMapper.selectFileName("train",-2);
String ptestPath = basePath + fileMapper.selectFileName("test",-2);
Process proc; //宣告一下Process
try{
// 字串陣列保存一下呼叫命令：1.使用python3 2.呼叫某個.py檔案 3-6.傳遞的引數
String[] args = new String[]{"python3","../kmm.py",featName,trainPath,ptrainPath,ptestPath};
proc = Runtime.getRuntime().exec(args);// 呼叫命令，cmd方式
BufferedReader in = new BufferedReader(new InputStreamReader(proc.getInputStream()));// 得到輸入流
String line = null;
while((line = in.readLine())!=null){
arr.append(line).append("\n");// 寫入
}
in.close();
proc.waitFor();
} catch (IOException | InterruptedException e) {
e.printStackTrace();
}
return arr.toString();
}
由于在我這個Demo中，Python腳本執行完成后的結果全是散點圖
我的做法是python直接把圖保存本地，python執行完成后呼叫介面通過Base64格式傳給前端
后來發現其實也可以直接將回傳的Base64格式的圖片丟給前端，不用那么麻煩
/**
* 這里是一個我用于獲取某個檔案夾下所有檔案，并轉為Base64格式的方法
* 因為我檔案夾下只會有圖片，我Demo也就只做了一個判空校驗，直接開干
* Controller層
**/
public List<String> getPyFigsListBase64(HttpServletResponse response){
String pyFilePath = "d://fileAndData/kmmImgs";// 圖片本地路徑
List<String> res = new ArrayList<>();
handlerPyresults = new HandlerPyresults();// 寫個了工具類
List<File> pyFiles = handlerPyresults.getAllFile(pyFilePath);// 獲取所有檔案
for(File file : pyFiles) {
byte[] fig = handlerPyresults.file2Byte(file);// file型別轉為byte[]型別
String base64str = Base64.encodeBase64String(fig);// byte[]轉為base64
String img = "data:image/png;base64," + base64str;// 添加頭，告訴前端這是個圖片
res.add(img);
}
return res;
}
/**
* file轉byte[]
**/
public byte[] file2Byte(File file){
if(file == null){
return null;
}
FileInputStream fileInputStream = null;
ByteArrayOutputStream byteArrayOutputStream = null;
try {
fileInputStream = new FileInputStream(file);
byteArrayOutputStream = new ByteArrayOutputStream();
byte[] b = new byte[1024];
int n;
while ((n = fileInputStream.read(b))!=-1){
byteArrayOutputStream.write(b,0,n);
}
return byteArrayOutputStream.toByteArray();
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
fileInputStream.close();
byteArrayOutputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
return null;
}
4.2 Java呼叫Python結果演示
我的python腳本主要是對資料集使用了KMM演算法，是一種協變數偏移糾正的方法
通過散點圖反映測驗集和訓練集之間的分布情況和差異，這里略...
5. 總結
這個專案是我碩士期間導師丟給我的一個需求，這里說一下為什么要用Java呼叫R語言和Python，
-
首先我有一個伽馬射線的二分類任務，通過R語言使用多個傳統機器學習模型實作，
-
在此之前使用R語言實作了多維度資料集的資料預處理、特征選擇等功能，并且出圖方便，代碼簡單，
-
Python則實作了資料集協變數偏移糾正的功能，最終得到的資料集用于丟進模型做分類，
-
這個平臺通過呼叫R和Python，集成了資料集預處理、協變數偏移糾正的方法，并且可以通過多個圖可視化看到分析結果，平臺還實作了資料集上傳、下載等功能...
-
主要是針對Java呼叫R語言以及呼叫Python作一個記錄，實際上平臺有許多細節都沒有顧慮到，相當于一個學習筆記吧，
轉載請註明出處，本文鏈接：https://www.uj5u.com/houduan/492417.html
標籤：Java
上一篇：Java中set集合簡介說明