博主之前做過XX銀行代收付系統(相當于支付介面),包括現在的oltpapi交易介面和虛擬業務的對外提供資料介面,
總之,當你做了很多專案寫了很多代碼的時候,就需要回過頭來,多總結總結,這樣你會看到更多之前寫代碼的時候看不到的東西,也能更明白為什么要這樣做,
做介面需要考慮的問題
什么是介面
介面無非就是客戶端請求你的介面地址,并傳入一堆該介面定義好的引數,通過介面自身的邏輯處理,回傳介面約定好的資料以及相應的資料格式,
介面怎么開發
介面由于本身的性質,由于和合作方對接資料,所以有以下幾點需要在開發的時候注意:
1、定義介面入參:寫好介面檔案
2、定義介面回傳資料型別:一般都需要封裝成一定格式,確定回傳json還是xml報文等

見如下回傳資料定義格式:
Result
package com.caiex.vb.model;
import java.io.Serializable;
import javax.xml.bind.annotation.XmlAccessType;
import javax.xml.bind.annotation.XmlAccessorType;
import javax.xml.bind.annotation.XmlType;
@XmlAccessorType(XmlAccessType.FIELD)
@XmlType(name = "Result", propOrder = { "resultCode", "resultMsg" })
public class Result implements Serializable {
private static final long serialVersionUID = 10L;
protected int resultCode;
protected String resultMsg;
public int getResultCode() {
return this.resultCode;
}
public void setResultCode(int value) {
this.resultCode = value;
}
public String getResultMsg() {
return this.resultMsg;
}
public void setResultMsg(String value) {
this.resultMsg = value;
}
}
Response
package com.caiex.vb.model;
import java.io.Serializable;
public class Response implements Serializable {
private static final long serialVersionUID = 2360867989280235575L;
private Result result;
private Object data;
public Result getResult() {
if (this.result == null) {
this.result = new Result();
}
return result;
}
public void setResult(Result result) {
this.result = result;
}
public Object getData() {
return data;
}
public void setData(Object data) {
this.data = https://www.cnblogs.com/javastack/archive/2021/09/06/data;
}
}
3、確定訪問介面的方式,get or post等等,可以根據restful介面定義規則RESTful API:RESTful API
4、定義一套全域統一并通用的回傳碼,以幫助排查問題;
reponse code
public static int NO_AGENT_RATE = 1119; //未找到兌換率
public static int SCHEME_COMMIT_FAIL = 4000; //方案提交失敗
public static int SCHEME_CONFIRMATION = 4001; //方案確認中
public static int SCHEME_NOT_EXIST = 4002; //方案不存在
public static int SCHEME_CANCEL= 4005; //方案不存在
//,,,,
5、統一的例外處理:應該每個系統都需要一套統一的例外處理
package com.caiex.vb.interceptor;
import javax.servlet.http.HttpServletRequest;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.ControllerAdvice;
import org.springframework.web.bind.annotation.ExceptionHandler;
import org.springframework.web.bind.annotation.ResponseBody;
import com.caiex.vb.model.Response;
@ControllerAdvice
@ResponseBody
public class GlobalExceptionHandler {
private Logger logger = LoggerFactory.getLogger(this.getClass());
/**
* 所有例外報錯
* @param request
* @param exception
* @return
* @throws Exception
*/
@ExceptionHandler(value=https://www.cnblogs.com/javastack/archive/2021/09/06/Exception.class)
public Response allExceptionHandler(HttpServletRequest request,
Exception exception) throws Exception
{
logger.error("攔截到例外:", exception);
Response response = new Response();
response.setData(null);
response.getResult().setResultCode(9999);
response.getResult().setResultMsg("系統繁忙");
return response;
}
}
6、攔截器鏈設定:合作方訪問介面的時候,會根據你介面定義好的傳參訪問你的介面服務器,但是會存在介面引數型別錯誤或者格式不對,必傳引數沒傳的問題,甚至一些惡意請求,都可以通過攔截器鏈進行前期攔截,避免造成介面服務的壓力,
還有很重要的一點,加簽驗簽也可以在攔截器設定,繼承WebMvcConfigurerAdapter實作springboot的攔截器鏈,實作HandlerInterceptor方法撰寫業務攔截器,
SignInterceptor
package com.caiex.vb.interceptor;
import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import org.apache.commons.lang3.StringUtils;
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.springframework.stereotype.Component;
import org.springframework.web.servlet.HandlerInterceptor;
import org.springframework.web.servlet.ModelAndView;
import com.alibaba.fastjson.JSON;
import com.caiex.redis.service.api.RedisApi;
import com.caiex.vb.model.Response;
import com.caiex.vb.utils.CaiexCheckUtils;
@Component
public class SignInterceptor extends BaseValidator implements HandlerInterceptor{
private Logger logger = LogManager.getLogger(this.getClass());
@Resource
private RedisApi redisApi;
public void afterCompletion(HttpServletRequest arg0,
HttpServletResponse arg1, Object arg2, Exception arg3)
throws Exception {
// TODO Auto-generated method stub
}
public void postHandle(HttpServletRequest arg0, HttpServletResponse arg1,
Object arg2, ModelAndView arg3) throws Exception {
// TODO Auto-generated method stub
}
public boolean preHandle(HttpServletRequest arg0, HttpServletResponse arg1,
Object arg2) throws Exception {
if(isTestIpAddr(arg0)){
return true;
}
String securityKey = redisApi.hGet("securityKey", arg0.getParameter("agentid"));
if(StringUtils.isEmpty(securityKey)){
Response response = new Response();
response.setData(null);
response.getResult().setResultCode(8001);
response.getResult().setResultMsg("缺少私鑰, 渠道號:" + arg0.getParameter("agentid"));
logger.error("缺少私鑰, 渠道號:" + arg0.getParameter("agentid"));
InterceptorResp.printJson(arg1, response);
return false;
}
if(StringUtils.isEmpty(arg0.getParameter("sign")) || !arg0.getParameter("sign").equals(CaiexCheckUtils.getSign(arg0.getParameterMap(), securityKey))){
Response response = new Response();
response.setData(null);
response.getResult().setResultCode(3203);
response.getResult().setResultMsg("引數簽名認證失敗");
logger.error("引數簽名認證失敗:" + JSON.toJSONString(arg0.getParameterMap()) + " securityKey = " + securityKey);
InterceptorResp.printJson(arg1, response);
return false;
}else{
return true;
}
}
}
WebAppConfigurer
package com.caiex.oltp.config;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.EnableWebMvc;
import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurerAdapter;
import com.caiex.oltp.interceptor.APILimitRateValidator;
import com.caiex.oltp.interceptor.CommonValidator;
import com.caiex.oltp.interceptor.DDSAuthValidator;
import com.caiex.oltp.interceptor.QueryPriceParamsValidator;
import com.caiex.oltp.interceptor.TradeParamsValidator;
@EnableWebMvc
@Configuration
@ComponentScan
public class WebAppConfigurer extends WebMvcConfigurerAdapter {
@Bean
CommonValidator commonInterceptor() {
return new CommonValidator();
}
@Bean
DDSAuthValidator ddsAuthInterceptor() {
return new DDSAuthValidator();
}
@Bean
QueryPriceParamsValidator queryPriceParamsInterceptor() {
return new QueryPriceParamsValidator();
}
@Bean
TradeParamsValidator tradeParamsInterceptor() {
return new TradeParamsValidator();
}
@Bean
APILimitRateValidator aPILimitRateInterceptor() {
return new APILimitRateValidator();
}
@Override
public void addInterceptors(InterceptorRegistry registry) {
//訪問速率限制
registry.addInterceptor(aPILimitRateInterceptor())
.addPathPatterns("/*/*");
//.addPathPatterns("/price/getPriceParam");
//引數簽名認證
registry.addInterceptor(ddsAuthInterceptor())
.addPathPatterns("/tradeState/*")
.addPathPatterns("/recycle/*")
.addPathPatterns("/matchInfo/*")
.addPathPatterns("/price/tradeTicketParam");
//公共引數檢查
registry.addInterceptor(commonInterceptor())
.addPathPatterns("/price/tradeTicketParam")
.addPathPatterns("/tradeState/*")
.addPathPatterns("/recycle/*");
//詢價引數校驗
registry.addInterceptor(queryPriceParamsInterceptor())
.addPathPatterns("/price/getPriceParam");
//交易引數檢查
registry.addInterceptor(tradeParamsInterceptor())
.addPathPatterns("/price/tradeTicketParam");
super.addInterceptors(registry);
}
}
7、token令牌和sign數字簽名實作資料保密性,
創建令牌(Token)
為保證請求的合法性,我們提供第三方創建令牌介面,某些介面需要通過token驗證訊息的合法性,以免遭受非法攻擊,
token過期時間目前暫時定為1天,由于考慮到合作方往往是分布式環境,多臺機器都有可能申請token,為了降低合作方保證token一致性的難度,呼叫介面創建token成功以后一分鐘以內,再次請求token回傳的資料是一樣的,
獲取私鑰
獲取用于數字簽名的私鑰,第三方獲取的私鑰需妥善保存,并定期更新,私鑰只參與數字簽名,不作為引數傳輸,
數字簽名方式:
引數簽名;簽名方式:所有值不為null的引數(不包括本引數)均參與數字簽名,按照“引數名+引數值+私鑰”的格式得到一個字串,再將這個字串MD5一次就是這個引數的值,(示例:h15adc39y9ba59abbe56e057e60f883g),所以需要先獲取私鑰,
驗簽方式:
將用戶的所有非null引數放入定義好排序規則的TreeSet中進行排序,再用StringBuilder按照按照“引數名+引數值+私鑰”的格式得到一個字串(私鑰從redis拿),再將這個字串MD5一次就是這個引數的值,將這個值與用戶傳來的sign簽名對比,相同則通過,否則不通過,
private String createToken(){
String utk = "Msk!D*"+System.currentTimeMillis()+"UBR&FLP";
logger.info("create token --- "+Md5Util.md5(utk));
return Md5Util.md5(utk);
}
8、介面限流
有時候服務器壓力真的太大,以防交易介面被擠死,就可以對一些其他不影響主要業務功能并且計算量大的介面做限流處理,RateLimit--使用guava來做介面限流,當介面超過指定的流量時,就不處理該介面的請求,詳細可看RateLimit,也可參考其他限流框架,
9、協議加密,http升級成https;
為什么要升級呢,為了保證資料的安全性,當使用https訪問時,資料從客戶端到服務斷,服務端到客戶端都加密,即使黑客抓包也看不到傳輸內容,當然還有其他好處,這里不多講,但這也是開發介面專案需要注意的一個問題,
如何提高介面的高并發和高可用
介面開發好了,接下來就討論介面的可用性問題,首先我們要將高并發和高可用區分一下,畢竟高可用是在可用的情況,只是很慢或者效率不高,其實也可以歸為一類問題,但是不重要啦,重要的是怎么提高你寫的介面的訪問速度和性能,
介面的高并發解決方案(其實沒有唯一答案,業界針對不同業務也有很多不同的方法)
當訪問一個介面獲取資料時,發現回傳很慢,或者總是超時,如果排除網路的原因,那就是介面服務器壓力太大,處理不過來了,在世界杯期間,我們查看后臺日志總是connection by reset和borker pipe和一些超時問題,
這時候,你可能遇到了高并發和高可用問題,但是,不管遇到什么問題,都不能臆斷和亂改,你得需要找到慢的原因,才能對癥下藥,亂改可能會導致其他問題的出現,首先,解決高并發問題的三個方向是負載均衡,快取和集群,
負載均衡
我們使用的是阿里云服務器的負載均衡,后臺分布式服務管理,我們運維小哥哥搭建了一套k8s,可以自由在k8s上擴展服務節點,各個服務結點也能隨記憶體的使用自動漂移,不用多說,k8s真的很厲害,感興趣的同學可以詳細去學,
那么問題來了,阿里云的負載均衡怎么對應到k8s的負載均衡呢?這個涉及到了k8s的service暴露的一些特點,簡單說就是k8s把所有集群的服務都通過指定的內部負載均衡,在指定的服務器上暴露,然后我們又把這幾個服務器接在阿里云負載均衡下,這個涉及的細節和配置很多,
當然,除nginx外,還有其他負載均衡解決方案,軟體硬體都有,硬體如f5等,
- 阿里云的nginx負載均衡,我們使用的是加權輪詢策略,其實輪詢是最低效的方式;
這就是最基本的負載均衡實體,但這不足以滿足實際需求;目前Nginx服務器的upstream模塊支持6種方式的分配:
負載均衡策略

集群
首先,通過排查問題,發現是oltpapi介面服務處理請求很慢,大量請求過來,總是超時和中斷連接,這時候,我們想著最簡單的方法就是加機器,給oltp介面服務多加幾臺機器,
嗯,一切都很完美,如預期進行,但是加到一定數量,你發現,怎么不起效果,異步回應還是很慢,或者更直觀的說,訊息佇列出現了嚴重的訊息堆積,這時候,你發現出現了新的問題或者瓶頸,這個問題已經不是說加oltp服務器能解決了,那么,就需要去重新定位問題,
發現是訊息堆積,訊息堆積就是生產者過快,導致消費者消費不過來,這時候,你就需要增加消費者的消費數量,給風控系統多加幾臺機器,讓消費者和生產者達到一定平衡,
這里有個誤區,你可能以為是rocketmq的broker數量過少,增加broker數量,其實當消費者和生產者保持一樣的速度時,訊息肯定不對堆積,按照原始的broker數量就足夠,但是增加broker也會使得訊息得到盡快的處理,提升一定效率,
快取
當加機器不能解決問題時,或者說沒那么多服務器可使用時,那么就要重代碼層面解決高并發問題,Redis 是一個高性能的key-value資料庫,當獲取資料從資料庫拿很慢時,就可以存盤到redis,從redis取值,
- 用ConcurrentHashMap快取物件,并設定過期時間
- redis快取資料,結合spring定時任務定時獲取不會經常改動的key
- 提高使用redis的效率:比如使用mGet一次獲取多個key
- ....等
介面高可用問題
高可用問題應該上升到整個服務的架構問題上,就是說在搭建整體系統是就應該考慮到,高可用問題是以單點故障,訪問速度慢的問題為主導,
- redis主從分布式(redis的單點故障和訪問速度的提高和主從備份)
- 分布式dubbo服務的zookeeper主從集群
- strom的主從集群
- ...等
總結
下面對介面開發服務做一些總結:
1.是拉還是推:
當介面作為資料源時,還要考慮資料是讓合作方主動過來拉還是資料有變化就推送呢,當然是推的效果更好,但是如何有效的推資料,不推重復資料等都是需要根據實際業務考慮的問題,
2.多臺分布式服務器上,怎么保證交易的冪等和訂單的唯一性
當介面服務和合作方都處于分布式情況下,就很容易出現一個訂單號申請多次交易請求,但是根據冪等性,一張彩票只能交易一次,并且每次不管何時請求,結果都應該一樣不會改變,
這種情況下,我們怎么保證唯一性呢,我們需要把該訂單和訂單狀態存redis,每次請求時去看是否訂單已存在,但可能這次交易不成功,下次這張票還可以繼續交易,可以生成新的訂單號啊,
redis的setNX是一個很好的解決方案,意思是當存在該key時,回傳false,當沒有時,該key和value插入成功,用作檢查訂單是否正在提交,如果是,則阻塞本次請求,避免重復提交 ,可以設定過期時間3s,提交之前鎖定訂單,防止重復提交,
3.處理時間超過10s,自動回傳該訂單交易失敗
總之,博主發現,在高并發場景下,導致服務崩潰的原因還是redis和資料庫,可能是redis讀寫太慢,或者資料庫的一些sql使用不當,或者沒建索引導致讀寫很慢,
原文鏈接:https://blog.csdn.net/xiaolizh/article/details/83011031
著作權宣告:本文為CSDN博主「xiaolizh」的原創文章,遵循CC 4.0 BY-SA著作權協議,轉載請附上原文出處鏈接及本宣告,
近期熱文推薦:
1.1,000+ 道 Java面試題及答案整理(2021最新版)
2.別在再滿屏的 if/ else 了,試試策略模式,真香!!
3.臥槽!Java 中的 xx ≠ null 是什么新語法?
4.Spring Boot 2.5 重磅發布,黑暗模式太炸了!
5.《Java開發手冊(嵩山版)》最新發布,速速下載!
覺得不錯,別忘了隨手點贊+轉發哦!
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/297957.html
標籤:其他
上一篇:Spring系列之JDBC對不同資料庫例外如何抽象的?
下一篇:202104-3 DHCP服務器
