【作業篇】介面冪等問題探究

【作業篇】介面冪等問題探究

前言

最近遇到一些問題，表單重復提交，導致插入重復資料到資料庫，這里查詢一些通用的方案，自己都實踐一下，以后好回顧，

實踐代碼專案 Github： https://github.com/h-dj/Spring-Learning/tree/master/repeat-submit

一、什么是介面冪等性？

冪等含義

冪等（idempotent、idempotence）是一個數學與計算機學概念，常見于抽象代數中，

在編程中一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同，冪等函式，或冪等方法，是指可以使用相同引數重復執行，并能獲得相同結果的函式，這些函式不會影響系統狀態，也不用擔心重復執行會對系統造成改變，--- 百科

簡單理解：就是針對一個操作，不管做多少次，產生的效果都是一樣的，

舉例：

• 前端對同一表單資料的重復提交，后臺應該只會產生一條記錄
• 我們發起一筆付款請求，應該只扣用戶賬戶一次錢，當遇到網路重發或系統 bug 重發，也應該只扣一次錢
• 發送訊息，也應該只發一次，同樣的短信如果多次發給用戶，用戶會崩潰
• 創建業務訂單，一次業務請求只能創建一個，不能出現創建多個訂單

二、那些情況下會需要介面冪等性?

對于業務中需要考慮冪等性的地方一般都是介面的重復請求，重復請求是指同一個請求因為某些原因被多次提交，導致這個情況會有以下幾種場景：

• 前端重復提交：提交訂單，用戶快速重復點擊多次，造成后端生成多個內容重復的訂單，
• 介面超時重試：對于給第三方呼叫的介面，為了防止網路抖動或其他原因造成請求丟失，這樣的介面一般都會設計成超時重試多次，
• 訊息重復消費：MQ 訊息中間件，訊息重復消費，

三、介面冪等性解決方案

3.1、一般解決方案了解

前端方面：

• 控制操作次數，例如：提交按鈕僅可操作一次（提交動作后按鈕置灰）
• 及時重定向，例如：下單/支付成功后跳轉到成功提示頁面，這樣消除了瀏覽器前進或后退造成的重復提交問題，

后臺方面：

• 資料庫去重表(唯一索引)：

  • 利用資料庫的唯一索引特性，保證唯一的邏輯
  • 使用唯一索引，可以是在原來的業務表添加唯一索引，也可以新建一個特定的去重表

• 使用分布式鎖：

  • 借助中間件：Redis 、Zookeeper
  • 注意要保證中間件的高可用

• Token 機制：

  • 進入頁面時先申請 Token，提交表單時再使用 Token 請求，后臺根據 Token 判斷是否重復請求
  • 前端申請 Token 和 攜帶 Token 的行為需要進行封裝，不然每個頁面都需要手動，比較繁瑣，后臺的話可以使用 注解+ AOP 統一攔截

• 分布式專案，依然需要借助中間件：Redis

注意：

• 一般推薦前端后臺一起組合介面冪等方案，這樣比較安全高效，

以下準備使用加入購物車為例，實作各個方案

3.2、資料庫去重表(唯一索引)

• 操作步驟

  • 1、通過請求的業務引數，組成唯一 ID
  • 2、通過 ID 查詢去重表中是否存在記錄，存在則拋出 重復請求例外（是否拋出例外，根據具體業務決定）
  • 3、否則，向去重表插入記錄，如果插入例外，說明有多個請求同時執行，拋出重復請求例外
  • 4、去重表插入記錄成功后，執行加入購物車操作
  • 5、執行加入購物車操作成功后，洗掉去重表記錄
  • 注意： 去重表操作 和 業務處理要在同一個事物中，方式業務處理失敗后，沒有回滾去重表記錄，導致商品加入購物車后，不能在增加數量

• 創建表

DROP TABLE IF EXISTS `cart`;
CREATE TABLE `cart` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `product_id` bigint(20) DEFAULT NULL,
  `product_name` varchar(500) DEFAULT NULL COMMENT '商品名稱',
  `product_sku_id` bigint(20) DEFAULT NULL,
  `member_id` bigint(20) DEFAULT NULL,
  `quantity` int(11) DEFAULT NULL COMMENT '購買數量',
  `price` decimal(10,2) DEFAULT NULL COMMENT '添加到購物車的價格',
  PRIMARY KEY (`id`)
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='購物車表';

DROP TABLE IF EXISTS `deduplicate`;
CREATE TABLE `deduplicate` (
	id BIGINT(20) auto_increment NOT NULL,
	unique_id varchar(100) NULL COMMENT '唯一ID',
	CONSTRAINT deduplicate_PK PRIMARY KEY (id),
	CONSTRAINT deduplicate_UN UNIQUE KEY (unique_id)  -- 唯一索引
)
ENGINE=InnoDB
DEFAULT CHARSET=utf8mb4
COLLATE=utf8mb4_0900_ai_ci
COMMENT='去重表';

• 添加到購物車邏輯

@RestController
@RequestMapping("/cart")
public class CartController {
    @Autowired
    private ICartService iCartService;

    @ApiRepeatUniqueIdSubmit(keyExpression = "@cartController.getUserId()+'_'+#cartPO.getProductId() +'_'+#cartPO.getProductSkuId()")
    @PostMapping(value = "https://www.cnblogs.com/add")
    public String add(@RequestBody CartPO cartPO) throws InterruptedException {
        cartPO.setMemberId(getUserId());
        iCartService.addCart(cartPO);
        return "ok";
    }
    /**
     * 獲取當前登錄用戶ID
     *
     * @return
     */
    public Long getUserId() {
        return 1001L;
    }
}

@Transactional(rollbackFor = Exception.class)
@Override
public void addCart(CartPO cartPO) throws InterruptedException {

    LambdaQueryWrapper<CartPO> queryWrapper = Wrappers.<CartPO>lambdaQuery()
        .eq(CartPO::getMemberId, cartPO.getMemberId())
        .eq(CartPO::getProductId, cartPO.getProductId())
        .eq(CartPO::getProductSkuId, cartPO.getProductSkuId());
    //查詢商品，已添加到購物車的，就增加數量即可(業務邏輯冪等)
    //因為 select 和 save 操作不是串行執行的，可能有兩個執行緒同時查詢到商品沒有添加到購物車
    //然后同一個商品被兩個執行緒分別入庫了，導致購物車出現相同商品的兩條記錄
    List<CartPO> list = this.list(queryWrapper);
    //模擬耗時
    TimeUnit.SECONDS.sleep(1);
    if (list == null || list.isEmpty()) {
        //添加到購物車
        this.save(cartPO);
    } else {
        CartPO updateCartPO = list.get(0);
        //數量加一
        LambdaUpdateWrapper<CartPO> updateWrapper = Wrappers.<CartPO>lambdaUpdate()
            .eq(CartPO::getId, updateCartPO.getId())
            .setSql("quantity = quantity + 1");

        this.update(updateWrapper);
    }
}

• 撰寫 AOP 攔截處理

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
@Inherited
public @interface ApiRepeatUniqueIdSubmit {

    /**
     * 唯一key，支持Spring EL 運算式
     *
     * @return
     * @ 符號參考 Spring 注冊的bean
     * # 符合參考方法上的引數
     * param?.id  其中? 是避免param為空時，發生空指標例外
     * @see <a>https://docs.spring.io/spring-framework/docs/3.0.x/reference/expressions.html</a>
     */
    String keyExpression();
}

@Component
@Aspect
public class ApiRepeatSubmitUniqueIdAspect {

    @Autowired
    private ApplicationContext applicationContext;

    @Autowired
    private IDeduplicateService iDeduplicateService;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatUniqueIdSubmit)")
    public void pointCut() {
    }
    @Transactional(rollbackFor = Exception.class)
    @Around("pointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {

        Signature signature = joinPoint.getSignature();
        MethodSignature msig = (MethodSignature) signature;
        Method targetMethod = msig.getMethod();
        ApiRepeatUniqueIdSubmit apiRepeatSubmit = targetMethod.getAnnotation(ApiRepeatUniqueIdSubmit.class);
        String keyExpression = apiRepeatSubmit.keyExpression();

        Map<String, Object> argMap = SpringElUtil.getArgMap(joinPoint);
        //獲取業務引數，組成唯一ID
        String uniqueId = SpringElUtil.<String>createElBuilder()
                .setArgMap(argMap)
                .setBeanFactory(applicationContext)
                .setTarget(String.class)
                .setKeyExpression(keyExpression)
                .build();

        LambdaQueryWrapper<DeduplicatePO> queryWrapper = Wrappers.<DeduplicatePO>lambdaQuery()
                .eq(DeduplicatePO::getUniqueId, uniqueId);

        long count = this.iDeduplicateService.count(queryWrapper);
        if (count > 0) {
            throw new DuplicateKeyException("不要重復提交!");
        }

        //插入去重表
        DeduplicatePO deduplicatePO = new DeduplicatePO();
        deduplicatePO.setUniqueId(uniqueId);
        try {
            this.iDeduplicateService.save(deduplicatePO);
        } catch (Exception e) {
            throw new DuplicateKeyException("不要重復提交!");
        }

        Object proceed = joinPoint.proceed();

        //執行完洗掉
        this.iDeduplicateService.removeById(deduplicatePO);

        return proceed;
    }
}

3.3、分布式鎖

分布式鎖可以使用 Redis 和 Zookeeper ，更多關于 Redis 和 Zookeeper 的使用 請自行查閱資料，以下使用 Redis 來實作分布式鎖

• 引入依賴

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.16.6</version>
</dependency>

• 配置

spring:
  redis:
    # https://github.com/redisson/redisson/wiki/2.-Configuration
    database: '0'
    host: '127.0.0.1'
    port: '6379'
    #password: '123456'
#    ssl:
#    timeout:
#    cluster:
#      nodes:
#    sentinel:
#      master:
#      nodes:

• 在 AOP 獲取鎖的邏輯

//創建鎖
RLock lock = this.redissonClient.getLock(LOCK_PREFIX + uniqueId);

//判斷是否被搶占了鎖
if (lock.isLocked()) {
    throw new DuplicateKeyException("不要重復提交!");
}

//嘗試獲取鎖， 默認30秒會超時過期， 并啟動執行緒監聽，自動續簽
//當客戶端例外，終止了續簽執行緒，超時后會洗掉鎖，避免發生死鎖
//如果自己手動設定了超時過期時間，則不會啟動執行緒監聽，自動續簽
if (lock.tryLock()) {
    try {
        return joinPoint.proceed();
    } finally {
        //釋放鎖
        lock.unlock();
    }
}
throw new DuplicateKeyException("不要重復提交!");

3.4、使用 Token 機制

• 操作步驟

  • 1、在訪問頁面時，先獲取 Token ，保持到指定的地方
  • 2、在點擊加入購物車時，把 Token 放到 Header 或請求引數中，帶給后臺
  • 3、后臺驗證 Token 并洗掉，表示該 Token 已使用
  • 4、執行加入購物車邏輯
  • 5、成功回應前端（看業務需求，是否需要重新獲取 Token）

• 創建 Token 生成和驗證服務

@Service
public class TokenServiceImpl implements TokenService {

    public static final String TOKEN_PREFIX = "token_idempotent";
    public static final String TOKEN_HEADER_NAME = "x-token";
    public static final Long TOKEN_EXPIRE_TIME = 5 * 60L;

    @Autowired
    private RedissonClient redissonClient;

    @Override
    public String createToken() {
        String ID = UUID.randomUUID().toString();
        RBucket<String> bucket = this.redissonClient.<String>getBucket(String.format("%s:%s", TOKEN_PREFIX, ID), StringCodec.INSTANCE);
        //默認超時5分鐘
        bucket.trySet(ID, TOKEN_EXPIRE_TIME, TimeUnit.SECONDS);
        return ID;
    }
    @Override
    public boolean checkToken(HttpServletRequest request) {
        // 從請求頭中獲取token資訊
        String token = request.getHeader(TOKEN_HEADER_NAME);
        if (!StringUtils.hasLength(token)) {
            //從引數中獲取token值
            token = request.getParameter(TOKEN_HEADER_NAME);
        }
        if (!StringUtils.hasLength(token)) {
            throw new DuplicateKeyException("重復提交，提交失敗");
        }

        RBucket<String> bucket = this.redissonClient.getBucket(String.format("%s:%s", TOKEN_PREFIX, token), StringCodec.INSTANCE);

        //獲取，并洗掉
        String ID = bucket.getAndDelete();
        //不存在，則重復提交
        if (ID == null) {
            throw new DuplicateKeyException("重復提交，提交失敗");
        }
        return true;
    }
}

• 在 AOP 中檢查

@Component
@Aspect
public class ApiRepeatSubmitTokenAspect {
    @Autowired
    private TokenService tokenService;

    @Autowired
    private HttpServletRequest request;

    @Pointcut("@annotation(cn.hdj.repeatsubmit.aspect.ApiRepeatTokenSubmit)")
    public void pointCut() {
    }
    @Before("pointCut()")
    public void Before(JoinPoint joinPoint) {
        tokenService.checkToken(request);
    }
}

• 前端進入頁面時是先獲取 Token

$.ajax({
    type: "GET",
    url: "/token/create",
    contentType:'application/json',
    success: function(token){
        sessionStorage.setItem('x-token',token);
    }
});

• 請求時帶上 Token

$("#addCart").click(function(){
    //按鈕置灰
    $("#addCart").attr('disabled','disabled');
    $.ajax({
        type: "POST",
        url: "/cart/add",
        headers:{
            //攜帶token
            'x-token':sessionStorage.getItem('x-token')
        },
        data: JSON.stringify({
            productId: $('input[name=product_id]').val(),
            productSkuId: $('input[name=product_sku_id]').val(),
            productName: $('input[name=product_name]').val(),
            price: $('input[name=price]').val(),
            quantity: $('input[name=quantity]').val()
        }),
        contentType:'application/json',
        success: function(msg){
            console.log(msg)
        },
        complete: function(msg){
            $("#addCart").removeAttr('disabled');
        }
    });
});

總結

以上是較為常見通用的冪等方案，但實際業務可能比較個性化，需要跟業務結合進行考慮，采用合適的方法或結合使用，例如：

• 如果該業務是存在狀態流轉，可以采用狀態機策略進行業務冪等判斷
• 如果該業務是更新資料，可以采用多版本策略，在需要更新的業務表上加上版本號

參考

• https://myprojectt.readthedocs.io/zh_CN/latest/專案實戰04請求冪等性.html
• https://xie.infoq.cn/article/107fd263605e9d184b78bf093
• https://segmentfault.com/a/1190000023555975

標籤：Java

上一篇：Dubbo + ZooKeeper

下一篇：Python游戲開發，pygame模塊，Python實作打地鼠小游戲