萬物皆可 Serverless 之云函式 SCF+Kaggle 端到端驗證碼識別從訓練到部署

隨著驗證碼技術的更新換代，傳統的驗證碼識別演算法已經越來越無用武之地了，近些年來人工智能迅速發展，尤其是在深度學習神經網路這一塊生態尤為繁榮，各種演算法和模型層出不窮，

本文來自 Serverless 社區用戶「乂乂又又」供稿

今天本文就嘗試帶大家借助 Kaggle+SCF 快速訓練部署一個端到端的通用驗證碼識別模型，真正的驗證碼識別從入門到應用的一條龍服務，哈哈哈~

效果展示

操作步驟

第一步：了解 kaggle

沒做過資料科學競賽的同學，可能不太了解 kaggle 哈，

Kaggle is the world’s largest data science community with powerful tools and resources to help you achieve your data science goals.

這是 kaggle 官網）的自我介紹，簡單來說 kaggle 是全球最大的資料科學交流社區，上面有許多關于資料科學的競賽和資料集，并且提供了一些資料科學在線分析的環境和工具，一直以來吸引了全球大批資料科學愛好者，社區極其繁榮，

這里我們主要是用 kaggle 的 Notebooks 服務里的 kernel 環境來快速在云端訓練自己的驗證碼識別模型，

你可能會問在本地訓練不可以嗎，為啥非得折騰著上云？哈哈，這還真不是折騰，普通人的電腦算力其實是有限的，而訓練模型是需要強大 GPU 算力的支持，不然要訓練到猴年馬月~

我們再來看一下 kaggle 上的 kernel 環境的配置：

• CPU 4核心，16 GB 運行記憶體
• GPU 2核心 13 GB 運行記憶體

每個 kernel 有 9 小時的運行時長，GPU 資源每周 30 小時使用時長，除了硬體資源之外，kernel 環境里已經配置好了一些機器學習的常用庫，包括 Pytorch， Tensorflow 2 等，它的機器學習環境是開箱即用的，零配置，零維護，

Kaggle Notebooks run in a remote computational environment. We provide the hardware—you need only worry about the code.

正如 kaggle notebooks 官方檔案所言，kaggle 免費為你提供硬體和機器學習環境，你唯一需要關心的是你的代碼，這么好的東西關鍵還是免費提供的啊，果斷選它來訓練模型就對了，

第二步：注冊 kaggle 賬號，新建一個 kernel 環境

賬號注冊、新建 kernel 等相關問題，網上有很多相關文章，這里不再細說了，

第三步：clone git 倉庫，修改成自己的驗證碼資料集

這里我在 github.com/nickliqian/cnn_captcha專案的基礎上，把原專案升級更新到了 Tensorflow 2.0，然后做了個 kaggle 訓練 + SCF 部署的通用驗證碼識別方案，

現在你只需要將我修改好的倉庫 https://gitee.com/LoveWJG/tflite_train克隆到本地，

然后按照專案里的 readme 配置一下訓練引數，替換一下自己的驗證碼資料集即可，

第四步：上傳專案到 kaggle 開始訓練

然后把配置好的專案壓縮上傳到 kaggle 直接解壓按照說明檔案進行訓練即可，

這里用了 20000 張驗證碼，訓練了 10000 輪左右，大概耗時 30 分鐘，還是相當給力的，訓練結束后你可以根據倉庫里的 readme 檔案，把模型、日志檔案打包下載到本地，然后再在本地將模型轉成 tflite 格式（方便在移動端使用，本地識別驗證碼），如果模型檔案過大你也可以在本地運行 tflite.py 程式把 tflite 模型量化，大概可以把模型檔案縮小到原來的 1/4，最終你應該得到一個 .tflite 格式的模型檔案，

第五步：使用云函式快速部署驗證碼識別模型

云函式的創建、配置和發布可參考我之前的系列文章，這里就不再細講了，

新建一個 python 空白云函式，然后把 scf.py 檔案里的代碼填到 index.py 里保存，

# -*- coding:utf-8 -*-
import io
import json
import os
import time

import numpy as np

import tensorflow as tf
from PIL import Image

model_path = "model_quantized.tflite" #模型檔案地址
chars = '23456789abcdefghjkmpqrstuvwxy' #驗證碼字符，順序要與config.json里的一致

# Load TFLite model and allocate tensors.
interpreter = tf.lite.Interpreter(model_path=model_path)
interpreter.allocate_tensors()

# Get input and output tensors.
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()

#將驗證碼資料轉換成模型輸入格式
def img2input(img, width, height):
    tmpe_array = [serverless]
    for i in range(height):
        for j in range(width):
            pixel = img.getpixel((j, i))
            tmpe_array.append((0.3*pixel[0]+0.6*pixel[1]+0.1*pixel[2])/255)
    tmpe_array = np.array(tmpe_array).astype('float32')
    input_array = np.expand_dims(tmpe_array, axis=0)
    return input_array

#識別驗證碼
def predict(image):
    captcha_image = Image.open(io.BytesIO(image))
    image_np_expanded = img2input(captcha_image, 100, 50)
    interpreter.set_tensor(input_details[0]['index'], image_np_expanded)
    interpreter.invoke()
    output_data = https://www.cnblogs.com/serverlesscloud/p/interpreter.get_tensor(output_details[0]['index'])
    codes = ''
    for i in output_data[0]:
        codes += chars[i]
    return codes


# api網關回應集成
def apiReply(reply, txt=False, content_type='application/json', code=200):
    return {
        "isBase64Encoded": False,
        "statusCode": code,
        "headers": {'Content-Type': content_type},
        "body": json.dumps(reply, ensure_ascii=False) if not txt else str(reply)
    }

#云函式入口
def main_handler(event, context):
    return apiReply(
        {
            "ok": False if not 'image' in event.keys() else True,
            "message": "請求引數無效" if not 'image' in event.keys() else predict(event['queryString']['image'])
        }
    )

把模型檔案上傳到云函式根目錄，然后配置一下自己的驗證碼識別模型引數

model_path = "model_quantized.tflite" #模型檔案地址
chars = '23456789abcdefghjkmpqrstuvwxy' #驗證碼字符，順序要與config.json里的一致

之后給我們的云函式添加一個 API 網關觸發器，并啟用回應集成，然后發布上線即可

沒有問題的話，你只需 GET 一下，就可以回傳驗證碼識別結果了，

api網關+?base64Image=base64編碼后的驗證碼資料

寫在最后

本文帶大家從頭訓練并部署了一個通用驗證碼識別模型，我們再一次看到基于 Serverless 的云函式在開發線上應用的程序中是多么方便和迅速！

如果你對驗證碼識別比較感興趣，想要了解更多的識別方案，這里我推薦幾個 github 倉庫，都是可以直接上手應用的程度，

• use cnn recognize captcha by tensorflow 本專案針對字符型圖片驗證碼，使用 tensorflow 實作卷積神經網路，進行驗證碼識別，

• 驗證碼識別-訓練 This project is based on CNN/ResNet/DenseNet+GRU/LSTM+CTC/CrossEntropy to realize verification code identification. This project is only for training the model.

• 驗證碼識別-部署 This project is based on CNN+BLSTM+CTC to realize verificationtion. This projeccode identificat is only for deployment models.

Serverless Framework 30 天試用計劃

我們誠邀您來體驗最便捷的 Serverless 開發和部署方式，在試用期內，相關聯的產品及服務均提供免費資源和專業的技術支持，幫助您的業務快速、便捷地實作 Serverless！

詳情可查閱：Serverless Framework 試用計劃

One More Thing

3 秒你能做什么？喝一口水，看一封郵件，還是 —— 部署一個完整的 Serverless 應用？

復制鏈接至 PC 瀏覽器訪問：https://serverless.cloud.tencent.com/deploy/express

3 秒極速部署，立即體驗史上最快的 Serverless HTTP 實戰開發！

傳送門：

• GitHub: github.com/serverless
• 官網：serverless.com

歡迎訪問：Serverless 中文網，您可以在 最佳實踐 里體驗更多關于 Serverless 應用的開發！

推薦閱讀：《Serverless 架構：從原理、設計到專案實戰》

標籤：其他

上一篇：萬物皆可 Serverless 之使用云函式 SCF 快速部署驗證碼識別介面

下一篇：使用PyCaret構建機器學習模型