作者|Roshini Johri
編譯|VK
來源|Towards Data Science
將大規模的機器學習系統投入生產，建立一個漂亮的流線化功能庫，這已經成為我一個新癡迷的技術點，
我最近開始了一系列關于學習和教學如何做到這一點的三部分教程，以實作不同的機器學習作業流程，本文假設了機器學習模型的基本知識，并重點介紹了如何在生產中建立作業流和部署，
在本系列的第一部分中，我們將在Amazon Sagemaker上設定此功能，我們將使用sklearn的波士頓住房資料集，
機器學習生命周期
讓我們花點時間來回顧一下機器學習的生命周期，簡化的機器學習生命周期如下所示：
現在，第一部分，資料準備，實際上應該是包括資料預處理和用于接下來步驟所需的特征工程，我將簡要地概述這些步驟是什么樣子，
- 獲取資料：這是一個從repo、etl等讀取資料的程序，將資料移動到一個位置，以形成訓練資料的原始版本，
- 清理資料：這個階段更多的是做一些基本的清理，比如型別轉換、空處理、確保字串/類別等是一致的
- 準備/轉換：特征轉換、派生、高階特征，如互動特征、進行一些編碼等，
下一階段包括建模和評估階段：
- 訓練模型：在這個階段，你的資料應該以特征向量的形式出現，標簽分為訓練、驗證和測驗，在這個階段，你將讀取這些資料，在訓練集上訓練你的模型，在驗證集上調參并在測驗集上進行測驗！這也是你保存模型以進行評估的階段，
- 評估模型：評估階段，判斷是否“我的模型做正確的事情”，是最重要的階段之一，我覺得我們從來沒有花足夠的時間在這個階段上，模型評估將幫助你了解模型性能，注意你的模型評估指標，并選擇正確的指標，
最后，也是我們閱讀本文的真正原因，部署，
- 部署到生產環境：這是準備將模型發布到公共的階段，我們要注意概念漂移和模型衰減（由于底層分布的變化而導致性能的變化）
- 監控/收集/評估資料：模型性能、輸入/輸出路徑、錯誤度量、日志、模型組件等都將被時間戳標記和記錄，應圍繞模型選擇建立度量監控和警報系統，以實作完美的管道！
以上是一個簡化但很漂亮的機器學習管道，現在讓我們看看如何使用Amazon Sagemaker設定一個，
Amazon Sagemaker
現在，第一步從創建AWS帳戶開始，如果你已經熟悉Amazon提供的實體（ec2實體）的型別，這會有所幫助，
如果沒有，可以查看這個鏈接：https://aws.amazon.com/sagemaker/pricing/instance-types/
Sagemaker實體針對運行機器學習（ML）演算法進行了優化，實體的型別還取決于區域和可用區域，
如果你覺得過多地閱讀有關實體型別的詳細資訊很無聊，那么就可以簡化成以下選項：
啟動ML的好實體：ml.m4.xlarge (not free)
啟動DL的好實體：ml.p2.xlarge (not free)
AWS Sagemaker EC2實體有與之關聯的默認配額，你可能不總是得到20，這也會隨著區域的不同而變化，
根據用例的不同，你可能需要請求和增加，這可以通過創建一個帶有AWS支持中心的案例來實作，請在這里查看更多資訊：https://docs.aws.amazon.com/general/latest/gr/aws_service_limits.html
Sagemaker Notebook實體
現在要啟動sagemaker Notebook實體，請轉到aws帳戶服務來搜索sagemaker，進入sagemaker頁面后，單擊創建notebook實體，如下所示：
下一步是選擇IAM角色，首先，嘗試創建一個新角色，然后選擇none作為s3bucket，除非有一個s3bucket要從中讀取，另外，此時應該有一個可選的選擇來選擇git存盤庫，滾動到下方并單擊“創建Notebook實體”，
你可以看到正在創建的Notebook的狀態，一旦準備就緒，你可以選擇jupyter或jupyter lab，
如果你需要克隆你的git存盤庫，打開終端從右邊的jupyter面板，選擇new，并執行以下操作:
cd SageMaker
git clone myFunSagemakerRepo
這應該為你設定一個notebook實體和一個GitHub存盤庫，
Sagemaker會議和角色
我們將使用load_boston() 方法從sklearn獲取資料集，然后，我們將這個資料集拆分為訓練、驗證和測驗集，
#加載資料
boston_data = https://www.cnblogs.com/panchuangai/p/load_boston()
#訓練資料
X_bos_pd = pd.DataFrame(boston_data.data, columns=boston_data.feature_names)
#目標
Y_bos_pd = pd.DataFrame(boston_data.target)
#訓練/測驗分離
X_train, X_test, Y_train, Y_test = sklearn.model_selection.train_test_split(X_bos_pd, Y_bos_pd, test_size=0.20)
#訓練驗證分離
X_train, X_val, Y_train, Y_val = sklearn.model_selection.train_test_split(X_train, Y_train, test_size=0.33)
一旦訓練、驗證和測驗資料集被創建，這些資料集需要上傳到s3（簡單存盤服務）存盤桶中，以便sagemaker容器在執行訓練作業時可以訪問它，
最好使用前綴指定位置，最好是型號名稱和版本，以確保路徑干凈，上傳后，你可以從控制臺轉到s3服務并進行檢查，
prefix = 'boston-xgboost-example'
test_location = session.upload_data(os.path.join(data_dir, 'test.csv'), key_prefix=prefix)
val_location = session.upload_data(os.path.join(data_dir, 'validation.csv'), key_prefix=prefix)
train_location = session.upload_data(os.path.join(data_dir, 'train.csv'), key_prefix=prefix)
Sagemaker 訓練
在sagemaker中訓練機器學習模型涉及到創建訓練作業，我們將使用xgboost模型，請查看此處鏈接的檔案，以確保你查看了sagemaker要求和語法：https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost.html
要訓練sagemaker模型，第一個任務是創建一個包含以下內容的訓練作業：
-
S3訓練/驗證集的位置（注：這應該是csv檔案）
-
模型的計算資源（這與我們用于Notebook的資源不同）
-
輸出S3位置（模型）
-
內置模型的Docker路徑
模型評估器
-
為了訓練一個模型，我們需要創建一個模型估計器，這將包含如何訓練模型（配置）的資訊，
-
我們將使用名為get_image_uri的SageMaker實用程式方法來獲取內置演算法容器的路徑
-
estimator初始化如下所示，我在這里用了一個付費的例子，
container = get_image_uri(session.boto_region_name, 'xgboost')
#xgboost estimator
xgb_estimator = sagemaker.estimator.Estimator(
container,
role,
train_instance_count=1, train_instance_type='ml.m4.xlarge', output_path='s3://{}/{}/output'.format(session.default_bucket(), prefix),
sagemaker_session=session
)
模型超引數
-
在任何一種模型訓練方法中，最重要的部分是，在開始訓練之前，我們需要呼叫estimator的set_hyperparameters 方法，有關xgboost超引數，請參閱此處：https://docs.aws.amazon.com/sagemaker/latest/dg/xgboost_hyperparameters.html
-
當estimator都設定好后，就可以開始訓練了
xgb_estimator.set_hyperparameters(max_depth=5,
eta=0.2,
gamma=4,
min_child_weight=6,
subsample=0.8,
objective='reg:linear',
early_stopping_rounds=10,
num_round=200)
train_s3 = sagemaker.s3_input(s3_data=https://www.cnblogs.com/panchuangai/p/train_location, content_type='csv')
validation_s3 = sagemaker.s3_input(s3_data=https://www.cnblogs.com/panchuangai/p/val_location, content_type='csv')
xgb_estimator.fit({'train': train_s3, 'validation': validation_s3})
模型評估
-
SageMaker使用transformer物件來評估模型，
-
像estimator這樣的transformer物件需要知道instance_count和instance_type以及它需要轉換的測驗資料的格式，為了讓transformer以批處理方式評估測驗資料，我們需要讓它知道拆分型別是什么，以便將檔案分成塊，
xgb_transformer = xgb_estimator.transformer(instance_count = 1, instance_type = 'ml.m4.xlarge')
xgb_transformer.transform(test_location, content_type='text/csv', split_type='Line')
xgb_transformer.wait()
現在，為了把資料從s3移回Notebook進行分析，我們把資料復制一遍
!aws s3 cp --recursive $xgb_transformer.output_path $data_dir
現在我們來評估！
Y_pred = pd.read_csv(os.path.join(data_dir, 'test.csv.out'), header=None)
模型部署
通過高級api進行模型部署非常簡單，我將展示一個示例，演示如何部署我們剛剛訓練過的上述模型，
#呼叫deploy方法啟動端點實體
xgb_predictor = xgb_estimator.deploy(initial_instance_count=1, instance_type='ml.m4.xlarge')
xgb_predictor.content_type = 'text/csv'
xgb_predictor.serializer = csv_serializer
Y_pred = xgb_predictor.predict(X_test.values).decode('utf-8')
#做完后別忘了關機/清理！
-
與我們如何使用transformer物件進行評估類似，我們可以對部署的模型執行相同的操作，我們可以在不同的概念漂移（可能導致模型衰退的資料的底層分布的變化）運行后的比較這些結果，
-
根據測驗集的大小，我們可以決定是一次性發送資料還是分塊發送資料，
-
Xgb predictor需要知道檔案的格式以及要使用的序列化器的型別，
這是一個非常簡單的方法，可以嘗試在AWS Sagemaker上設定第一個ml作業流，我建議你先從簡單的開始，然后再轉向復雜的，我們將在后面的文章中討論較低級別的api，并真正深入到細節中，但是為了獲得基本的理解，請嘗試使用一些簡單的資料集進行設定，并使用可用的不同模型，
清理
記得：
- 洗掉終端和終端配置
- 洗掉模型
- 洗掉s3存盤桶
- 停止未使用的Notebook實體
SageMaker檔案：
開發人員檔案可在此處找到：https://docs.aws.amazon.com/sagemaker/latest/dg/
Python SDK檔案（也稱為高級方法）可在以下位置找到：https://sagemaker.readthedocs.io/en/latest/
在github上可以找到Python SDK代碼：https://github.com/aws/sagemaker-python-sdk
原文鏈接：https://towardsdatascience.com/ml-in-production-1-amazon-sagemaker-aws-setup-train-and-deploy-896086848cde
歡迎關注磐創AI博客站：
http://panchuang.net/
sklearn機器學習中文官方檔案：
http://sklearn123.com/
歡迎關注磐創博客資源匯總站：
http://docs.panchuang.net/
轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/706.html
標籤：其他
上一篇：PANDAS: 新手教程 一