基于Python Django實作Prometheus Exporter

需求描述

運行監控需求，需要采集Nginx 每個URL請求的相關資訊，涉及兩個指標：一分鐘內平均回應時間，呼叫次數，并且為每個指標提供3個標簽：請求方法，請求狀態，請求URL，并向普羅米修斯暴露這些指標相關資料

實踐環境

Python 3.6.5

Django 3.0.6

prometheus-client 0.11.0

代碼設計與實作

說明：為了更好的表達主題，代碼中資料采集部分暫且采用data變數替代，

基于官方SDK

Gauge Metric為例

view視圖實作

CustomExporters.url_exporter_views.UrlExporterView

#!/usr/bin/env python
# -*- coding:utf-8 -*-

# Create your views here.
from django.http import HttpResponse
from django.views.generic import View
from prometheus_client import CollectorRegistry, Gauge, generate_latest

import logging
import traceback
logger = logging.getLogger('mylogger')

REGISTRY = CollectorRegistry()
LABELS = ['req_status', 'req_method', 'req_url'] # 標簽定義

# 指標定義
g_requests_total = Gauge('requests_total', 'url request num each minute', LABELS, registry=REGISTRY)
g_avg_response_time_seconds = Gauge('avg_response_time_seconds', 'url avg response time of one minute', LABELS, registry=REGISTRY)


class UrlExporterView(View):
    def get(self, request, *args, **kwargs):
        try:
            data = https://www.cnblogs.com/shouke/p/{'count': 34,
                'method': 'get',
                'status': 200,
                'url': 'url',
                'avg_rt':50
            }
            g_requests_total.labels(data.get('status'),data.get('method'),data.get('url')).set(data.get('count')) #set設定值
            g_avg_response_time_seconds.labels(data.get('status'),data.get('method'),data.get('url')).set(data.get('avg_rt'))

            return HttpResponse(generate_latest(REGISTRY),status=200, content_type="text/plain")
        except Exception:
            error_msg = '%s' % traceback.format_exc()
            logger.error(error_msg)
            return HttpResponse('# HELP Error occured', status=500, content_type="text/plain")

注意：通過官方SDK無法向普羅米修斯暴露資料生成時間(非采集時間)，以上實作方式無法滿足這種需求

專案URL路由配置

CustomPrometheusExporters.CustomPrometheusExporters.urls.py

from django.contrib import admin
from django.urls import path, re_path, include

urlpatterns = [
    re_path(r'^exporters/',  include('CustomExporters.urls')),
    path('admin/', admin.site.urls),
]

應用urls.py url路由配置

CustomExporters.urls.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from django.urls import path,re_path

from CustomExporters.url_exporter_views import UrlExporterView


urlpatterns = [
    re_path(r'url-exporter/metrics$', UrlExporterView.as_view(), name='url-exporter')
]

查看運行結果

瀏覽器中訪問 http://127.0.0.1:8000/exporters/url-exporter/metrics，輸出如下：

# HELP requests_total url request num each minute
# TYPE requests_total gauge
requests_total{req_method="get",req_status="200",req_url="url"} 34.0
# HELP avg_response_time_seconds url avg response time of one minute
# TYPE avg_response_time_seconds gauge
avg_response_time_seconds{req_method="get",req_status="200",req_url="url"} 50.0

不基于官方SDK

view視圖實作

CustomExporters.url_exporter_views.UrlExporterView

#!/usr/bin/env python
# -*- coding:utf-8 -*-

# Create your views here.
from django.http import HttpResponse
from django.views.generic import View
from prometheus_client.utils import floatToGoString

import logging
import traceback
logger = logging.getLogger('mylogger')


class UrlExporterView(View):

    def get(self, request, *args, **kwargs):
        try:
            data = https://www.cnblogs.com/shouke/p/{'count': 34,
                'method': 'get',
                'status': 200,
                'url': 'url',
                'avg_rt':50,
                'timestamp': 1634099490000
            }
            requests_total_line_list = ['# HELP requests_total The total requests number of url to req_service, req_method, status \n'] # 存放 requests_total指標輸出
            avg_response_time_line_list = ['# HELP avg_response_time_milseconds average request response time for url correspond to req_service, req_method, status\n'] # 存放 avg_response_time_seconds指標輸出
            line_template = '%(metric_name)s{req_method="%(req_method)s",req_status="%(req_status)s",req_url="%(req_url)s"} %(label_value)s %(timestamp)s\n'

            requests_total_line_list.append(line_template % {
                'metric_name':'requests_total',
                'req_method':data.get('method'),
                'req_status':data.get('status'),
                'req_url':data.get('url'),
                'label_value':floatToGoString(data.get('count')),
                'timestamp':data.get('timestamp')
            })

            avg_response_time_line_list.append(line_template % {
                'metric_name':'avg_response_time_milseconds',
                'req_method':data.get('method'),
                'req_status':data.get('status'),
                'req_url':data.get('url'),
                'label_value':floatToGoString(data.get('avg_rt')),
                'timestamp':data.get('timestamp')
            })

            output_list = []
            output_list.extend(requests_total_line_list)
            output_list.append('\n')
            output_list.extend(avg_response_time_line_list)

            return HttpResponse(''.join(output_list).encode('utf-8'), status=200, content_type="text/plain")
        except Exception:
            error_msg = '%s' % traceback.format_exc()
            logger.error(error_msg)
            return HttpResponse('# HELP Error occured', status=500, content_type="text/plain")

查看運行結果

瀏覽器中訪問 http://127.0.0.1:8000/exporters/url-exporter/metrics，輸出如下：

# HELP requests_total The total requests number of url to req_service, req_method, status 
requests_total{req_method="get",req_status="200",req_url="url"} 34.0 1634099490000

# HELP avg_response_time_milseconds average request response time for url correspond to req_service, req_method, status
avg_response_time_milseconds{req_method="get",req_status="200",req_url="url"} 50.0 1634099490000

樣本資料格式說明

普羅米修斯基于文本的(text-based)格式是面向行的，行由換行符（\n）分隔，最后一行必須以換行字符結尾，空行將被忽略

在一行中，tokens可以由任意數量的空格和/或制表符分隔（如果它們與前一個令牌合并，則必須至少由一個空格分隔），忽略行收尾隨空格，

以 # 作為首個非空白字符的行，被當作注釋，且除非#后面第一個token為HELP、TYPE，形如 # HELP、# TYPE，否則羅米修斯會自動忽略該行，

如果token為HELP，則至少需要1個token，該token為Metric名稱，剩余所有token為該屬性的檔案字串說明(dockstring)，HELP行可以是任意UTF-8序列字符，如果包含反斜杠 \、換行符\n字符，需要進行顯示轉義，形如 \\, \n

如果token為TYPE，則至少需要2個token，第一個token為Metric名稱，第二個為counter,gauge, histogram, summary, 或者 untyped，定義名稱指定的Metric的型別，針對同一個給定的Metric名稱，只能存在一種Type，TYPE行必須位于該Metric的第一行資料樣本行之前，如果該Metric沒有定義對應的TYPE行，則默認TYPE為untyped，

剩余的行描述樣本(每行對應一個資料樣本)使用以下格式

metric_name[{label_name1="label_value",label_name2="label_value",..,label_nameN="label_valueN"}] value [timestamp]

metric_name 和label_name遵守普羅米修斯慣用的語言運算式限制
label_value 可以是任意UTF-8序列字符，如果包含反斜杠 \、雙引號"、換行符\n字符，需要進行顯示轉義，形如 \\, \", \n
value 代表浮點數，正如Go ParseFloat()所需引數，此外，除標準數值外，NaN、+Inf和-Inf分別表示非數字、正無窮大和負無窮大的有效值
timestamp 資料自身生成時間，為64整數(1970-01-01 00:00:00 UTC到現在的毫秒數) ，正如Go ParseInt()所需引數

作者：授客
QQ：1033553122
全國軟體測驗QQ交流群：7156436
Git地址：https://gitee.com/ishouke
友情提示：限于時間倉促，文中可能存在錯誤，歡迎指正、評論！
作者五行缺錢，如果覺得文章對您有幫助，請掃描下邊的二維碼打賞作者，金額隨意，您的支持將是我繼續創作的源動力，打賞后如有任何疑問，請聯系我!!!
微信打賞支付寶打賞全國軟體測驗交流QQ群