主頁 > 資料庫 > stm32與linux通過protobuf打包資料并進行通信

stm32與linux通過protobuf打包資料并進行通信

2020-09-14 07:03:09 資料庫

一、利用protobuf通信原理

最近專案中需要用到stm32與Orange Pi(移植了linux)進行資料互動,H6端是用C++撰寫的串口底層驅動,與stm32的串口連接并通信,串口間的通信協議定為采用protobuf打包資料并通過串口發出的形式,即發送端編碼資料并序列化成陣列通過串口發出,接收端接收到一幀資料,進行解碼并決議資料,

二、 移植protobuf(nanopb-0.3.8)到stm32工程

protobuf是一種打包資料的工具,和JSON打包資料的作用是一樣的,在C++下用protobuf傳遞資料,要先寫一個.proto檔案,然后在linux環境下編譯該檔案,或者直接放在CMake里面編譯,便可以生成出來一個類(.cpp 和 .h),利用protobuf打包便是打包這個類,

可以理解成把這個類的所有資料加上幀頭幀尾幀校驗,然后通過串口,網路等通信格式將資料發送出去,這個程序稱為序列化,解包就是把收到序列化的資料反序列化,然后把有效資料放入生成的類中,

一般開發stm32的環境是在Windows下,基于Keil開發,要通過.proto檔案生成結構體(.c和.h)需要下載一個官方protobuf的輪子,然后在命令列下編譯即可生成我們需要的結構體檔案,這個輪子的下載地址放在文末,

三、撰寫.proto檔案

撰寫.proto檔案很簡單,開頭先寫protobuf的版本號,和包名(命名空間)

// A very simple protocol definition, consisting of only
// one message.
// 02

syntax = "proto3";

package STM32;

然后寫message,就和寫結構體(列舉)的格式很相似,

message GyroOffset 			
{
	float gyrooffsetX = 1;
	
	float gyrooffsetY = 2;
	
	float gyrooffsetZ = 3;
	
}

message GyroAccData
{
	uint32 	accX = 1;  //加速度計x軸加速度
	
	uint32  accY = 2;  //加速度計y軸加速度
	
	uint32  accZ = 3;  //加速度計z軸加速度
	
	uint32  gryoX = 4; //陀螺儀x軸原始資料
	
	uint32  gryoY = 5; //陀螺儀y軸原始資料
	
	uint32  gryoZ = 6; //陀螺儀z軸原始資料
}

message IsGetGyroOffset
{
	bool IsGetStatus = 1;
}

message Bmi160ToData
{
	GyroOffset gyroOffset = 1;

	GyroAccData gyroAccData = 2;

	IsGetGyroOffset isGetGyroOffset = 3;
}

到這里為止,我們最終只需要Bmi160ToData這個結構體中包含的資料即可,

寫完以后我們把.proto檔案放在桌面上,然后打開cmd命令列解釋器,cd到.proto檔案的目錄下,然后運行protoc 這個腳本去編譯.proto檔案,編譯完成后即可生成兩個檔案,一個.c,一個.h,這里有一點,就是最好把這個腳本的可執行檔案路徑放到系統環境變數下,這樣才可以在任何路徑下編譯.proto檔案,具體的命令如下圖所示:
在這里插入圖片描述
編譯完成后,在該路徑下會生成一個.c一個.h檔案,其內容如下:

/* Automatically generated nanopb constant definitions */
/* Generated by nanopb-0.3.8 at Fri Sep 11 16:29:22 2020. */
//.c
#include "Bmi160ToData.pb.h"

/* @@protoc_insertion_point(includes) */
#if PB_PROTO_HEADER_VERSION != 30
#error Regenerate this file with the current version of nanopb generator.
#endif



const pb_field_t STM32_GyroOffset_fields[4] = {
    PB_FIELD(  1, FLOAT   , SINGULAR, STATIC  , FIRST, STM32_GyroOffset, gyrooffsetX, gyrooffsetX, 0),
    PB_FIELD(  2, FLOAT   , SINGULAR, STATIC  , OTHER, STM32_GyroOffset, gyrooffsetY, gyrooffsetX, 0),
    PB_FIELD(  3, FLOAT   , SINGULAR, STATIC  , OTHER, STM32_GyroOffset, gyrooffsetZ, gyrooffsetY, 0),
    PB_LAST_FIELD
};

const pb_field_t STM32_GyroAccData_fields[7] = {
    PB_FIELD(  1, UINT32  , SINGULAR, STATIC  , FIRST, STM32_GyroAccData, accX, accX, 0),
    PB_FIELD(  2, UINT32  , SINGULAR, STATIC  , OTHER, STM32_GyroAccData, accY, accX, 0),
    PB_FIELD(  3, UINT32  , SINGULAR, STATIC  , OTHER, STM32_GyroAccData, accZ, accY, 0),
    PB_FIELD(  4, UINT32  , SINGULAR, STATIC  , OTHER, STM32_GyroAccData, gryoX, accZ, 0),
    PB_FIELD(  5, UINT32  , SINGULAR, STATIC  , OTHER, STM32_GyroAccData, gryoY, gryoX, 0),
    PB_FIELD(  6, UINT32  , SINGULAR, STATIC  , OTHER, STM32_GyroAccData, gryoZ, gryoY, 0),
    PB_LAST_FIELD
};

const pb_field_t STM32_IsGetGyroOffset_fields[2] = {
    PB_FIELD(  1, BOOL    , SINGULAR, STATIC  , FIRST, STM32_IsGetGyroOffset, IsGetStatus, IsGetStatus, 0),
    PB_LAST_FIELD
};

const pb_field_t STM32_Bmi160ToData_fields[4] = {
    PB_FIELD(  1, MESSAGE , SINGULAR, STATIC  , FIRST, STM32_Bmi160ToData, gyroOffset, gyroOffset, &STM32_GyroOffset_fields),
    PB_FIELD(  2, MESSAGE , SINGULAR, STATIC  , OTHER, STM32_Bmi160ToData, gyroAccData, gyroOffset, &STM32_GyroAccData_fields),
    PB_FIELD(  3, MESSAGE , SINGULAR, STATIC  , OTHER, STM32_Bmi160ToData, isGetGyroOffset, gyroAccData, &STM32_IsGetGyroOffset_fields),
    PB_LAST_FIELD
};


/* Check that field information fits in pb_field_t */
#if !defined(PB_FIELD_32BIT)
/* If you get an error here, it means that you need to define PB_FIELD_32BIT
 * compile-time option. You can do that in pb.h or on compiler command line.
 * 
 * The reason you need to do this is that some of your messages contain tag
 * numbers or field sizes that are larger than what can fit in 8 or 16 bit
 * field descriptors.
 */
PB_STATIC_ASSERT((pb_membersize(STM32_Bmi160ToData, gyroOffset) < 65536 && pb_membersize(STM32_Bmi160ToData, gyroAccData) < 65536 && pb_membersize(STM32_Bmi160ToData, isGetGyroOffset) < 65536), YOU_MUST_DEFINE_PB_FIELD_32BIT_FOR_MESSAGES_STM32_GyroOffset_STM32_GyroAccData_STM32_IsGetGyroOffset_STM32_Bmi160ToData)
#endif

#if !defined(PB_FIELD_16BIT) && !defined(PB_FIELD_32BIT)
/* If you get an error here, it means that you need to define PB_FIELD_16BIT
 * compile-time option. You can do that in pb.h or on compiler command line.
 * 
 * The reason you need to do this is that some of your messages contain tag
 * numbers or field sizes that are larger than what can fit in the default
 * 8 bit descriptors.
 */
PB_STATIC_ASSERT((pb_membersize(STM32_Bmi160ToData, gyroOffset) < 256 && pb_membersize(STM32_Bmi160ToData, gyroAccData) < 256 && pb_membersize(STM32_Bmi160ToData, isGetGyroOffset) < 256), YOU_MUST_DEFINE_PB_FIELD_16BIT_FOR_MESSAGES_STM32_GyroOffset_STM32_GyroAccData_STM32_IsGetGyroOffset_STM32_Bmi160ToData)
#endif


/* @@protoc_insertion_point(eof) */
/* Automatically generated nanopb header */
/* Generated by nanopb-0.3.8 at Fri Sep 11 16:29:22 2020. */
//.h
#ifndef PB_STM32_BMI160TODATA_PB_H_INCLUDED
#define PB_STM32_BMI160TODATA_PB_H_INCLUDED
#include <pb.h>

/* @@protoc_insertion_point(includes) */
#if PB_PROTO_HEADER_VERSION != 30
#error Regenerate this file with the current version of nanopb generator.
#endif

#ifdef __cplusplus
extern "C" {
#endif

/* Struct definitions */
typedef struct _STM32_GyroAccData {
    uint32_t accX;
    uint32_t accY;
    uint32_t accZ;
    uint32_t gryoX;
    uint32_t gryoY;
    uint32_t gryoZ;
/* @@protoc_insertion_point(struct:STM32_GyroAccData) */
} STM32_GyroAccData;

typedef struct _STM32_GyroOffset {
    float gyrooffsetX;
    float gyrooffsetY;
    float gyrooffsetZ;
/* @@protoc_insertion_point(struct:STM32_GyroOffset) */
} STM32_GyroOffset;

typedef struct _STM32_IsGetGyroOffset {
    bool IsGetStatus;
/* @@protoc_insertion_point(struct:STM32_IsGetGyroOffset) */
} STM32_IsGetGyroOffset;

typedef struct _STM32_Bmi160ToData {
    STM32_GyroOffset gyroOffset;
    STM32_GyroAccData gyroAccData;
    STM32_IsGetGyroOffset isGetGyroOffset;
/* @@protoc_insertion_point(struct:STM32_Bmi160ToData) */
} STM32_Bmi160ToData;

/* Default values for struct fields */

/* Initializer values for message structs */
#define STM32_GyroOffset_init_default            {0, 0, 0}
#define STM32_GyroAccData_init_default           {0, 0, 0, 0, 0, 0}
#define STM32_IsGetGyroOffset_init_default       {0}
#define STM32_Bmi160ToData_init_default          {STM32_GyroOffset_init_default, STM32_GyroAccData_init_default, STM32_IsGetGyroOffset_init_default}
#define STM32_GyroOffset_init_zero               {0, 0, 0}
#define STM32_GyroAccData_init_zero              {0, 0, 0, 0, 0, 0}
#define STM32_IsGetGyroOffset_init_zero          {0}
#define STM32_Bmi160ToData_init_zero             {STM32_GyroOffset_init_zero, STM32_GyroAccData_init_zero, STM32_IsGetGyroOffset_init_zero}

/* Field tags (for use in manual encoding/decoding) */
#define STM32_GyroAccData_accX_tag               1
#define STM32_GyroAccData_accY_tag               2
#define STM32_GyroAccData_accZ_tag               3
#define STM32_GyroAccData_gryoX_tag              4
#define STM32_GyroAccData_gryoY_tag              5
#define STM32_GyroAccData_gryoZ_tag              6
#define STM32_GyroOffset_gyrooffsetX_tag         1
#define STM32_GyroOffset_gyrooffsetY_tag         2
#define STM32_GyroOffset_gyrooffsetZ_tag         3
#define STM32_IsGetGyroOffset_IsGetStatus_tag    1
#define STM32_Bmi160ToData_gyroOffset_tag        1
#define STM32_Bmi160ToData_gyroAccData_tag       2
#define STM32_Bmi160ToData_isGetGyroOffset_tag   3

/* Struct field encoding specification for nanopb */
extern const pb_field_t STM32_GyroOffset_fields[4];
extern const pb_field_t STM32_GyroAccData_fields[7];
extern const pb_field_t STM32_IsGetGyroOffset_fields[2];
extern const pb_field_t STM32_Bmi160ToData_fields[4];

/* Maximum encoded size of messages (where known) */
#define STM32_GyroOffset_size                    15
#define STM32_GyroAccData_size                   36
#define STM32_IsGetGyroOffset_size               2
#define STM32_Bmi160ToData_size                  59

/* Message IDs (where set with "msgid" option) */
#ifdef PB_MSGID

#define BMI160TODATA_MESSAGES \


#endif

#ifdef __cplusplus
} /* extern "C" */
#endif
/* @@protoc_insertion_point(eof) */

#endif
f

至此,protobuf的C檔案格式的代碼已經生成,

四、開始通信!!!

把剛才生成的兩個檔案拉到專案里面,同時把官方的protoc所用到的三個檔案和其對應的.h檔案也拉到專案中來,檔案格式如下圖:
在這里插入圖片描述
這三個檔案回合protoc腳本一起放在文末,

我們先來看打包并發送一幀protobuf資料的代碼:

/*******************************************************************************
* Function Name  : vProto_Encode_Send_FastPack()
* Description    : 編碼protobuf資料,并將編碼過后的陣列通過串口1發送給上層
* Input          : STM32_Stm32ToState 型別的結構體指標
* Output         : None
* Return         : true:編碼成功   false:編碼失敗
*******************************************************************************/
bool vProto_Encode_Send_FastPack(void)
{
    STM32_Stm32ToState STM32_Stm32ToState_Fast = STM32_Stm32ToState_init_default;//快包
    int message_length;
    bool status;
	pb_ostream_t op_stream;//創建一個編碼物件,保存發送buf的資料長度,資料首地址,最大位元組等資訊
        
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.accX   =  bmi160_protobuf.accx;
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.accY   =  bmi160_protobuf.accy;
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.accZ   =  bmi160_protobuf.accz;
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.gryoX  =  bmi160_protobuf.gryx;
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.gryoY  =  bmi160_protobuf.gryy;
    STM32_Stm32ToState_Fast.bmi160ToData.gyroAccData.gryoZ  =  bmi160_protobuf.gryz;
              
    //清空發送緩沖陣列
    memset(ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex] , 0 , sizeof(ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex]));
    //初始化這個編碼物件,并填充發送陣列首地址,發送資料長度
    op_stream = pb_ostream_from_buffer(ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex] , sizeof(ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex]));
    //呼叫編碼API,將形參結構體的值賦給編碼物件(陣列首地址和長度)
    status = pb_encode(&op_stream,STM32_Stm32ToState_fields, &STM32_Stm32ToState_Fast);
    if(!status) return status;
    //打包以后資料的長度
    message_length = op_stream.bytes_written;
    DEBUG("零飄結構體編碼后的大小為:%d" , message_length);

	ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex][0] = ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex][0];
	//發送該幀資料
	memcpy(ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex],(uint8_t *)&ucUSART1TrainsmitBuffer[ucWtiteDataToUSART1TransmitGrooveIndex],message_length);
    ucUSART1TrainsmitLength[ucWtiteDataToUSART1TransmitGrooveIndex] = message_length;
    
	WriteDataToUSART1TraismitBufferDone( );//發送下標移位
	
	return status;
}

其實就是先把我們需要發送的結構體填充對應的值,然后通過protoc的API將這個結構體序列化以后的值放在一個buf陣列里面,最后把這個陣列通過串口DMA發送出去,這時linux端會從串口接收到該幀資料并存放在一個陣列里面,然后通過API去將這個陣列反序列化成.proto生成的類,這時類里的值,就是stm32發送上去的值,

同理可得,stm32接收到linux端發送的一幀資料,可以通過串口IDLE+DMA接收到一個陣列里面,然后呼叫API去反序列化這個陣列,并將結果填充到接收結構體里面,即可完成一次資料的收發,接收代碼如下:

/*******************************************************************************
* Function Name  : vProto_Decode_Receive_Lslam()
* Description    : 解碼protobuf資料,并分析資料和改變坐標全域變數
* Input          : buf:接收一幀陣列,buf_length:接收一幀陣列的陣列長度,
                   STM32_Stm32ToStete 型別的結構體指標
* Output         : None
* Return         : true:解碼成功 false:解碼失敗
*******************************************************************************/
bool vProto_Decode_Receive(u8* buf , u16 buf_length)
{
    bool status;
    
    STM32_Stm32ToState STM32_Stm32ToState_t = STM32_Stm32ToState_init_default;
    
	pb_istream_t ip_stream;//創建一個解碼物件,用于保存接收到的陣列地址和陣列長度
	
	ip_stream = pb_istream_from_buffer(buf,buf_length);//把接收到的一幀資料和幀長度給到解碼物件
	
	if(pb_decode(&ip_stream , STM32_Stm32ToState_fields ,&STM32_Stm32ToState_t))
    {
        	g_tRouteCoord.Self_Coox  	    = LSLAM_PlanMsgToState_t.curpos.x;
            g_tRouteCoord.Self_Cooy  	    = LSLAM_PlanMsgToState_t.curpos.y;
            g_tRouteCoord.Self_Angle 	    = LSLAM_PlanMsgToState_t.curpos.theta;
            g_tRouteCoord.CurrentCoo.cooY = LSLAM_PlanMsgToState_t.point1.y;
            g_tRouteCoord.Coo1.cooX       = LSLAM_PlanMsgToState_t.point2.x;
            g_tRouteCoord.Coo1.cooY       = LSLAM_PlanMsgToState_t.point2.y;
            g_tRouteCoord.Coo2.cooX       = LSLAM_PlanMsgToState_t.point3.x;
            g_tRouteCoord.Coo2.cooY       = LSLAM_PlanMsgToState_t.point3.y;
            g_tRouteCoord.Coo3.cooX       = LSLAM_PlanMsgToState_t.point4.x;
            g_tRouteCoord.Coo3.cooY       = LSLAM_PlanMsgToState_t.point4.y;
            g_tRouteCoord.Coo4.cooX       = LSLAM_PlanMsgToState_t.point5.x;
            g_tRouteCoord.Coo4.cooY       = LSLAM_PlanMsgToState_t.point5.y; 
        
            IsGetRoute = true;
    }
            g_tRouteCoord.CurrentCoo.cooX = LSLAM_PlanMsgToState_t.point1.x;
    
    if(pb_decode(&ip_stream , IsGetGyroOffset_fields ,&IsGetGyroOffset_t))
    {
        H6IsGetGyroOffset = IsGetGyroOffset_t.IsGetStatus;
    }
   
    return status;
}

通過這個解碼物件生成的值,可以判斷資料對應的哪個結構體,從而填充不同的結構體出來,

五、protobuf的缺點和不足

protobuf終究是面向上層開發出來的資料打包協議,但是正如.proto檔案限制的那樣,它打包資料的最小單位是32位,也就是說我們想通過protobuf傳輸一個bool量的資料也要用一個32位的結構體成員去承載它,

盡管protobuf擁有優化打包資料記憶體的功能,也就是說當一個資料很小的時候(小于255),protobuf會將其打包成uint8_t型別的資料序列化到陣列里,但是這樣的特性也意味著資料打包長短的不確定性,這在一個穩定的通信系統里面是很致命的一點,我們需要定義一個最大長度的陣列去承載protobuf序列化前后的資料,

protobuf打包資料其實和我們自己定義協議一樣,我們可以把序列化以后的資料通過串口列印出來,就可以發現所謂的序列化也只不過是對一幀資料加上幀頭幀尾幀校驗然后發送出去,利用protobuf協議只是方便和linux端的通信,這樣專案里的每個程式塊都可以用同一個.proto檔案進行資料的通信,這在一個大型專案里是很有好處的,

至此,基于protobuf完成stm32和Linux的資料通信為大家介紹完畢,腳本和protoc公共檔案見鏈接
protobuf

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/32038.html

標籤:其他

上一篇:MFC開發程序中,自定義的類中做分割視窗的影像顯示,GetDC出現問題:function does not take 0 parameters?

下一篇:概念火熱下的云游戲,究竟有著怎樣的技術內涵?

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more