主頁 > 資料庫 > 抖音資料采集教程,逆向神器 frida 介紹

抖音資料采集教程,逆向神器 frida 介紹

2021-02-08 08:21:23 資料庫

抖音資料采集教程,逆向神器 frida 介紹

短視頻、直播資料實時采集介面,請查看檔案: TiToData


免責宣告:本檔案僅供學習與參考,請勿用于非法用途!否則一切后果自負,


<br>

frida是啥?

首先,frida是啥,github目錄Awesome Frida這樣介紹frida的:

Frida is Greasemonkey for native apps, or, put in more technical terms, it’s a dynamic code instrumentation toolkit. It lets you inject snippets of JavaScript into native apps that run on Windows, Mac, Linux, iOS and Android. Frida is an open source software.

frida是平臺原生appGreasemonkey,說的專業一點,就是一種動態插樁工具,可以插入一些代碼到原生app的記憶體空間去,(動態地監視和修改其行為),這些原生平臺可以是WinMacLinuxAndroid或者iOS,而且frida還是開源的,
Greasemonkey可能大家不明白,它其實就是firefox的一套插件體系,使用它撰寫的腳本可以直接改變firefox對網頁的編排方式,實作想要的任何功能,而且這套插件還是外掛的,非常靈活機動,
frida也是一樣的道理,

frida為什么這么火?

動靜態修改記憶體實作作弊一直是剛需,比如金山游俠,本質上frida做的跟它是一件事情,原則上是可以用frida把金山游俠,包括CheatEngine等“外掛”做出來的,
當然,現在已經不是直接修改記憶體就可以高枕無憂的年代了,大家也不要這樣做,做外掛可是違法行為,
在逆向的作業上也是一樣的道理,使用frida可以“看到”平時看不到的東西,出于編譯型語言的特性,機器碼在CPU和記憶體上執行的程序中,其內部資料的互動和跳轉,對用戶來講是看不見的,當然如果手上有原始碼,甚至哪怕有帶除錯符號的可執行檔案包,也可以使用gdblldb等除錯器連上去看,
那如果沒有呢?如果是純黑盒呢?又要對app進行逆向和動態除錯、甚至自動化分析以及規模化收集資訊的話,我們需要的是細粒度的流程控制和代碼級的可定制體系,以及不斷對除錯進行動態糾正和可編程除錯的框架,這就是frida
frida使用的是pythonJavaScript等“膠水語言”也是它火爆的一個原因,可以迅速將逆向程序自動化,以及整合到現有的架構和體系中去,為你們發布“威脅情報”、“資料平臺”甚至“AI風控”等產品打好基礎,

官宣屁屁踢甚至將其敏捷開發迅速適配到現有架構的能力作為其核心賣點,

frida實操環境

主機:

Host:Macbook Air CPU: i5 Memory:8G System:Kali Linux 2018.4 (Native,非虛擬機)

客戶端:

client:Nexus 6 shamu CPU:Snapdragon 805 Mem:3G System:lineage-15.1-20181123-NIGHTLY-shamu,android 8.1

kali linux的原因是工具很全面,權限很單一,只有一個root,作為原型開發很好用,否則pythonnode的各種權限、環境和依賴實在是煩,用lineage因為它有便利的網路ADB除錯,可以省掉一個usb資料線連接的程序,(雖然真實的原因是沒錢買新設備,Nexus 6官方只支持到7.1.1,想上8.1只有lineage一個選擇,)記得需要刷進去一個lineagesu包,獲取root權限,frida是需要在root權限下運行的,
首先到官網下載一個platform-tools的linux版本——SDK Platform-Tools for Linux,下載解壓之后可以直接運行里面的二進制檔案,當然也可以把路徑加到環境里去,這樣adbfastboot命令就有了,
然后再將frida-server下載下來,拷貝到安卓機器里去,使用root用戶跑起來,保持adb的連接不要斷開,


$ ./adb root # might be required
$ ./adb push frida-server /data/local/tmp/
$ ./adb shell "chmod 755 /data/local/tmp/frida-server"
$ ./adb shell "/data/local/tmp/frida-server &"

最后在kali linux里安裝好frida即可,在kali里安裝frida真是太簡單了,一句話命令即可,保證不出錯,(可能會需要先安裝pip,也是一句話命令:curl [https://bootstrap.pypa.io/get-pip.py](https://bootstrap.pypa.io/get-pip.py) -o get-pip.py

pip install frida-tools

然后用frida-ps -U命令連上去,就可以看到正在運行的行程了,

root@kali:~# frida-ps -U
Waiting for USB device to appear...
 PID  Name
----  -----------------------------------------------
 431  ATFWD-daemon
3148  adbd
 391  adspd
2448  android.ext.services
 358  [email protected]
 265  [email protected]
 359  [email protected]
 360  [email protected]
 361  [email protected]
 266  [email protected]
 357  [email protected]
 ...
 ...

基本能力Ⅰ:hook引數、修改結果

先自己寫個app


package com.roysue.demo02;

import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;

public class MainActivity extends AppCompatActivity {

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        while (true){

            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }

            fun(50,30);
        }
    }

    void fun(int x , int y ){
        Log.d("Sum" , String.valueOf(x+y));
    }

}

原理上很簡單,就是間隔一秒在控制臺輸出一下fun(50,30)函式的結果,fun()這個函式的作用是求和,那最終結果在控制臺如下所示,

$ adb logcat |grep Sum
11-26 21:26:23.234  3245  3245 D Sum     : 80
11-26 21:26:24.234  3245  3245 D Sum     : 80
11-26 21:26:25.235  3245  3245 D Sum     : 80
11-26 21:26:26.235  3245  3245 D Sum     : 80
11-26 21:26:27.236  3245  3245 D Sum     : 80
11-26 21:26:28.237  3245  3245 D Sum     : 80
11-26 21:26:29.237  3245  3245 D Sum     : 80

現在我們來寫一段js代碼,并用frida-server將這段代碼加載到com.roysue.demo02中去,執行其中的hook函式,

$ nano s1.js
console.log("Script loaded successfully ");
Java.perform(function x() {
    console.log("Inside java perform function");
    //定位類
    var my_class = Java.use("com.roysue.demo02.MainActivity");
    console.log("Java.Use.Successfully!");//定位類成功!
    //在這里更改類的方法的實作(implementation)
    my_class.fun.implementation = function(x,y){
        //列印替換前的引數
        console.log( "original call: fun("+ x + ", " + y + ")");
        //把引數替換成2和5,依舊呼叫原函式
        var ret_value = https://www.cnblogs.com/titodata/archive/2021/02/07/this.fun(2, 5);
        return ret_value;
    }
});

然后我們在kali主機上使用一段python腳本,將這段js腳本“傳遞”給安卓系統里正在運行的frida-server

$ nano loader.py

import time
import frida

# 連接安卓機上的frida-server
device = frida.get_usb_device()
# 啟動`demo02`這個app
pid = device.spawn(["com.roysue.demo02"])
device.resume(pid)
time.sleep(1)
session = device.attach(pid)
# 加載s1.js腳本
with open("s1.js") as f:
    script = session.create_script(f.read())
script.load()

# 腳本會持續運行等待輸入
raw_input()

然后得保證frida-server正在運行,方法可以是在kali主機輸入frida-ps -U命令,如果安卓機上的行程出現了,則frida-server運行良好,
還需要保證selinux是關閉的狀態,可以在adb shell里,su -獲得root權限之后,輸入setenforce 0命令來獲得,在Settings→About Phone→SELinux status里看到Permissive,說明selinux關閉成功,
然后在kali主機上輸入python loader.js,可以觀察到安卓機上com.roysue.demo02這個app馬上重啟了,然后$ adb logcat|grep Sum里的內容也變了,

11-26 21:44:47.875  2420  2420 D Sum     : 80
11-26 21:44:48.375  2420  2420 D Sum     : 80
11-26 21:44:48.875  2420  2420 D Sum     : 80
11-26 21:44:49.375  2420  2420 D Sum     : 80
11-26 21:44:49.878  2420  2420 D Sum     : 7
11-26 21:44:50.390  2420  2420 D Sum     : 7
11-26 21:44:50.904  2420  2420 D Sum     : 7
11-26 21:44:51.408  2420  2420 D Sum     : 7
11-26 21:44:51.921  2420  2420 D Sum     : 7
11-26 21:44:52.435  2420  2420 D Sum     : 7
11-26 21:44:52.945  2420  2420 D Sum     : 7
11-26 21:44:53.459  2420  2420 D Sum     : 7
11-26 21:44:53.970  2420  2420 D Sum     : 7
11-26 21:44:54.480  2420  2420 D Sum     : 7

kali主機上可以觀察到:


$ python loader.py
Script loaded successfully
Inside java perform function
Java.Use.Successfully!
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)
original call: fun(50, 30)

說明腳本執行成功了,代碼也插到com.roysue.demo02這個包里去,并且成功執行了,s1.js里的代碼成功執行了,并且把互動結果傳回了kali主機上,

基本能力Ⅱ:引數構造、方法多載、隱藏函式的處理

我們現在把app的代碼稍微寫復雜一點點:

package com.roysue.demo02;

import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Log;

public class MainActivity extends AppCompatActivity {

    private String total = "@@@###@@@";

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        while (true){

            try {
                Thread.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }

            fun(50,30);
            Log.d("ROYSUE.string" , fun("LoWeRcAsE Me!!!!!!!!!"));
        }
    }

    void fun(int x , int y ){
        Log.d("ROYSUE.Sum" , String.valueOf(x+y));
    }

    String fun(String x){
        total +=x;
        return x.toLowerCase();
    }

    String secret(){
        return total;
    }
}

app運行起來后在使用logcat列印出來的日志如下:

$ adb logcat |grep ROYSUE
11-26 22:22:35.689  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:35.689  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:36.695  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:36.696  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:37.696  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:37.696  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:38.697  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:38.697  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!
11-26 22:22:39.697  3051  3051 D ROYSUE.Sum: 80
11-26 22:22:39.698  3051  3051 D ROYSUE.string: lowercase me!!!!!!!!!

可以看到fun()方法有了多載,在引數是兩個int的情況下,回傳兩個int之和,在引數為String型別之下,則回傳字串的小寫形式,
另外,secret()函式為隱藏方法,在app里沒有被直接呼叫,
這時候如果我們直接使用上一節里面的js腳本和loader.js來加載的話,肯定會崩潰,為了看到崩潰的資訊,我們對loader.js做一些處理,

def my_message_handler(message , payload): #定義錯誤處理
    print message
    print payload
...
script.on("message" , my_message_handler) #呼叫錯誤處理
script.load()

再運行$ python loader.py的話,就會看到如下的錯誤資訊回傳:

$ python loader.py
Script loaded successfully
Inside java perform function
Java.Use.Successfully!
{u'columnNumber': 1, u'description': u"Error: fun(): has more than one overload, use .overload(<signature>) to choose from:\n\t.overload('java.lang.String')\n\t.overload('int', 'int')", u'fileName': u'frida/node_modules/frida-java/lib/class-factory.js', u'lineNumber': 2233, u'type': u'error', u'stack': u"Error: fun(): has more than one overload, use .overload(<signature>) to choose from:\n\t.overload('java.lang.String')\n\t.overload('int', 'int')\n    at throwOverloadError (frida/node_modules/frida-java/lib/class-factory.js:2233)\n    at frida/node_modules/frida-java/lib/class-factory.js:1468\n    at x (/script1.js:14)\n    at frida/node_modules/frida-java/lib/vm.js:43\n    at M (frida/node_modules/frida-java/index.js:347)\n    at frida/node_modules/frida-java/index.js:299\n    at frida/node_modules/frida-java/lib/vm.js:43\n    at frida/node_modules/frida-java/index.js:279\n    at /script1.js:15"}
None

可以看出是一個throwOverloadError,這時候就是因為我們沒有處理多載,造成的多載處理錯誤,這個時候就需要我們來處理多載了,在js腳本中處理多載是這樣寫的:


my_class.fun.overload("int" , "int").implementation = function(x,y){
...
my_class.fun.overload("java.lang.String").implementation = function(x){

其中引數均為兩個int的情況下,上一節已經講過了,引數為String類的時候,由于String類不是Java基本資料型別,而是java.lang.String型別,所以在替換引數的構造上,需要花點心思,

var string_class = Java.use("java.lang.String"); //獲取String型別

my_class.fun.overload("java.lang.String").implementation = function(x){
  console.log("*************************************");
  var my_string = string_class.$new("My TeSt String#####"); //new一個新字串
  console.log("Original arg: " +x );
  var ret =  this.fun(my_string); // 用新的引數替換舊的引數,然后呼叫原函式獲取結果
  console.log("Return value: "+ret);
  console.log("*************************************");
  return ret;
};

這樣我們對于多載函式的處理就算是ok了,我們到實驗里來看下:


$ python loader.py
Script loaded successfully
Inside java perform function
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************

然后logcat打出來的結果也變了,

$ adb logcat |grep ROYSUE
11-26 22:23:29.597  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:29.673  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:30.689  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:30.730  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:31.740  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:31.789  3244  3244 D ROYSUE.string: my test string#####
11-26 22:23:32.797  3244  3244 D ROYSUE.Sum: 7
11-26 22:23:32.833  3244  3244 D ROYSUE.string: my test string#####

最后再說一下隱藏方法的呼叫,frida對其的處理辦法跟Xposed是非常像的,Xposed使用的是XposedHelpers.findClass("com.example.inner_class_demo.demo",lpparam.classLoader);方法,直接findClass,其實frida也非常類似,也是使用的直接到記憶體里去尋找的方法,也就是Java.choose(className, callbacks)函式,通過類名觸發回掉函式,

Java.choose("com.roysue.demo02.MainActivity" , {
  onMatch : function(instance){ //該類有多少個實體,該回呼就會被觸發多少次
    console.log("Found instance: "+instance);
    console.log("Result of secret func: " + instance.secret());
  },
  onComplete:function(){}
});

最終運行效果如下:

$ python loader.py
Script loaded successfully
Inside java perform function
Found instance: com.roysue.demo02.MainActivity@92d5deb
Result of secret func: @@@###@@@
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)
*************************************
Original arg: LoWeRcAsE Me!!!!!!!!!
Return value: my test string#####
*************************************
original call: fun(50, 30)

這樣隱藏方法也被呼叫起來了,

中級能力:遠程呼叫

上一小節中我們在安卓機器上使用js腳本呼叫了隱藏函式secret(),它在app內雖然沒有被任何地方呼叫,但是仍然被我們的腳本“找到”并且“呼叫”了起來
這一小節我們要實作的是,不僅要在跑在安卓機上的js腳本里呼叫這個函式,還要可以在kali主機上的py腳本里,直接呼叫這個函式,
也就是使用frida提供的RPC功能(Remote Procedure Call),
安卓app不需要有任何修改,這次我們要修改的是js腳本和py腳本,

$ nano s3.js
console.log("Script loaded successfully ");

function callSecretFun() { //定義匯出函式
    Java.perform(function () { //找到隱藏函式并且呼叫
        Java.choose("com.roysue.demo02.MainActivity", {
            onMatch: function (instance) {
                console.log("Found instance: " + instance);
                console.log("Result of secret func: " + instance.secret());
            },
            onComplete: function () { }
        });
    });
}
rpc.exports = {
    callsecretfunction: callSecretFun //把callSecretFun函式匯出為callsecretfunction符號,匯出名不可以有大寫字母或者下劃線
};

然后在kali主機上我們就可以看到以下的輸出:

$ python loader3.py
Script loaded successfully
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:2
Found instance: com.roysue.demo02.MainActivity@2eacd80
Result of secret func: @@@###@@@LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!LoWeRcAsE Me!!!!!!!!!
Enter command:
1: Exit
2: Call secret function
choice:1

這樣我們就實作了在kali主機上直接呼叫安卓app內部的函式的能力,

高級能力:互聯互通、動態修改

最后我們要實作的功能是,我們不僅僅可以在kali主機上呼叫安卓app里的函式,我們還可以把資料從安卓app里傳遞到kali主機上,在主機上進行修改,再傳遞回安卓app里面去,
我們撰寫這樣一個app,其中最核心的地方在于判斷用戶是否為admin,如果是,則直接回傳錯誤,禁止登陸,如果不是,則把用戶和密碼上傳到服務器上進行驗證,

package com.roysue.demo04;

import android.support.v7.app.AppCompatActivity;
import android.os.Bundle;
import android.util.Base64;
import android.view.View;
import android.widget.EditText;
import android.widget.TextView;

public class MainActivity extends AppCompatActivity {

    EditText username_et;
    EditText password_et;
    TextView message_tv;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);


        password_et = (EditText) this.findViewById(R.id.editText2);
        username_et = (EditText) this.findViewById(R.id.editText);
        message_tv = ((TextView) findViewById(R.id.textView));

        this.findViewById(R.id.button).setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {

                if (username_et.getText().toString().compareTo("admin") == 0) {
                    message_tv.setText("You cannot login as admin");
                    return;
                }
                //hook target
                message_tv.setText("Sending to the server :" + Base64.encodeToString((username_et.getText().toString() + ":" + password_et.getText().toString()).getBytes(), Base64.DEFAULT));

            }
        });

    }
}

最終跑起來之后,效果就是這樣,

我們的目標就是在kali主機上“得到”輸入框輸入的內容,并且修改其輸入的內容,并且“傳輸”給安卓機器,使其通過驗證,也就是說,我們哪怕輸入admin的賬戶和密碼,也可以繞過本地校驗,進行登陸的操作,
所以最終安卓端的js代碼的邏輯就是,截取輸入,傳輸給kali主機,暫停執行,得到kali主機傳回的資料之后,繼續執行,形成代碼如下:

Java.perform(function () {
    var tv_class = Java.use("android.widget.TextView");
    tv_class.setText.overload("java.lang.CharSequence").implementation = function (x) {
        var string_to_send = x.toString();
        var string_to_recv;
        send(string_to_send); // 將資料發送給kali主機的python代碼
        recv(function (received_json_object) {
            string_to_recv = received_json_object.my_data
            console.log("string_to_recv: " + string_to_recv);
        }).wait(); //收到資料之后,再執行下去
        return this.setText(string_to_recv);
    }
});

kali主機端的流程就是,將接受到的JSON資料決議,提取出其中的密碼部分,然后將用戶名替換成admin,這樣就實作了將adminpw發送給“服務器”的結果,

import time
import frida

def my_message_handler(message, payload):
    print message
    print payload
    if message["type"] == "send":
        print message["payload"]
        data = https://www.cnblogs.com/titodata/archive/2021/02/07/message["payload"].split(":")[1].strip()
        print 'message:', message
        data = https://www.cnblogs.com/titodata/archive/2021/02/07/data.decode("base64")
        user, pw = data.split(":")
        data = https://www.cnblogs.com/titodata/archive/2021/02/07/("admin" + ":" + pw).encode("base64")
        print "encoded data:", data
        script.post({"my_data": data})  # 將JSON物件發送回去
        print "Modified data sent"

device = frida.get_usb_device()
pid = device.spawn(["com.roysue.demo04"])
device.resume(pid)
time.sleep(1)
session = device.attach(pid)
with open("s4.js") as f:
    script = session.create_script(f.read())
script.on("message", my_message_handler)  # 注冊訊息處理函式
script.load()
raw_input()

我們只要輸入任意用戶名(非admin)+密碼,非admin的用戶名可以繞過compareTo校驗,然后frida會幫助我們將用戶名改成admin,最終就是admin:pw的組合發送到服務器,

$ python loader4.py
Script loaded successfully
{u'type': u'send', u'payload': u'Sending to the server :YWFhYTpiYmJi\n'}
None
Sending to the server :YWFhYTpiYmJi

message: {u'type': u'send', u'payload': u'Sending to the server :YWFhYTpiYmJi\n'}
data: aaaa:bbbb
pw: bbbb
encoded data: YWRtaW46YmJiYg==

Modified data sent
string_to_recv: YWRtaW46YmJiYg==

動態修改輸入內容就這樣實作了,

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/257702.html

標籤:其他

上一篇:MongoDB 安裝/啟動/基本操作命令

下一篇:MongoDB 安裝/啟動/基本操作命令

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more