主頁 > 資料庫 > 為什么(或為什么不)將Neon內在資料型別作為輸入/輸出函式引數傳遞?

為什么(或為什么不)將Neon內在資料型別作為輸入/輸出函式引數傳遞?

2022-11-05 03:22:18 資料庫

這是我建立的一個小測驗。這里我們有兩個場景:

  1. 場景 1:輸入和輸出為的兩個函式 (scenario1a和) 以及從 Neon 資料型別 ( ) 加載/存盤scenario1buint16_t*uint16x8x4_t
  2. 場景 2:與場景 1 相同的功能(在本例中為scenario2ascenario2b),但輸入和輸出為uint16x8x4_t*,并且加載和存盤在主函式中完成。

(在 c 代碼下面,我包含了使用 -O3 編譯后生成的反匯編)。

#include <stdio.h>
#include <stdlib.h>
#include <arm_neon.h>

void scenario1a(uint16_t* resultArray, const uint16_t* X);
void scenario1b(uint16_t* resultArray, const uint16_t* X);

void scenario2a(uint16x8x4_t* result, const uint16x8x4_t* temp);
void scenario2b(uint16x8x4_t* result, const uint16x8x4_t* temp);

void scenario1a(uint16_t* resultArray, const uint16_t* X) {
    uint16x8x4_t temp, result;

    temp = vld1q_u16_x4(X);

    result.val[0] = vextq_u16(temp.val[0], vmulq_n_u16(temp.val[1], -1), 2);
    result.val[1] = vextq_u16(temp.val[1], vmulq_n_u16(temp.val[2], -1), 2);
    result.val[2] = vextq_u16(temp.val[2], vmulq_n_u16(temp.val[3], -1), 2);
    result.val[3] = vextq_u16(temp.val[3], vmulq_n_u16(temp.val[0], -1), 2);

    vst1q_u16_x4(resultArray, result);
}

void scenario1b(uint16_t* resultArray, const uint16_t* X) {
    uint16x8x4_t temp, result;

    temp = vld1q_u16_x4(X);

    result.val[0] = vaddq_u16(temp.val[0], temp.val[1]);
    result.val[1] = vmulq_n_u16(temp.val[1], -2);
    result.val[2] = vaddq_u16(temp.val[2], temp.val[3]);
    result.val[3] = vmulq_n_u16(temp.val[3], -2);

    vst1q_u16_x4(resultArray, result);
}

void scenario2a(uint16x8x4_t* result, const uint16x8x4_t* temp) {

    result->val[0] = vextq_u16(temp->val[0], vmulq_n_u16(temp->val[1], -1), 2);
    result->val[1] = vextq_u16(temp->val[1], vmulq_n_u16(temp->val[2], -1), 2);
    result->val[2] = vextq_u16(temp->val[2], vmulq_n_u16(temp->val[3], -1), 2);
    result->val[3] = vextq_u16(temp->val[3], vmulq_n_u16(temp->val[0], -1), 2);
}

void scenario2b(uint16x8x4_t* result, const uint16x8x4_t* temp) {

    result->val[0] = vaddq_u16(temp->val[0], temp->val[1]);
    result->val[1] = vmulq_n_u16(temp->val[1], -2);
    result->val[2] = vaddq_u16(temp->val[2], temp->val[3]);
    result->val[3] = vmulq_n_u16(temp->val[3], -2);
}

int main(void) {

    uint16_t input[32] = {15,3,1,85,44,156,32,97,3,54,97,17,0,55,9,17,163,23,74,85,96,14,25,36,95,84,76,51,42,63,58,74};
    
    // Scenario 01: Input and output are uint16_t*
    uint16_t result01a[32];
    uint16_t result01_final[32];

    scenario1a(result01a, input);
    scenario1b(result01_final, result01a);

    // Scenario 02: Input and output are uint16x8x4_t

    uint16_t result02_final[32];
    uint16x8x4_t temp, result02a, result02b;

    temp = vld1q_u16_x4(input);

    scenario2a(&result02a, &temp);
    scenario2b(&result02b, &result02a);

    vst1q_u16_x4(result02_final, result02b);

    return 0;
}

拆卸:

test:     file format elf64-littleaarch64


Disassembly of section .init:

0000000000000658 <_init>:
 658:   a9bf7bfd    stp x29, x30, [sp, #-16]!
 65c:   910003fd    mov x29, sp
 660:   94000065    bl  7f4 <call_weak_fn>
 664:   a8c17bfd    ldp x29, x30, [sp], #16
 668:   d65f03c0    ret

Disassembly of section .plt:

0000000000000670 <.plt>:
 670:   a9bf7bf0    stp x16, x30, [sp, #-16]!
 674:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 678:   f947c611    ldr x17, [x16, #3976]
 67c:   913e2210    add x16, x16, #0xf88
 680:   d61f0220    br  x17
 684:   d503201f    nop
 688:   d503201f    nop
 68c:   d503201f    nop

0000000000000690 <__cxa_finalize@plt>:
 690:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 694:   f947ca11    ldr x17, [x16, #3984]
 698:   913e4210    add x16, x16, #0xf90
 69c:   d61f0220    br  x17

00000000000006a0 <__libc_start_main@plt>:
 6a0:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 6a4:   f947ce11    ldr x17, [x16, #3992]
 6a8:   913e6210    add x16, x16, #0xf98
 6ac:   d61f0220    br  x17

00000000000006b0 <__stack_chk_fail@plt>:
 6b0:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 6b4:   f947d211    ldr x17, [x16, #4000]
 6b8:   913e8210    add x16, x16, #0xfa0
 6bc:   d61f0220    br  x17

00000000000006c0 <__gmon_start__@plt>:
 6c0:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 6c4:   f947d611    ldr x17, [x16, #4008]
 6c8:   913ea210    add x16, x16, #0xfa8
 6cc:   d61f0220    br  x17

00000000000006d0 <abort@plt>:
 6d0:   90000090    adrp    x16, 10000 <__FRAME_END__ 0xf3d8>
 6d4:   f947da11    ldr x17, [x16, #4016]
 6d8:   913ec210    add x16, x16, #0xfb0
 6dc:   d61f0220    br  x17

Disassembly of section .text:

00000000000006e0 <main>:
 6e0:   90000085    adrp    x5, 10000 <__FRAME_END__ 0xf3d8>
 6e4:   a9a67bfd    stp x29, x30, [sp, #-416]!
 6e8:   910003fd    mov x29, sp
 6ec:   90000002    adrp    x2, 0 <_init-0x658>
 6f0:   91292042    add x2, x2, #0xa48
 6f4:   910263e3    add x3, sp, #0x98
 6f8:   910363e0    add x0, sp, #0xd8
 6fc:   6f008434    mvni    v20.8h, #0x1
 700:   f947f0a5    ldr x5, [x5, #4064]
 704:   aa0303e1    mov x1, x3
 708:   910143e4    add x4, sp, #0x50
 70c:   a940344c    ldp x12, x13, [x2]
 710:   a9412c4a    ldp x10, x11, [x2, #16]
 714:   f94000a6    ldr x6, [x5]
 718:   f900cfe6    str x6, [sp, #408]
 71c:   d2800006    mov x6, #0x0                    // #0
 720:   a9422448    ldp x8, x9, [x2, #32]
 724:   a9431c46    ldp x6, x7, [x2, #48]
 728:   910463e2    add x2, sp, #0x118
 72c:   a909b7ec    stp x12, x13, [sp, #152]
 730:   a90aafea    stp x10, x11, [sp, #168]
 734:   a90ba7e8    stp x8, x9, [sp, #184]
 738:   a90c9fe6    stp x6, x7, [sp, #200]
 73c:   94000069    bl  8e0 <scenario1a>
 740:   4c402400    ld1 {v0.8h-v3.8h}, [x0]
 744:   910043e1    add x1, sp, #0x10
 748:   aa0403e0    mov x0, x4
 74c:   4c402470    ld1 {v16.8h-v19.8h}, [x3]
 750:   4e619e85    mul v5.8h, v20.8h, v1.8h
 754:   4e608424    add v4.8h, v1.8h, v0.8h
 758:   4e628466    add v6.8h, v3.8h, v2.8h
 75c:   4e639e87    mul v7.8h, v20.8h, v3.8h
 760:   4c002030    st1 {v16.16b-v19.16b}, [x1]
 764:   4c002444    st1 {v4.8h-v7.8h}, [x2]
 768:   94000072    bl  930 <scenario2a>
 76c:   ad409885    ldp q5, q6, [x4, #16]
 770:   90000081    adrp    x1, 10000 <__FRAME_END__ 0xf3d8>
 774:   910563e2    add x2, sp, #0x158
 778:   3dc00c84    ldr q4, [x4, #48]
 77c:   3dc017e7    ldr q7, [sp, #80]
 780:   f947f021    ldr x1, [x1, #4064]
 784:   4e749c83    mul v3.8h, v4.8h, v20.8h
 788:   4e668482    add v2.8h, v4.8h, v6.8h
 78c:   4e749ca1    mul v1.8h, v5.8h, v20.8h
 790:   4e6784a0    add v0.8h, v5.8h, v7.8h
 794:   4c002440    st1 {v0.8h-v3.8h}, [x2]
 798:   f940cfe0    ldr x0, [sp, #408]
 79c:   f9400022    ldr x2, [x1]
 7a0:   eb020000    subs    x0, x0, x2
 7a4:   d2800002    mov x2, #0x0                    // #0
 7a8:   54000081    b.ne    7b8 <main 0xd8>  // b.any
 7ac:   52800000    mov w0, #0x0                    // #0
 7b0:   a8da7bfd    ldp x29, x30, [sp], #416
 7b4:   d65f03c0    ret
 7b8:   97ffffbe    bl  6b0 <__stack_chk_fail@plt>

00000000000007bc <_start>:
 7bc:   d280001d    mov x29, #0x0                       // #0
 7c0:   d280001e    mov x30, #0x0                       // #0
 7c4:   aa0003e5    mov x5, x0
 7c8:   f94003e1    ldr x1, [sp]
 7cc:   910023e2    add x2, sp, #0x8
 7d0:   910003e6    mov x6, sp
 7d4:   90000080    adrp    x0, 10000 <__FRAME_END__ 0xf3d8>
 7d8:   f947f800    ldr x0, [x0, #4080]
 7dc:   90000083    adrp    x3, 10000 <__FRAME_END__ 0xf3d8>
 7e0:   f947f463    ldr x3, [x3, #4072]
 7e4:   90000084    adrp    x4, 10000 <__FRAME_END__ 0xf3d8>
 7e8:   f947e084    ldr x4, [x4, #4032]
 7ec:   97ffffad    bl  6a0 <__libc_start_main@plt>
 7f0:   97ffffb8    bl  6d0 <abort@plt>

00000000000007f4 <call_weak_fn>:
 7f4:   90000080    adrp    x0, 10000 <__FRAME_END__ 0xf3d8>
 7f8:   f947ec00    ldr x0, [x0, #4056]
 7fc:   b4000040    cbz x0, 804 <call_weak_fn 0x10>
 800:   17ffffb0    b   6c0 <__gmon_start__@plt>
 804:   d65f03c0    ret
 808:   d503201f    nop
 80c:   d503201f    nop

0000000000000810 <deregister_tm_clones>:
 810:   b0000080    adrp    x0, 11000 <__data_start>
 814:   91004000    add x0, x0, #0x10
 818:   b0000081    adrp    x1, 11000 <__data_start>
 81c:   91004021    add x1, x1, #0x10
 820:   eb00003f    cmp x1, x0
 824:   540000c0    b.eq    83c <deregister_tm_clones 0x2c>  // b.none
 828:   90000081    adrp    x1, 10000 <__FRAME_END__ 0xf3d8>
 82c:   f947e421    ldr x1, [x1, #4040]
 830:   b4000061    cbz x1, 83c <deregister_tm_clones 0x2c>
 834:   aa0103f0    mov x16, x1
 838:   d61f0200    br  x16
 83c:   d65f03c0    ret

0000000000000840 <register_tm_clones>:
 840:   b0000080    adrp    x0, 11000 <__data_start>
 844:   91004000    add x0, x0, #0x10
 848:   b0000081    adrp    x1, 11000 <__data_start>
 84c:   91004021    add x1, x1, #0x10
 850:   cb000021    sub x1, x1, x0
 854:   d37ffc22    lsr x2, x1, #63
 858:   8b810c41    add x1, x2, x1, asr #3
 85c:   9341fc21    asr x1, x1, #1
 860:   b40000c1    cbz x1, 878 <register_tm_clones 0x38>
 864:   90000082    adrp    x2, 10000 <__FRAME_END__ 0xf3d8>
 868:   f947fc42    ldr x2, [x2, #4088]
 86c:   b4000062    cbz x2, 878 <register_tm_clones 0x38>
 870:   aa0203f0    mov x16, x2
 874:   d61f0200    br  x16
 878:   d65f03c0    ret
 87c:   d503201f    nop

0000000000000880 <__do_global_dtors_aux>:
 880:   a9be7bfd    stp x29, x30, [sp, #-32]!
 884:   910003fd    mov x29, sp
 888:   f9000bf3    str x19, [sp, #16]
 88c:   b0000093    adrp    x19, 11000 <__data_start>
 890:   39404260    ldrb    w0, [x19, #16]
 894:   35000140    cbnz    w0, 8bc <__do_global_dtors_aux 0x3c>
 898:   90000080    adrp    x0, 10000 <__FRAME_END__ 0xf3d8>
 89c:   f947e800    ldr x0, [x0, #4048]
 8a0:   b4000080    cbz x0, 8b0 <__do_global_dtors_aux 0x30>
 8a4:   b0000080    adrp    x0, 11000 <__data_start>
 8a8:   f9400400    ldr x0, [x0, #8]
 8ac:   97ffff79    bl  690 <__cxa_finalize@plt>
 8b0:   97ffffd8    bl  810 <deregister_tm_clones>
 8b4:   52800020    mov w0, #0x1                    // #1
 8b8:   39004260    strb    w0, [x19, #16]
 8bc:   f9400bf3    ldr x19, [sp, #16]
 8c0:   a8c27bfd    ldp x29, x30, [sp], #32
 8c4:   d65f03c0    ret
 8c8:   d503201f    nop
 8cc:   d503201f    nop

00000000000008d0 <frame_dummy>:
 8d0:   17ffffdc    b   840 <register_tm_clones>
 8d4:   d503201f    nop
 8d8:   d503201f    nop
 8dc:   d503201f    nop

00000000000008e0 <scenario1a>:
 8e0:   4c402420    ld1 {v0.8h-v3.8h}, [x1]
 8e4:   6e60b833    neg v19.8h, v1.8h
 8e8:   6e60b852    neg v18.8h, v2.8h
 8ec:   6e60b871    neg v17.8h, v3.8h
 8f0:   6e60b810    neg v16.8h, v0.8h
 8f4:   6e132004    ext v4.16b, v0.16b, v19.16b, #4
 8f8:   6e122025    ext v5.16b, v1.16b, v18.16b, #4
 8fc:   6e112046    ext v6.16b, v2.16b, v17.16b, #4
 900:   6e102067    ext v7.16b, v3.16b, v16.16b, #4
 904:   4c002404    st1 {v4.8h-v7.8h}, [x0]
 908:   d65f03c0    ret
 90c:   d503201f    nop

0000000000000910 <scenario1b>:
 910:   4c402420    ld1 {v0.8h-v3.8h}, [x1]
 914:   6f008430    mvni    v16.8h, #0x1
 918:   4e619e05    mul v5.8h, v16.8h, v1.8h
 91c:   4e608424    add v4.8h, v1.8h, v0.8h
 920:   4e628466    add v6.8h, v3.8h, v2.8h
 924:   4e639e07    mul v7.8h, v16.8h, v3.8h
 928:   4c002404    st1 {v4.8h-v7.8h}, [x0]
 92c:   d65f03c0    ret

0000000000000930 <scenario2a>:
 930:   ad400025    ldp q5, q0, [x1]
 934:   ad408423    ldp q3, q1, [x1, #16]
 938:   3dc00c24    ldr q4, [x1, #48]
 93c:   6e60b800    neg v0.8h, v0.8h
 940:   4ea11c22    mov v2.16b, v1.16b
 944:   6e60b821    neg v1.8h, v1.8h
 948:   6e0020a5    ext v5.16b, v5.16b, v0.16b, #4
 94c:   4ea41c80    mov v0.16b, v4.16b
 950:   6e60b884    neg v4.8h, v4.8h
 954:   6e012063    ext v3.16b, v3.16b, v1.16b, #4
 958:   3d800005    str q5, [x0]
 95c:   3dc00021    ldr q1, [x1]
 960:   6e042042    ext v2.16b, v2.16b, v4.16b, #4
 964:   ad008803    stp q3, q2, [x0, #16]
 968:   6e60b821    neg v1.8h, v1.8h
 96c:   6e012000    ext v0.16b, v0.16b, v1.16b, #4
 970:   3d800c00    str q0, [x0, #48]
 974:   d65f03c0    ret
 978:   d503201f    nop
 97c:   d503201f    nop

0000000000000980 <scenario2b>:
 980:   ad401022    ldp q2, q4, [x1]
 984:   6f008420    mvni    v0.8h, #0x1
 988:   ad410c21    ldp q1, q3, [x1, #32]
 98c:   4e609c85    mul v5.8h, v4.8h, v0.8h
 990:   4e648442    add v2.8h, v2.8h, v4.8h
 994:   4e609c60    mul v0.8h, v3.8h, v0.8h
 998:   4e638421    add v1.8h, v1.8h, v3.8h
 99c:   ad001402    stp q2, q5, [x0]
 9a0:   ad010001    stp q1, q0, [x0, #32]
 9a4:   d65f03c0    ret

00000000000009a8 <__libc_csu_init>:
 9a8:   a9bc7bfd    stp x29, x30, [sp, #-64]!
 9ac:   910003fd    mov x29, sp
 9b0:   a90153f3    stp x19, x20, [sp, #16]
 9b4:   90000094    adrp    x20, 10000 <__FRAME_END__ 0xf3d8>
 9b8:   9135c294    add x20, x20, #0xd70
 9bc:   a9025bf5    stp x21, x22, [sp, #32]
 9c0:   90000095    adrp    x21, 10000 <__FRAME_END__ 0xf3d8>
 9c4:   9135a2b5    add x21, x21, #0xd68
 9c8:   cb150294    sub x20, x20, x21
 9cc:   2a0003f6    mov w22, w0
 9d0:   a90363f7    stp x23, x24, [sp, #48]
 9d4:   aa0103f7    mov x23, x1
 9d8:   aa0203f8    mov x24, x2
 9dc:   97ffff1f    bl  658 <_init>
 9e0:   eb940fff    cmp xzr, x20, asr #3
 9e4:   54000160    b.eq    a10 <__libc_csu_init 0x68>  // b.none
 9e8:   9343fe94    asr x20, x20, #3
 9ec:   d2800013    mov x19, #0x0                       // #0
 9f0:   f8737aa3    ldr x3, [x21, x19, lsl #3]
 9f4:   aa1803e2    mov x2, x24
 9f8:   91000673    add x19, x19, #0x1
 9fc:   aa1703e1    mov x1, x23
 a00:   2a1603e0    mov w0, w22
 a04:   d63f0060    blr x3
 a08:   eb13029f    cmp x20, x19
 a0c:   54ffff21    b.ne    9f0 <__libc_csu_init 0x48>  // b.any
 a10:   a94153f3    ldp x19, x20, [sp, #16]
 a14:   a9425bf5    ldp x21, x22, [sp, #32]
 a18:   a94363f7    ldp x23, x24, [sp, #48]
 a1c:   a8c47bfd    ldp x29, x30, [sp], #64
 a20:   d65f03c0    ret
 a24:   d503201f    nop

0000000000000a28 <__libc_csu_fini>:
 a28:   d65f03c0    ret

Disassembly of section .fini:

0000000000000a2c <_fini>:
 a2c:   a9bf7bfd    stp x29, x30, [sp, #-16]!
 a30:   910003fd    mov x29, sp
 a34:   a8c17bfd    ldp x29, x30, [sp], #16
 a38:   d65f03c0    ret

問題

  1. 通常人們從指標加載資料(使用vld1q_u16_x4),使用 Neon 資料型別進行操作,然后存盤回另一個指標(使用vst1q_u16_x4),并且不要使用我在場景 2 中使用的方法(將 Neon 資料型別作為輸入發送) /輸出)。有一個普遍的原因嗎?

  2. 我檢查了場景 1a(從 line 開始8e0)與場景 2a(從 line 開始)的反匯編930似乎場景 2a 有更多的資料移動。這會在所有情況下發生嗎?那么按照我在問題 1 中提出的要求更快嗎?如果是這樣,那么為什么這在場景 1b 和 2b 中不會發生(分別是行910980)。

  3. 在 main 函式中,在 Scenario1a 和 2a 之后都有一些 add/mul(在 和 行中750,754,758,75c784,788,78c,790,但我的 main 函式沒有乘法或加法。為什么會這樣?(我只是好奇)

謝謝你的幫助!

uj5u.com熱心網友回復:

  1. 絕對沒有理由使用指向霓虹燈資料型別的指標作為引數。記憶體不關心資料型別。編譯器非常保守和官僚主義,他們必須這樣做。這就像向當局提交申請:一個錯誤的復選標記,您的申請將落入錯誤的手中,造成巨大的不必要的麻煩。
    簡短:保持簡單。不要試圖以任何方式給編譯器或審閱者留下深刻印象。

  2. 上次我告訴過你要明確記憶體加載和存盤您在方案 2 中直接從/到記憶體進行計算。永遠不要這樣做。堅持加載->計算->存盤。區域變數是你最好的朋友。__restrict指令可能會有所幫助)
    同樣,不要試圖給編譯器或審閱者留下深刻印象。您的方案 2 只是自找麻煩。一場徹頭徹尾的災難。如果您幸運并且沒有立即被解雇,審閱者將立即舉起紅旗,并密切關注您和您的所有代碼。

  3. 您不應該將被呼叫者與呼叫者放在同一個檔案中。通常,呼叫者會行內短的非靜態被呼叫者,這使得分析更加困難。

轉載請註明出處,本文鏈接:https://www.uj5u.com/shujuku/527629.html

標籤:C部件手臂simd氖

上一篇:MASM32。我不明白為什么當我運行程式時第一個x等于5而不是一個

下一篇:x64fastcall呼叫堆疊管理

標籤雲
其他(157675) Python(38076) JavaScript(25376) Java(17977) C(15215) 區塊鏈(8255) C#(7972) AI(7469) 爪哇(7425) MySQL(7132) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5869) 数组(5741) R(5409) Linux(5327) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4554) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2429) ASP.NET(2402) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) 功能(1967) .NET技术(1958) Web開發(1951) python-3.x(1918) HtmlCss(1915) 弹簧靴(1913) C++(1909) xml(1889) PostgreSQL(1872) .NETCore(1853) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀:**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題,由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視,實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶,一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀:**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高,采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐,遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀:**滴滴資料通道引擎承載著全公司的資料同步,為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加,資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程,遇到的問題以及今后的規劃。 #1. 背景 資料,對于任何一家互聯網公司來說都是非常重要的資產,公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀:**深耕人工智能領域,致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎,這次獲獎的專案是什么呢?一起來看看詳細報道吧! 近日,由國際計算語言學協會ACL(The Association for Computational Linguistics)舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp? MPP (Massively Parallel Processing),即大規模并行處理,在資料庫非共享集群中,每個節點都有獨立的磁盤存盤系統和記憶體系統,業務資料根據資料庫模型和應用特點劃分到各個節點上,每臺資料節點通過專用網路或者商業通用網路互相連接,彼此協同計算,作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀:**指標體系是什么?如何使用OSM模型和AARRR模型搭建指標體系?如何統一流程、規范化、工具化管理指標體系?本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標,系統化的組織起來,通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索,LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料,可以使用下面的 SQL 陳述句: SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀:**Ceph是國際知名的開源分布式存盤系統,在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統, ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章,這一次主要寫一個嵌套的聚合,例如先對sex集合,再對desc聚合,最后再對age求和,共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by,avg,sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack(ELK)部署

    傻瓜式部署,只需替換IP與用戶 導讀: 現ELK四大組件分別為:Elasticsearch(核心)、logstash(處理)、filebeat(采集)、kibana(可視化) 下載均在https://www.elastic.co/cn/downloads/下tar包,各組件版本最好一致,配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:33:24 more
  • MySQL中binlog備份腳本分享

    關于MySQL的二進制日志(binlog),我們都知道二進制日志(binlog)非常重要,尤其當你需要point to point災難恢復的時侯,所以我們要對其進行備份。關于二進制日志(binlog)的備份,可以基于flush logs方式先切換binlog,然后拷貝&壓縮到到遠程服務器或本地服務器 ......

    uj5u.com 2023-04-20 08:28:06 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:27:27 more
  • 快取與資料庫雙寫一致性幾種策略分析

    本文將對幾種快取與資料庫保證資料一致性的使用方式進行分析。為保證高并發性能,以下分析場景不考慮執行的原子性及加鎖等強一致性要求的場景,僅追求最終一致性。 ......

    uj5u.com 2023-04-20 08:26:48 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:26:35 more
  • 云時代,MySQL到ClickHouse資料同步產品對比推薦

    ClickHouse 在執行分析查詢時的速度優勢很好的彌補了MySQL的不足,但是對于很多開發者和DBA來說,如何將MySQL穩定、高效、簡單的同步到 ClickHouse 卻很困難。本文對比了 NineData、MaterializeMySQL(ClickHouse自帶)、Bifrost 三款產品... ......

    uj5u.com 2023-04-20 08:26:29 more
  • sql陳述句優化

    問題查找及措施 問題查找 需要找到具體的代碼,對其進行一對一優化,而非一直把關注點放在服務器和sql平臺 降低簡化每個事務中處理的問題,盡量不要讓一個事務拖太長的時間 例如檔案上傳時,應將檔案上傳這一步放在事務外面 微軟建議 4.啟動sql定時執行計劃 怎么啟動sqlserver代理服務-百度經驗 ......

    uj5u.com 2023-04-20 08:25:13 more
  • Redis 報”OutOfDirectMemoryError“(堆外記憶體溢位)

    Redis 報錯“OutOfDirectMemoryError(堆外記憶體溢位) ”問題如下: 一、報錯資訊: 使用 Redis 的業務介面 ,產生 OutOfDirectMemoryError(堆外記憶體溢位),如圖: 格式化后的報錯資訊: { "timestamp": "2023-04-17 22: ......

    uj5u.com 2023-04-20 08:24:54 more
  • day02-2-商鋪查詢快取

    功能02-商鋪查詢快取 3.商鋪詳情快取查詢 3.1什么是快取? 快取就是資料交換的緩沖區(稱作Cache),是存盤資料的臨時地方,一般讀寫性能較高。 快取的作用: 降低后端負載 提高讀寫效率,降低回應時間 快取的成本: 資料一致性成本 代碼維護成本 運維成本 3.2需求說明 如下,當我們點擊商店詳 ......

    uj5u.com 2023-04-20 08:24:03 more
  • day02-短信登錄

    功能實作02 2.功能01-短信登錄 2.1基于Session實作登錄 2.1.1思路分析 2.1.2代碼實作 2.1.2.1發送短信驗證碼 發送短信驗證碼: 發送驗證碼的介面為:http://127.0.0.1:8080/api/user/code?phone=xxxxx<手機號> 請求方式:PO ......

    uj5u.com 2023-04-20 08:23:11 more