最近在研究OLAP相關的技術，正好看到Google 2014年的論文《Mesa: Geo-Replicated, Near RealTime, Scalable Data Warehousing》，以及百度最近2017年開源的基于Mesa+Impala的實作系統PALO，本篇就嘗試結合起來看下二者，主要是學習介紹性質的文章。1. MesaMesa是一個Google內部使用的資料倉庫系統，從論文的標題可以抓住幾個關鍵詞：可實作跨DC復制的、近實時的、可擴展的。這幾點算是Mesa的特色所在，同時和....
2020-10-02 more.NET Core 中使用 EF Core For PGSQL開發環境：系統：win10 家庭普通版開發工具：VS2019 社區版目標框架：DotNet Core 3.1前言本文介紹在.NET Core專案中使用EF Core（ORM框架 又叫 物件和關系的映射器）針對于PG（PostgreSQL）資料庫的增刪查改的操作。1準備專案在vs中創建一個ASP.NET Core的專案，并NuGet程式包管理器中安裝以下程式包Npgsql.EntityFrameworkCore.PostgreSQ...
2020-10-02 more匯入操作（本次示例是多個資料泵檔案的匯入COSPACE.DMP、WISDOMGOV.DMP）0、資料庫登陸plsql 使用sys賬號，as sysdba身份登錄orcl實體；1、在被匯入的資料庫創建操作目錄1.1、在E盤根目錄下創建dump檔案夾(將資料泵檔案都放到此目錄(e:\dump)下)1.2、用系統管理員登錄資料庫，在SQL執行器中執行如下命令create directory dump_dir as 'e:\dump';2、創建表空間(sql執行器中執行如下命令....
2020-10-02 morePostgreSQL 13 實作了 FETCH FIRST 子句的 WITH TIES 選項，可以用于回傳更多排名相同的資料行。...
2020-10-02 more背景作為前端工程師的我們，可能不懂PHP、Java等語言，但也想創建自己的服務，那么Node.js是一個非常好的選擇。而在學習或者使用Node.js的時候，不免會與MySQL等資料庫進行連接互動。而筆者在學習Node之前，使用過ThinkPHP5，其中內置的DB類讓我半吊子“后端”用起來十分舒服，其中的鏈式呼叫更是方便無比。那么此文，我們也嘗試著去封裝一個DB類，畢竟手寫SQL太容易出現錯誤辣。明確需求這個環節有點像PM跟我們闡述一個功能需求。假設已經存在這么一個類，我們希望這個類是如何為我所用的...
2020-10-02 more一、MySQL5.7對比5.6的優勢1.安全性2.靈活性4.易用性5.可用性6.性能優勢7.默認引數的改變8.安裝不同二、MySQL 5.6 的安裝步驟1.查看并解壓原始碼包2.安裝環境3.CMAKE編譯并安裝4.配置my.cnf和啟動腳本5.添加環境變數6.創建程式賬號，并授權7.初始化MySQL配置8.開啟資料庫，并設定密碼登入一、MySQL5.7對比5.6的優勢1.安全性用戶表 mysql.user 的 plugin欄位不允許為空， 默認值是 mysql_native_password，而不是 ....
2020-10-02 moreint[] arr = { 30, 12, 56, 78, 12125, 56, 44, 212, 45, 787, 21, 22, 56, 65 }; //待排序陣列 for (int i = 1; i < arr.Length; i++) { int a = arr[i]; //首先記住這個預備要插入的數 int b = i - 1; //找出它前一個數的下......
2020-10-02 more實作一對一，一對多查詢三個重點：1.resultmap 2.動態Sql 3.關聯查詢創建工程，配置環境使用的工具是idea和MySQL，還有資料庫的圖形界面工具sqlyog,maven環境已經搭好前提下idea創建工程 maven.xxx.quickstart，添加模組maven.xxx.webapp，在對應pom.xml檔案（小的）下<build></build> 標簽和內容可以洗掉，因為maven已經自帶了編譯的功能不需要這個。配置環境，在對應pom.xml的&l...
2020-10-02 moreSELECT ... INTO OUTFILE ...使用該陳述句將資料表的資料以特定格式匯出到本機。該方式需要登錄 mysql 客戶端才可以執行。注意：這種方式只能將表的記錄匯出到服務器所在機器，不能在遠程連接的情況下匯出到本地！！！也就是說，下面的 filepath 應該是 MySQL 所在的機器的路徑。語法格式：SELECT <columnlist> FROM <table_name> WHERE conditionINTO OUTFILE <file....
2020-10-02 more**?桔妹導讀：**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題，由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視，實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶，一 ......
uj5u.com 2020-09-10 06:09:13 more**?桔妹導讀：**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高，采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐，遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......
uj5u.com 2020-09-10 06:10:21 more**?桔妹導讀：**滴滴資料通道引擎承載著全公司的資料同步，為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加，資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程，遇到的問題以及今后的規劃。 #1. 背景 資料，對于任何一家互聯網公司來說都是非常重要的資產，公司的大資料 ......
uj5u.com 2020-09-10 06:11:05 more**桔妹導讀：**深耕人工智能領域，致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎，這次獲獎的專案是什么呢？一起來看看詳細報道吧！ 近日，由國際計算語言學協會ACL（The Association for Computational Linguistics）舉辦的世界最具影響力的機器 ......
uj5u.com 2020-09-10 06:11:29 more1、什么是mpp？ MPP (Massively Parallel Processing)，即大規模并行處理，在資料庫非共享集群中，每個節點都有獨立的磁盤存盤系統和記憶體系統，業務資料根據資料庫模型和應用特點劃分到各個節點上，每臺資料節點通過專用網路或者商業通用網路互相連接，彼此協同計算，作為整體提供 ......
uj5u.com 2020-09-10 06:11:41 more**桔妹導讀：**指標體系是什么？如何使用OSM模型和AARRR模型搭建指標體系？如何統一流程、規范化、工具化管理指標體系？本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標，系統化的組織起來，通 ......
uj5u.com 2020-09-10 06:12:52 more我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索，LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料，可以使用下面的 SQL 陳述句： SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......
uj5u.com 2020-09-10 06:13:25 more**桔妹導讀：**Ceph是國際知名的開源分布式存盤系統，在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統， ......
uj5u.com 2020-09-10 06:14:51 more之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章，這一次主要寫一個嵌套的聚合，例如先對sex集合，再對desc聚合，最后再對age求和，共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by，avg，sum等函式,Aggregation ......
uj5u.com 2020-09-10 06:14:59 more傻瓜式部署，只需替換IP與用戶 導讀： 現ELK四大組件分別為：Elasticsearch（核心）、logstash（處理）、filebeat（采集）、kibana（可視化） 下載均在https://www.elastic.co/cn/downloads/下tar包，各組件版本最好一致，配合fdm會 ......
uj5u.com 2020-09-10 06:15:05 moreMysql復習的一個小總結，用xmind寫的。（字數沒有都不給我發博客😹） 下面是一些備注 子查詢 MySQL子查詢稱為內部查詢，而包含子查詢的查詢稱為外部查詢。 子查詢可以在使用運算式的任何地方使用，并且必須在括號中關閉。 視圖 基本語法可以使用 CREATE VIEW 陳述句來創建視圖。 語法格 ......
uj5u.com 2022-05-09 07:13:07 more?大資料概述 在大資料這個概念興起之前，資訊系統存盤資料的方法主要是我們熟知的關系型資料庫，關系型資料庫，關系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上發表了《大型共享資料庫資料的關系模型》的經典論文，從此之后關系模型的語意設計達到了 4 ......
uj5u.com 2022-05-09 07:13:01 more一、下載安裝IDEA IDEA2020.2.3版本：https://www.cnblogs.com/liugp/p/13868346.html 最新版本安裝詳情請參考：https://www.jb51.net/article/196349.htm 二、搭建本地hadoop環境（window10） 可 ......
uj5u.com 2022-05-09 07:12:17 moreMySQL8新增降序索引 桃花塢里桃花庵，桃花庵里桃花仙。桃花仙人種桃樹，又摘桃花賣酒錢。 一、MySQL5.7 降序索引 MySQL在語法上很早就已經支持降序索引，但實際上創建的卻仍然是升序索引，如下MySQL 5.7 所示，row2欄位降序，但是從show create table看 row2 ......
uj5u.com 2022-05-09 07:11:36 moreLinux環境下，MySQL的主要目錄及其作用、資料庫和資料表在檔案系統上的存盤結構。 ......
uj5u.com 2022-05-09 07:11:28 moreMysql復習的一個小總結，用xmind寫的。（字數沒有都不給我發博客😹） 下面是一些備注 子查詢 MySQL子查詢稱為內部查詢，而包含子查詢的查詢稱為外部查詢。 子查詢可以在使用運算式的任何地方使用，并且必須在括號中關閉。 視圖 基本語法可以使用 CREATE VIEW 陳述句來創建視圖。 語法格 ......
uj5u.com 2022-05-09 07:10:34 moreMySQL8新增降序索引 桃花塢里桃花庵，桃花庵里桃花仙。桃花仙人種桃樹，又摘桃花賣酒錢。 一、MySQL5.7 降序索引 MySQL在語法上很早就已經支持降序索引，但實際上創建的卻仍然是升序索引，如下MySQL 5.7 所示，row2欄位降序，但是從show create table看 row2 ......
uj5u.com 2022-05-09 07:10:25 moreLinux環境下，MySQL的主要目錄及其作用、資料庫和資料表在檔案系統上的存盤結構。 ......
uj5u.com 2022-05-09 07:10:19 more?大資料概述 在大資料這個概念興起之前，資訊系統存盤資料的方法主要是我們熟知的關系型資料庫，關系型資料庫，關系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上發表了《大型共享資料庫資料的關系模型》的經典論文，從此之后關系模型的語意設計達到了 4 ......
uj5u.com 2022-05-09 07:10:05 more一、下載安裝IDEA IDEA2020.2.3版本：https://www.cnblogs.com/liugp/p/13868346.html 最新版本安裝詳情請參考：https://www.jb51.net/article/196349.htm 二、搭建本地hadoop環境（window10） 可 ......
uj5u.com 2022-05-09 07:09:25 more