之前的文章中,我們已經為大家介紹了 [ChengYing](https://github.com/DTStack/chengying) 的安裝原理、產品包制作、產品線部署等內容,本篇將和大家介紹一個困擾許多開發者的內容——ChengYing 主機接入。幫助所有對 ChengYing 感興趣的開發者更 ......
2023-07-11 more摘要:7月8日,華為開發者大會2023(Cloud)華為云河圖KooMap技術分論壇在東莞溪村順利舉辦。 7月8日,華為開發者大會2023(Cloud)華為云河圖KooMap技術分論壇在東莞溪村順利舉辦。本次分論壇以“夯實數字孿生底座,點燃燎原星火”為主題,邀請了來自華為的技術專家和產學研領域的行業 ......
2023-07-10 more![file](https://img2023.cnblogs.com/other/2685289/202307/2685289-20230707145108418-723743542.png) 截至今天,Apache DolphinScheduler 專案在 GitHub 上的 Star 數已突破 ......
2023-07-08 moreOTA(Over-The-Air,空中下載技術),是汽車使用的一種遠程無線升級技術。車主只要保持聯網的狀態,汽車就可以像手機一樣進行系統升級。OTA升級最大的好處是,不管對車輛進行常規的升級還是大面積出現軟體問題需要修復,都可以通過OTA來解決。 資料顯示,2022年中國乘用車OTA裝配量達到765 ......
2023-07-07 more# Shuffle的深入理解 什么是Shuffle,本意為洗牌,在資料處理領域里面,意為將數打散。 問題:shuffle一定有網路傳輸嗎?有網路傳輸的一定是Shuffle嗎? ## Shuffle的概念 通過網路將資料傳輸到多臺機器,資料被打散,但是有網路傳輸,不一定就有shuffle,Shuffl ......
2023-07-06 more隨著業務的發展,[實時場景](https://www.dtstack.com/dtinsight/streamworks?src=https://www.cnblogs.com/DTinsight/p/szsm)在各個?業中變得越來越重要。?論是?融、電商還是物流,實時資料處理都成為了其中的關鍵環節。Flink 憑借其強?的[流處理特性](https://www.dts ......
2023-07-06 more文章中包含我所遇到的錯誤,進行了HDFS錯誤整改,以及后面有操作創建“遠程客戶端操作hdfs創建檔案夾”,驗證環境是否配置成功的程序。 ......
2023-07-05 more# RDD的Transformation算子 ## map map算子的功能為做映射,即將原來的RDD中對應的每一個元素,應用外部傳入的函式進行運算,回傳一個新的RDD ```Scala val rdd1: RDD[Int] = sc.parallelize(List(1,2,3,4,5,6,7,8 ......
2023-07-02 more> 你準備好面試了嗎?這里有一些面試中可能會問到的問題以及相對應的答案。如果你需要更多的面試經驗和面試題,關注一下"張飛的豬大資料分享"吧,公眾號會不定時的分享相關的知識和資料。 [TOC] ## 1、談談Hadoop序列化和反序列化及自定義bean物件實作序列化? 1)序列化和反序列化 (1)序列 ......
2023-07-01 more都在說資料已經成為新時代的生產資料。 但隨著大資料和人工智能等技術的發展,即便人們都知道資料的價值日益凸顯,卻無法憑借一己之力獲取和分析如此大規模的資料。 要想富,先修路。要想利用新時代的資料致富,也必須要有趁手的工具。只有合適的工具才能完成大規模資料的采集、清洗、存盤、處理和可視化等各個環節。只有 ......
2023-07-01 more在平時和開發者們交流的程序中,發現許多開發朋友尤其是新入門 [Taier](https://github.com/DTStack/Taier) 的開發者,對于本地除錯都有著諸多的不理解和問題。本文就大家平時問的最多的三個問題,服務編譯,配置&本地運行,如何在 Taier 運行 [Flink-stan ......
2023-07-01 more# 使用PySpark ## 配置python環境 在所有節點上按照python3,版本必須是python3.6及以上版本 ```Shell yum install -y python3 ``` 修改所有節點的環境變數 ```Shell export JAVA_HOME=/usr/local/jdk ......
2023-06-30 more![file](https://img2023.cnblogs.com/other/2685289/202306/2685289-20230629181452343-550852462.png) 作者|云科NearFar X Lab團隊 左益、周志銀、洪守偉、陳超、武超 ## 一、導讀 無錫拈花云科 ......
2023-06-30 morehive的高級分組聚合是指在聚合時使用GROUPING SETS、CUBE和ROLLUP的分組聚合。 高級分組聚合在很多資料庫類SQL中都有出現,并非hive獨有,這里只說明hive中的情況。 使用高級分組聚合不僅可以簡化SQL陳述句,而且通常情況下會提升SQL陳述句的性能。 ## 1.Grouping ......
2023-06-30 more摘要:本期結合示例,詳細介紹華為云數字工廠平臺的資料分析模型和資料圖表視圖模型的配置用法。 本文分享自華為云社區《數字工廠深入淺出系列(六):資料分析與圖表視圖模型的配置用法》,作者:云起MAE 。 華為云數字工廠平臺基于“資料與業務一體化”理念,提供統一的制造全域資料平臺底座,內置輕量級制造資料分 ......
2023-06-30 more時下,眾多金融機構在積極推行數字化改革,以適應時代高速革新。為回應市場對資訊即時生效的迫切需求,各家[券商機構](https://www.dtstack.com/solution/securities?src=https://www.cnblogs.com/DTinsight/p/szsm)都需要更具競爭力的資訊服務。 本次方案結合券商場景與業務實踐,圍繞客戶實際面臨的 ......
2023-06-30 more衛健行業是關乎國家和民生安全的關鍵行業。近年來,云計算、大資料、人工智能等技術不斷發展,并與醫療行業深入融合。同時,相關部門相繼頒發一系列政策,進一步推動醫療行業數字化、智慧化轉型,促進探索健康中國高質量發展道路。 ......
2023-06-30 more# StandAlone模式環境搭建 環境準備:三臺Linux,一個安裝Master,其他兩臺機器安裝Worker ![image](https://img2023.cnblogs.com/blog/1742816/202306/1742816-20230627212426287-907092698 ......
2023-06-28 more采訪嘉賓 | 郭煒、高俊 編輯 | Tina 北京時間 2023 年 6 月 1 日,全球最大的開源軟體基金會 Apache Software Foundation(以下簡稱 ASF)正式宣布 Apache SeaTunnel 畢業成為 Apache 頂級專案 (TLP, Top Level Pro ......
2023-06-28 moreMetric 是 Datavines 中一個核心概念,一個 Metric 表示一個資料質量檢查規則,比如空值檢查和表行數檢查都是一個規則。Metric 采用插件化設計,用戶可以根據自己的需求來實作一個 Metric。下面我們來詳細講解一下如何自定義`Metric`。 ### 第一步 我們先了解下幾個 ......
2023-06-27 more![file](https://img2023.cnblogs.com/other/2685289/202306/2685289-20230626191342850-513894679.png) 大家好我是張金明,在蔚來汽車擔任大資料平臺研發工程師。這次和大家分享的是 Apache DolphinS ......
2023-06-27 more![file](https://img2023.cnblogs.com/other/3195851/202306/3195851-20230626190205684-2107268424.jpg) 作者 | 劉廣東,Apache SeaTunnel Committer ## 背景 目前,現有的圖書搜 ......
2023-06-27 more本文分析Program.cs 中Main()函式中代碼的運行順序分析asp.net core程式的啟動,重點不是剖析原始碼,而是理清程式開始時執行的順序。到呼叫了哪些實體,哪些法方。asp.net core 3.1 的程式入口在專案Program.cs檔案里,如下。ususing System; us ......
uj5u.com 2020-09-09 22:07:49 more最近被websocket的一個問題困擾了很久,有一個需求是在web網站中搭建websocket服務。客戶端通過網頁與服務器建立連接,然后服務器根據ip給客戶端網頁發送資訊。 其實,這個需求并不難,只是剛開始對websocket的內容不太了解。上網搜索了一下,有通過asp.net core 實作的、有 ......
uj5u.com 2020-09-09 22:08:02 moreMagicodes.IE在Docker中使用 更新歷史 2019.02.13 【Nuget】版本更新到2.0.2 【匯入】修復單列匯入的Bug,單元測驗“OneColumnImporter_Test”。問題見(https://github.com/dotnetcore/Magicodes.IE/is ......
uj5u.com 2020-09-09 22:08:05 more如果你用過Asp.net webform, 說明你也算是.NET 開發的老兵了。WEBform應該是2011 2013左右,當時還用visual studio 2005、 visual studio 2008。后來基本都用的是MVC。 如果是新開發的專案,估計沒人會用webform技術。但是有些舊版 ......
uj5u.com 2020-09-09 22:08:50 more今天在iis服務器配置asp.net網站,遇到一個問題,記錄一下: 問題:由于擴展配置問題而無法提供您請求的頁面。如果該頁面是腳本,請添加處理程式。如果應下載檔案,請添加 MIME 映射。 WindowServer2012服務器,添加角色安裝完.netframework和iis之后,運行aspx頁面 ......
uj5u.com 2020-09-09 22:10:00 more帶著問題去思考,大家好! 問題1:HTTP請求和回傳相應的HTTP回應資訊之間發生了什么? 1:首先是最底層,托管層,位于WebAPI和底層HTTP堆疊之間 2:其次是 訊息處理程式管道層,這里比如日志和快取。OWIN的參考是將訊息處理程式管道的一些功能下移到堆疊下端的OWIN中間件了。 3:控制器處理 ......
uj5u.com 2020-09-09 22:11:13 more微信門戶應用管理系統,采用基于 MVC + Bootstrap + Ajax + Enterprise Library的技術路線,界面層采用Boostrap + Metronic組合的前端框架,資料訪問層支持Oracle、SQLServer、MySQL、PostgreSQL等資料庫。框架以MVC5,... ......
uj5u.com 2020-09-09 22:15:18 more帶著問題去思考,大家好!它是什么?它包含什么?它能干什么? 訊息 HTTP編程模型的核心就是訊息抽象,表示為:HttPRequestMessage,HttpResponseMessage.用于客戶端和服務端之間交換請求和回應訊息。 HttpMethod類包含了一組靜態屬性: private stat ......
uj5u.com 2020-09-09 22:15:23 more一、跨域 NuGet參考Microsoft.AspNet.WebApi.Cors WebApiConfig.cs中配置: // Web API 配置和服務 config.EnableCors(new EnableCorsAttribute("*", "*", "*")); 二、清除默認回傳XML格式 ......
uj5u.com 2020-09-09 22:15:48 moreTLDR: 視頻分割一直是重標注的一個task,這篇CVPR 2023文章研究了完全不需要標注的視頻物體分割。僅使用ResNet,RCF模型在DAVIS16/STv2/FBMS59上提升了7/9/5%。文章里還提出了不需要標注的調參方法。代碼已公開可用。 Paper title: Bootstrap ......
uj5u.com 2023-07-13 08:55:13 moreChatGPT 是一種強大的自然語言處理模型。在作業中,我們可以借助其卓越的自然語言生成能力,快速檢索代碼資訊,使程式員們能更加專注于業務邏輯的實作和優化。然而,由于它的知識庫僅覆寫至 2021 年 9 月前的資訊,一些新的技術檔案無法被查詢到,例如我們公司前端經常使用的開源框架 TDesign。本... ......
uj5u.com 2023-07-13 08:54:46 moreChatGPT 是一種強大的自然語言處理模型。在作業中,我們可以借助其卓越的自然語言生成能力,快速檢索代碼資訊,使程式員們能更加專注于業務邏輯的實作和優化。然而,由于它的知識庫僅覆寫至 2021 年 9 月前的資訊,一些新的技術檔案無法被查詢到,例如我們公司前端經常使用的開源框架 TDesign。本... ......
uj5u.com 2023-07-13 08:48:40 more學習數字信號處理演算法時整理的學習筆記。本篇介紹 VSB 殘留邊帶調幅信號的調制與解調,內附全套 MATLAB 代碼。 ......
uj5u.com 2023-07-13 08:46:20 more一、簡介: Eureka是由Netflix公司開源的一款提供服務注冊和發現的產品。因此,在添加依賴時,會有NetFlix。 該組件管理各種的服務功能:注冊、 發現、熔斷、負載、降級等。 Eureka采用的是基于C/S的設計架構。 Eureka由兩部分組成(Server/Client):Eureka服 ......
uj5u.com 2023-07-13 08:46:06 more# Python中實作定時任務 在專案中,我們可能遇到有定時任務的需求。 - 其一:每隔一個時間段就執行任務。 比如:壓測中每隔45分鐘調整溫箱的溫度。 - 其二:定時執行任務。 例如每天早上 8 點定時推送早報。 今天,我跟大家分享下 Python 定時任務的實作方法。 ## 固定時間間隔執行任務 ......
uj5u.com 2023-07-13 08:45:57 more# Python中實作定時任務 在專案中,我們可能遇到有定時任務的需求。 - 其一:每隔一個時間段就執行任務。 比如:壓測中每隔45分鐘調整溫箱的溫度。 - 其二:定時執行任務。 例如每天早上 8 點定時推送早報。 今天,我跟大家分享下 Python 定時任務的實作方法。 ## 固定時間間隔執行任務 ......
uj5u.com 2023-07-13 08:45:20 more一、簡介: Eureka是由Netflix公司開源的一款提供服務注冊和發現的產品。因此,在添加依賴時,會有NetFlix。 該組件管理各種的服務功能:注冊、 發現、熔斷、負載、降級等。 Eureka采用的是基于C/S的設計架構。 Eureka由兩部分組成(Server/Client):Eureka服 ......
uj5u.com 2023-07-13 08:39:42 more<a href="https://www.cnblogs.com/pandefu/" target="_blank"><img width="48" height="48" class="pfs" src="https://pic.cnblogs.com/face/1630815/20190315181946.png" alt="" /><...
uj5u.com 2023-07-13 08:37:03 more## 引言 在C#中,讓執行緒同步有兩種方式: - 鎖(lock、Monitor) - 信號量(EventWaitHandle、Semaphore、Mutex) 執行緒鎖的原理,就是鎖住一個資源,使得應用程式在此刻只有一個執行緒訪問該資源。通俗地講,就是讓多執行緒變成單執行緒。在C#中,可以將被鎖定的資源理解 ......
uj5u.com 2023-07-13 08:36:31 more