主頁 >  其他 > 將錯誤從catch塊記錄到Cosmosdb-spark

將錯誤從catch塊記錄到Cosmosdb-spark

2021-10-16 16:13:14 其他

目標:- 使用“get”api 呼叫從 S3 存盤桶中檢索物件,將檢索到的物件寫入 azure 資料湖,并在出現 404s(未找到物件)等錯誤時將錯誤訊息寫入 Cosmos DB

“my_dataframe”由一列 (s3ObjectName) 組成,物件名稱如下:-

s3 物件名稱
a1.json
b2.json
c3.json
d4.json
e5.json
//retry function that writes cosmos error in event of failure
def retry[T](n: Int)(fn: => T): T = {
  Try {
    return fn
  } match {
    case Success(x) => x
    case Failure(t: Throwable) => {
      Thread.sleep(1000)
      if (n > 1) {
        retry(n - 1)(fn)    
      } else {
        val loggerDf = Seq((t.toString)).toDF("Description")
           .withColumn("Type", lit("Failure"))
           .withColumn("id", uuid())
         loggerDf.write.format("cosmos.oltp").options(ExceptionCfg).mode("APPEND").save()
        throw t
      }
    }
  }
}
 
//execute s3 get api call
my_dataframe.rdd.foreachPartition(partition => {
        val creds = new BasicAWSCredentials(AccessKey, SecretKey)
        val clientRegion: Regions = Regions.US_EAST_1
        val s3client  = AmazonS3ClientBuilder.standard()
        .withRegion(clientRegion)
        .withCredentials(new AWSStaticCredentialsProvider(creds))
        .build()
          partition.foreach(x => {
            retry (2) {
            val objectKey = x.getString(0)
            val i = s3client.getObject(s3bucket_name, objectKey).getObjectContent
            val inputS3String = IOUtils.toString(i, "UTF-8")
            val filePath = s"${data_lake_file_path}"
            val file = new File(filePath)
            val fileWriter = new FileWriter(file)
            val bw = new BufferedWriter(fileWriter)
            bw.write(inputS3String)
            bw.close()
            fileWriter.close()
            }
          })
      })

執行上述操作時,會導致以下錯誤:-

引起:java.lang.NullPointerException

當要求創建資料幀 loggerDf 并將其寫入 cosmos db 時,重試函式中會出現此錯誤

還有另一種方法可以將錯誤訊息寫入 cosmos DB 嗎?

uj5u.com熱心網友回復:

也許現在不是使用火花的好時機。已經有一些 hadoop 工具可以使用 hadoop完成這種型別的S3 檔案傳輸,它可以完成您正在做的事情,但使用了 hadoop 工具。

如果您仍然覺得 spark 是正確的工具:將其拆分為報告問題和資料傳輸問題。創建并測驗檔案串列以查看它們是否有效。撰寫一個 UDF 來完成創建好/壞檔案資料框的骯臟作業。報告無效的檔案。(對宇宙)

傳輸有效的檔案。

uj5u.com熱心網友回復:

如果要將錯誤寫入 cosmo DB,則需要使用“帶外”方法從執行程式啟動連接。(想想:從 partition.foreach 內部啟動 jdbc 連接。)

作為較低的標準,如果您想知道它是否發生,您可以使用Accumulators這不是用于日志記錄,而是有助于將資訊從執行程式傳輸到驅動程式。這將使您能夠向 Cosmos 回寫一些內容,但實際上只是用于簡單地計算是否發生了某些事情。(如果您最終重試執行程式,則可能會重復計算,所以它并不完美。)它在技術上可以將資訊傳輸回驅動程式,但只能用于可數的事情。(如果這種型別的故障非常不規律,則可能適合。如果這種情況經常發生,則不適合使用。)

轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/318739.html

標籤:斯卡拉 阿帕奇火花 azure-cosmosdb 数据块

上一篇:如何處理用于理解和錯誤恢復的錯誤場景

下一篇:在Scala中將兩個不同的RDD與不同的鍵組合在一起

標籤雲
其他(123570) Java(13369) Python(12731) C(7545) 區塊鏈(7372) JavaScript(7059) 基礎類(6313) AI(6244) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4120) MySQL(4012) Linux(3394) C語言(3288) C++語言(3117) Java相關(2746) 疑難問題(2699) 單片機工控(2479) Web開發(1951) 網絡通信(1793) 數據庫相關(1767) VB基礎類(1755) PHP(1727) 開發(1646) 系統維護與使用區(1617) .NETCore(1586) 基礎和管理(1579) JavaEE(1566) C++(1527) 專題技術討論區(1515) Windows客戶端使用(1484) HtmlCss(1466) ASP.NET(1428) Unity3D(1354) VCL組件開發及應用(1353) HTML(CSS)(1220) 其他技術討論專區(1200) WindowsServer(1192) .NET技术(1165) 交換及路由技術(1149) 語言基礎算法系統設計(1133) WindowsSDKAPI(1124) 界面(1088) JavaSE(1075) Qt(1074) VBA(1048) 新手樂園(1016) 其他開發語言(947) Go(907) HTML5(901) 新技術前沿(898) 硬件設計(872) 區塊鏈技術(860) 網絡編程(857) 非技術版(846) 一般軟件使用(839) 網絡協議與配置(835) Eclipse(790) Spark(750) 下載資源懸賞專區(743)

熱門瀏覽
  • 網閘典型架構簡述

    網閘架構一般分為兩種:三主機的三系統架構網閘和雙主機的2+1架構網閘。 三主機架構分別為內端機、外端機和仲裁機。三機無論從軟體和硬體上均各自獨立。首先從硬體上來看,三機都用各自獨立的主板、記憶體及存盤設備。從軟體上來看,三機有各自獨立的作業系統。這樣能達到完全的三機獨立。對于“2+1”系統,“2”分為 ......

    uj5u.com 2020-09-10 02:00:44 more
  • 如何從xshell上傳檔案到centos linux虛擬機里

    如何從xshell上傳檔案到centos linux虛擬機里及:虛擬機CentOs下執行 yum -y install lrzsz命令,出現錯誤:鏡像無法找到軟體包 前言 一、安裝lrzsz步驟 二、上傳檔案 三、遇到的問題及解決方案 總結 前言 提示:其實很簡單,往虛擬機上安裝一個上傳檔案的工具 ......

    uj5u.com 2020-09-10 02:00:47 more
  • 一、SQLMAP入門

    一、SQLMAP入門 1、判斷是否存在注入 sqlmap.py -u 網址/id=1 id=1不可缺少。當注入點后面的引數大于兩個時。需要加雙引號, sqlmap.py -u "網址/id=1&uid=1" 2、判斷文本中的請求是否存在注入 從文本中加載http請求,SQLMAP可以從一個文本檔案中 ......

    uj5u.com 2020-09-10 02:00:50 more
  • Metasploit 簡單使用教程

    metasploit 簡單使用教程 浩先生, 2020-08-28 16:18:25 分類專欄: kail 網路安全 linux 文章標簽: linux資訊安全 編輯 著作權 metasploit 使用教程 前言 一、Metasploit是什么? 二、準備作業 三、具體步驟 前言 Msfconsole ......

    uj5u.com 2020-09-10 02:00:53 more
  • 游戲逆向之驅動層與用戶層通訊

    驅動層代碼: #pragma once #include <ntifs.h> #define add_code CTL_CODE(FILE_DEVICE_UNKNOWN,0x800,METHOD_BUFFERED,FILE_ANY_ACCESS) /* 更多游戲逆向視頻www.yxfzedu.com ......

    uj5u.com 2020-09-10 02:00:56 more
  • 北斗電力時鐘(北斗授時服務器)讓網路資料更精準

    北斗電力時鐘(北斗授時服務器)讓網路資料更精準 北斗電力時鐘(北斗授時服務器)讓網路資料更精準 京準電子科技官微——ahjzsz 近幾年,資訊技術的得了快速發展,互聯網在逐漸普及,其在人們生活和生產中都得到了廣泛應用,并且取得了不錯的應用效果。計算機網路資訊在電力系統中的應用,一方面使電力系統的運行 ......

    uj5u.com 2020-09-10 02:01:03 more
  • 【CTF】CTFHub 技能樹 彩蛋 writeup

    ?碎碎念 CTFHub:https://www.ctfhub.com/ 筆者入門CTF時時剛開始刷的是bugku的舊平臺,后來才有了CTFHub。 感覺不論是網頁UI設計,還是題目質量,賽事跟蹤,工具軟體都做得很不錯。 而且因為獨到的金幣制度的確讓人有一種想去刷題賺金幣的感覺。 個人還是非常喜歡這個 ......

    uj5u.com 2020-09-10 02:04:05 more
  • 02windows基礎操作

    我學到了一下幾點 Windows系統目錄結構與滲透的作用 常見Windows的服務詳解 Windows埠詳解 常用的Windows注冊表詳解 hacker DOS命令詳解(net user / type /md /rd/ dir /cd /net use copy、批處理 等) 利用dos命令制作 ......

    uj5u.com 2020-09-10 02:04:18 more
  • 03.Linux基礎操作

    我學到了以下幾點 01Linux系統介紹02系統安裝,密碼啊破解03Linux常用命令04LAMP 01LINUX windows: win03 8 12 16 19 配置不繁瑣 Linux:redhat,centos(紅帽社區版),Ubuntu server,suse unix:金融機構,證券,銀 ......

    uj5u.com 2020-09-10 02:04:30 more
  • 05HTML

    01HTML介紹 02頭部標簽講解03基礎標簽講解04表單標簽講解 HTML前段語言 js1.了解代碼2.根據代碼 懂得挖掘漏洞 (POST注入/XSS漏洞上傳)3.黑帽seo 白帽seo 客戶網站被黑帽植入劫持代碼如何處理4.熟悉html表單 <html><head><title>TDK標題,描述 ......

    uj5u.com 2020-09-10 02:04:36 more
最新发布
  • Scala將案例類串列轉換為另一個案例類串列

    case class student1(name :String, marks :Long) case class student2(studentName:String, marks:Long) val mylist:List[student1] = List( student1("a",100) , student...

    uj5u.com 2021-10-16 16:17:44 more
  • 具有不同泛型型別的Scala3擴展多載

    我正在從 Scala 2.13 遷移到 Scala 3,并且正在嘗試重寫小型實用程式函式。在 2.13 中,可以撰寫一個更通用的隱式和另一個更具體的,但在 Scala 3 中似乎不再可能。 type Outcom...

    uj5u.com 2021-10-16 16:16:46 more
  • CatsScala中的序列和遍歷以映射型別

    我有一個型別的值,List[EitherT[IO, String, Int]]我想對其進行序列處理以將其映射到EitherT[IO,String, List[Int]]我閱讀并找到了序列方法,但它給了我一個錯誤,說它需要 [G]...

    uj5u.com 2021-10-16 16:14:44 more
  • 為什么集合上的`contains`不需要正確的型別?

    這是怎么編譯的:scala> val x: Vector[Int] = Vector(1,2,3)val x: Vector[Int] = Vector(1, 2, 3)scala> x.contains("hello")val res4: Boolean = falsescala> x.contains(...

    uj5u.com 2021-10-16 16:14:15 more
  • 在Scala中將兩個不同的RDD與不同的鍵組合在一起

    我有兩個文本檔案已經由 sparkcontext 創建為 rdd。其中一個(rdd1)保存相關詞:apple,applescar,carscomputer,computers另一個(rdd2)保存專案數:(apple,12)(apples, 50)(car,5)(ca...

    uj5u.com 2021-10-16 16:13:46 more
  • 將錯誤從catch塊記錄到Cosmosdb-spark

    目標:- 使用“get”api 呼叫從 S3 存盤桶中檢索物件,將檢索到的物件寫入 azure 資料湖,并在出現 404s(未找到物件)等錯誤時將錯誤訊息寫入 Cosmos DB“my_dataframe”由一列 (s3O...

    uj5u.com 2021-10-16 16:13:14 more
  • 如何處理用于理解和錯誤恢復的錯誤場景

    目前我的錯誤處理沒有按照我的意愿作業,這就是我想要做的:UserApi.insert 失敗,回傳錯誤,不要繼續WorkApi.insert 失敗,呼叫 UserApi.delete 后回傳錯誤WorkApi.assign 失敗,呼叫...

    uj5u.com 2021-10-16 16:12:45 more
  • 如何發送多條訊息作為我的來源

    我只是在嘗試這個當前有一個 TextMessage 作為源的示例流: // print each incoming strict text message val printSink: Sink[Message, Future[Done]] = Sink.forea...

    uj5u.com 2021-10-16 16:12:12 more
  • 如何在寫入時強制資料集匹配其架構?

    經過一些轉換后,我想使用 insertInto 將 spark 資料集保存到鑲木地板表中。ds.write.mode(SaveMode.Overwrite).insertInto(tablename) 但是操作失敗,給我這個錯誤:[TABLENAME]...

    uj5u.com 2021-10-16 16:11:31 more
  • 用于理解的模式匹配分配如何轉化為一元操作?

    我熟悉的概念,即Scala的for內涵是對一元的操作只是語法糖(map,withFilter,foreach和flatMap)和脫糖中描述這個流行的答案。通過這種邏輯,我驚訝地發現,當使用模式匹配作為推導式的...

    uj5u.com 2021-10-16 16:10:58 more