前置知識:
1,java基礎
2,scala基礎
3,英語基礎
0基礎分析Spark原始碼系列博客(
主要是是寫給自己看的,其次是給大家分享思路)
在查看Spark原始碼的程序中,會發現幾乎每個方法上都有注解,

了解這些注解,對于理解Spark的設計思想非常有幫助,
為什么看一個開源專案要先看注解部分?
1,注解體現設計思想
2,注解是基礎,不理解設計思想就沒法全面而宏觀地思考整個專案,
3,我認為不掌味訓礎,就直接去看主要代碼邏輯部分是搞大躍進,且違反認知規律,會導致后續的瓶頸,
4,不懂注解,都不知道方法是干啥用的,資訊獲取不完全,到時候一個一個查多難受,還有可能遺漏資訊,不如先把基礎打好,后續一路暢通,
好,首先把代碼下載下來:
https://github.com/apache/spark
我這里用社區版的開源版IDEA:
打開后,隨便Ctrl + 滑鼠左鍵跳轉到對應的注解類:
Spark原始碼里的注解有三種:
1.Java自帶的注解

2.Spark發明的注解

3.Scala自帶的注解:

https://www.scala-lang.org/api/current/scala/annotation/Annotation.html
首先把上面這個鏈接的注解相關的內容都搞懂,scala的注解就差不多了
關于Java自帶注解,如果有不清楚的地方,需要搞懂下列前置知識:
https://docs.oracle.com/javase/tutorial/java/annotations/index.html
打開這個鏈接,把下面這些全看完:

掌握上述前置知識,就可以繼續往下看了,后面如果java注解內容忘記了也可以重新回傳去再學一遍,
接下來是Spark自帶的注解:
分為三個部分:

先看pom.xml,沒找到有用資訊,
再看README

這句話結合Spark-tag這個命名,再結合注解內容,可以了解到,spark這些注解幾乎都是用來當標簽用的,
然后就是把整個Spark-tags部分理解并記憶下來,這部分你得花點時間完成,因為可能會遇到缺少前置知識的情況,
注解會用之后,就可以開始下一階段了,下一篇見,
具體內容需要你自己去看,授人以魚不如授人以漁,這一套spark的注解體系學會了之后,可以直接用在你的scala專案的開發中,可以用來做版本控制,方便的很,
轉載請註明出處,本文鏈接:https://www.uj5u.com/qita/417165.html
標籤:其他
上一篇:PyTorch 公開發布五周年;NGINX 之父 Igor Sysoev 從 F5 離職;Openfire 4.7.0 發布 | 開源日報
