Spark 是當前最流行的開源大資料記憶體計算框架，采用Scala語言實作，由UC 伯克利大學AMPLab實驗室開發（2009）并于2010年開源，在2014年成為Apache基金會的頂級專案。2014年至2015年，Spark 經歷了高速發展，Databricks 2015 Spark調查報告顯示[1]：2014年9月至2015年9月，已經有超過600個Spark原始碼貢獻者，而在此之前的12個月人數只有315 個，Spark超越Hadoop，無可爭議地成為大資料領域內最活躍的開源專案。除此之外，已經有超過200個公司為Spark奉獻過源代碼，使 Spark社區成為迄今為止開發人員參與最多的社區。
本 議題的目標是引導想從事大資料處理的IT人員進行Spark入門學習，主要內容包括Scala語言核心語法、Spark集群搭建及開發環境搭建、 Spark編程模型、Spark SQL、Spark Streaming、Spark MLlib及Spark Graphx。通過本議題，能夠應用Scala進行Spark應用程式開發、掌握Spark的基本運行原理及編程模型，能夠熟悉運用Spark SQL進行大資料倉庫的開發，掌握Spark流式計算、Spark機器學習及圖計算的原理。
培訓嘉賓：周志湖，綠城集團資料中心資料庫工程師/管理員。
嘉賓介紹：電子科技大學計算機軟體與理論碩士研究生，研究方向為計算機視覺、機器學習，畢業后先后供職于寧波銀行、中共浙江省委黨校，目前就職于綠城集團，擔任資料中心平臺架構師、資料開發主管。Scala語言、Hadoop及Spark大資料處理技術愛好者。
議題提綱（已完成到紫色章節，入口稍后會鏈接到每個議題，預計發布時間12.14）
Scala篇
1. Scala基本資料型別及程式控制結構。講解Scala基本資料型別，對其中的程式控制結構特別是for回圈的使用進行詳細介紹。
2. Scala集合操作。對Array、List、Map等重要資料結構的操作進行介紹。
3. Scala函式。內容包括函式字面量、函式閉包、高階函式、偏函式及集合常見高階函式等。
4. Scala 類和物件。介紹Scala面向物件編程，包括類的定義、伴生物件、伴生類、應用程式物件、類的繼承等。
5. Scala 模式匹配。內容包括模式匹配的作用、模式匹配的型別、模式匹配在for回圈、正則運算式中的應用、模式匹配與Case Class。
6. Scala型別引數。對Scala中的型別變數界定、協變與逆變等進行介紹。
7. Scala 隱式轉換。內容包括隱式轉換函式、隱式類、隱式物件、視圖界定及上正文界定中的隱式轉換等。
8. Scala高級型別。對Scala中的單例型別、抽象型別等進行介紹。
Spark篇
1.Spark集群部署及開發環境搭建。內容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark開發環境搭建, Spark Shell的使用等。
2.Spark 運行原理。內容包括spark腳本檔案決議、Spark 幾種不同運行方式、RDD原理、寬依賴與窄依賴、Spark 任務調度等。
3.Spark 編程模型，介紹Spark編程模型、對常用的transformation及action操作進行介紹。
4.Spark SQL與DataFrame，介紹Ｓpark SQL 及ＤataFrame的運行原理及使用方法，利用案例介紹Spark SQL的使用。
5.Spark 流式計算。介紹DStream、Spark Streaming原理，并通過幾個案例說明其使用。
6.Spark 機器學習。介紹Spark MLlib架構，通過K-Mean演算法、隨機森林等演算法說明Spark MLlib的使用。
7.Spark Graphx。介紹Spark圖計算及相關資料結構，用PageRank演算法說明其使用。
進階課程——TBD ……
uj5u.com熱心網友回復：
希望以后持續更新，當然，最好別收費。互聯網，追求開源，共享
uj5u.com熱心網友回復：
為樓主點個贊。uj5u.com熱心網友回復：
夭折了嗎，怎么還沒更新，uj5u.com熱心網友回復：
抱歉，有段時間沒有更新，直接到這個統一的報名介面就可以http://edu.csdn.net/huiyiCourse/detail/88。uj5u.com熱心網友回復：
好好學習一下~~~~~uj5u.com熱心網友回復：
66666666666666uj5u.com熱心網友回復：
good，學習uj5u.com熱心網友回復：
感謝您的分享，正是我想要的資源，努力學習中。謝謝了轉載請註明出處，本文鏈接：https://www.uj5u.com/qita/47541.html
標籤：Spark
上一篇：maxSubArray