上海黃浦區(qū)達內大數(shù)據(jù)分析培訓專業(yè)嗎

發(fā)布時間:2023-10-09 11:45:49來源：尚訓網(wǎng)綜合

大數(shù)據(jù)，IT行業(yè)術語，是指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)需要特殊的技術，以有效地處理大量的容忍經(jīng)過時間內的數(shù)據(jù)。

大數(shù)據(jù)在生活中應用無處不在

1
搜索引擎
2
交通出行

3
金融分析
4
學習培訓

5
數(shù)據(jù)挖掘
6
影像創(chuàng)意

7
娛樂消費
8
更多應用案例

課程適合哪類人學習？

大學生

目前在讀或應往屆大學生，想要提升自己的能力。
感興趣

對python知識操作感興趣，想投身學習的人。
渴望高薪

打算轉行或者待業(yè)人員，渴望得到高薪的工作

達內大數(shù)據(jù)云計算輔導班三大優(yōu)勢

01

大數(shù)據(jù)云計算課程體系
內容較全，技術深，涉及JavaEE架構級技術，分布式高并發(fā)技術，云計算架構技術，云計算技術，云計算架構技術等。
02

提供“云計算云主機”試驗環(huán)境
提供真實的大數(shù)據(jù)云計算開發(fā)部署環(huán)境，學員可以擁有幾十臺主機節(jié)點以完成開發(fā)部署試驗。
03

O2O雙模式教學體驗
達內強大的TMOOC + TTS8.0在線教學平臺，為學員提供線下學習，線上輔助的雙模式教學體驗。

達內教學環(huán)境

達內師資

王濤

達內教師

從業(yè)18年，期間做研發(fā)工作10年，做教學工作8年, 曾就職于微軟（中國）公司，負責多媒體相關行業(yè)項目和產(chǎn)品的開發(fā)，曾就職于中國銀行，參與銀行收繳費系統(tǒng)的開發(fā)。曾就職于國內某知名電子商務網(wǎng)站，負責商品與設備管理系統(tǒng)的開發(fā)。曾任某大型企業(yè)技術顧問，指導文檔管理系統(tǒng)等商業(yè)業(yè)務系統(tǒng)的開發(fā)與設計

蘭剛

達內教師

曾在東泰科技、紫光軟件等機構任職。精通 J2SE、J2EE 技術體系，項目經(jīng)驗豐富。授課風格：語言風趣幽默，知識點講解到位詳細，深入淺出，理論與實際項目相結合緊密,讓學員在輕松開心的氛圍中學習到軟件開發(fā)的精髓。

大數(shù)據(jù)是海量數(shù)據(jù)存儲和處理的技術，近幾年隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的發(fā)展，產(chǎn)生了大量的數(shù)據(jù)，而傳統(tǒng)的基于數(shù)據(jù)庫、數(shù)據(jù)倉庫的數(shù)據(jù)存儲和處理技術已經(jīng)很難在可接受的時間和空間下完成對這些數(shù)據(jù)的存儲和處理，因此，大數(shù)據(jù)技術應運而生了，大數(shù)據(jù)技術基于分布式的架構，實現(xiàn)了近乎無限的存儲和處理的能力，為海量數(shù)據(jù)的存儲和處理提供了新的可能。而正是基于這樣的能力，越來越多的基于大數(shù)據(jù)的個性化的服務也開始大量的出現(xiàn)。接下來我們看一看上海黃浦區(qū)達內大數(shù)據(jù)分析培訓專業(yè)嗎?

課程簡介

達內教育開設的Java大數(shù)據(jù)培訓班，課程內容覆蓋Java語言基礎、JavaEE深度開發(fā)、互聯(lián)網(wǎng)架構開發(fā)、大數(shù)據(jù)開發(fā)、算法數(shù)據(jù)挖掘分析等Java大數(shù)據(jù)全棧技術內容，解決學員Java大數(shù)據(jù)的學習需求，滿足學員高薪就業(yè)所需技術廣度。

課程特色

1.全棧式技術覆蓋

2.原理級深度講解

3.企業(yè)級項目實戰(zhàn)

4.真實云開發(fā)環(huán)境

教學優(yōu)勢

大數(shù)據(jù)云計算課程體系

內容較全，技術深，涉及JavaEE架構級技術，分布式高并發(fā)技術，云計算技術，云計算架構技術等。

“云計算云主機”試驗環(huán)境

提供真實項目的大數(shù)據(jù)云計算開發(fā)部署環(huán)境，學員可以擁有幾十臺主機節(jié)點以完成開發(fā)部署試驗。

O2O雙模式教學體驗

達內強大的TMOOC+TTS8.0在線教學平臺，為學員提供線下學習，線上輔助的雙模式教學體驗。

授課內容

JavaSE階段

課程模塊	課程內容	學習內容
Java基礎	Java簡介	Java發(fā)展歷程、Java的技術結構、JDK的下載及安裝、HelloWorld入門案例
	Java基本語法	關鍵字、標識符、注釋、字面量、進制及其換算、變量、數(shù)據(jù)類型及其轉換、運算符、流程控制、數(shù)組、二維數(shù)組、方法
	面向對象	面向對象與面向過程比較、類與對象的關系、成員變量與局部變量、構造方法、this關鍵字、代碼塊。面向對象的特征（封裝、繼承、多態(tài)）、super關鍵字、權限修飾符、方法的重寫static、final、abstract、接口、內部類、包、垃圾分代回收機制
	API（一）	Object、String、Pattern、包裝類、Math、BigDecimal、Date、Calendar
	API（二）	異常、集合、Map、泛型、迭代器、比較器
Java增強	API（三）	IO、線程、套接字
	API（四）	反射、注解、斷言
	jvm參數(shù)	jvm內存大小調節(jié)、常見回收機制
	JDK8的部分特性	接口中的默認方法、Lambda表達式、函數(shù)式接口、時間包
	Git版本控制	版本控制概念、Git發(fā)展歷史、Git安裝配置、Git版本庫管理、Git版本控制、Git遠程倉庫、Git分支管理、Git標簽管理、碼云介紹

JavaWeb階段

課程階段	學習
XML	XML的概念與基本作用、XML語法、XML解析介紹、DOM4J解析XML
HTML/CSS	HTML介紹、HTML文檔結構、HTML語法、HTML標簽技術（超鏈接、列表、表格、圖像、表單等），CSS介紹、CSS導入方式、CSS選擇器、CSS布局、CSS樣式屬性。完成EasyMall項目靜態(tài)頁面
JavaScript	JavaScript語法、數(shù)據(jù)類型、運算符、流程控制、數(shù)組、函數(shù)、JavaScript內部對象、自定義對象，DHTML編程、DOM介紹，DOM編程（使用DOM操作HTML文檔）。完成EasyMall靜態(tài)頁面中的js腳本
Jquery	Jquery對象、Jquery選擇器（ID、元素、class、層級等）的使用、Jquery案例（用戶列表增、刪、改、查）、Json的對象轉換、Jquery AJAX的實現(xiàn)。完成EasyMall靜態(tài)頁面中的jquery腳本
MySql	數(shù)據(jù)庫介紹、MySQL安裝與配置、數(shù)據(jù)庫增刪改操作DDL語句使用、表增刪改操作DML語句使用、表查詢操作DQL語句使用，數(shù)據(jù)備份及恢復、多表設計、多表查詢。完成EasyMall中數(shù)據(jù)庫的設計
JDBC	JDBC介紹、JDBC入門，JDBC核心API介紹，JDBC的CURD操作防止SQL注入及PrepareStatement使用，使用批處理。連接池的介紹、自定義連接池，常用的開源連接池C3P0的介紹及使用。
Tomcat/HTTP	WEB服務器介紹、Tomcat的安裝與啟動、Tomcat的體系結構、組織WEB應用目錄與在Tomcat中發(fā)布WEB應用程序的方式、配置WEB的主頁、使用Tomcat配置虛擬主機、HTTP協(xié)議詳解
Servlet	Servlet介紹、開發(fā)Servlet程序、Servlet生命周期、Servlet調用分析、Request及Response的使用、ServletConfig使用，ServletContext使用（作為域對象使用、配置系統(tǒng)初始化參數(shù)、獲取web資源）。AJAX介紹、XMLHttpRequest對象詳解。完成EasyMall用戶注冊模塊
Cookie/Session	會話技術介紹、Cookie介紹及Cookie的使用、案例之Cookie實現(xiàn)記住用戶名，Session的使用及Session的原理，案例之利用Session實現(xiàn)登陸功能及驗證碼校驗。完成EasyMall用戶登錄模塊
JSP/EL表達式/JSTL標簽庫	JSP介紹、JSP表達式、JSP腳本片段、JSP聲明、JSP注釋、JSP中的9個內部對象和作用，EL表達式簡介，EL獲得數(shù)據(jù)、EL執(zhí)行運算、EL內置對象，page指令及其重要的屬性，JSP中的include指令、pageContext對象的詳細講解。JSP動作標簽介紹。JSTL標準標簽庫的介紹及使用。完成EasyMall動態(tài)頁面
MVC設計模式/三層架構	JavaEE開發(fā)模式介紹、MVC軟件設計模式介紹、JavaEE經(jīng)典開發(fā)模式重構EasyMall項目、工廠設計模式介紹、工廠設計模式的應用。層與層之間的耦合與解耦。重構EasyMall為三層架構
過濾器/監(jiān)聽器	Servlet Listenert監(jiān)聽器介紹及使用、Servlet Filter過濾器介紹、過濾器生命周期。30天內自動登錄功能的實現(xiàn)，全站亂碼處理功能實現(xiàn)。完成EasyMall全站過濾器、自動登錄等功能
JavaWeb高級開發(fā)技術	泛型、注解、內省、動態(tài)代理、枚舉、AOP原理及實現(xiàn)。完成EasyMall改造實現(xiàn)AOP
數(shù)據(jù)庫高級開發(fā)技術	事務概述、事務的隔離級別、事務控制、更新丟失。完成EasyMall中商品相關模塊
EasyMall項目開發(fā)	EasyMall是一個典型的互聯(lián)網(wǎng)電子商務系統(tǒng)，在WEB學習階段，通過所學習的WEB技術，實現(xiàn)EasyMall商城中包括用戶注冊、用戶登錄、用戶注銷、商品添加、商品刪除、商品修改、商品列表、商品詳情等功能。在實現(xiàn)商城相關功能的過程中，熟悉并掌握WEB開發(fā)相關技術、架構思想、項目開發(fā)流程、版本控制等內容。整個項目貫穿于整個WEB學習階段，通過項目貫穿課程教學，通過應用引導學員學習

JavaEE框架階段

課程階段	課程內容
Spring	Spring IOC基礎、Spring的工廠模式(靜態(tài)工廠、實例工廠、Spring工廠)、Spring依賴注入（構造器注入，set注入）、Spring的注解形式、Spring AOP原理及實現(xiàn)、Spring 整合JDBC、JDBCTemplate、Spring聲明式事務處理、事務的回滾策略等
SpringMVC	SpringMVC原理、SpringMVC簡單參數(shù)封裝、復雜參數(shù)封裝、值傳遞的原理、SpringMVC的注解形式、日期格式類型轉換、文件上傳、頁面訪問控制( 轉發(fā)和重定向 )、RESTFUL結構
MyBatis	MyBatis原理、DQL映射、DML映射、復雜結果集映射、參數(shù)傳遞（注解形式和MAP形式）、結果集封裝原理、動態(tài)SQL的拼接、字符轉義、MyBatis的接口實現(xiàn)、代碼自動生成工具、關聯(lián)關系的講解、Spring+SpringMVC+MyBatis整合（SSM整合）
EasyMall項目重構及開發(fā)	通過框架技術重構在JavaWeb階段實現(xiàn)的EasyMall項目，通過對比使學員們理解使用框架的好處，熟悉框架的搭建和使用，理解框架整合方式、了解框架下業(yè)務開發(fā)流程。并進一步實現(xiàn)EasyMall中的購物車模塊、訂單模塊、在線支付、銷售統(tǒng)計等模塊
Springboot	springboot基礎，搭建，springboot組合注解運行原理，springboot的web開發(fā)，spring data JPA，聲明式事務
SpringBoot重構EasyMall項目	通過SpringBoot重構EasyMall項目 , 加深對SpringBoot的理解，實現(xiàn)購物車、訂單、在線支付等功能模塊的實現(xiàn)

大數(shù)據(jù)互聯(lián)網(wǎng)架構階段

課程階段	課程內容
Linux	大數(shù)據(jù)生產(chǎn)環(huán)境需要在Linux下部署，大數(shù)據(jù)開發(fā)人員必須對Linux系統(tǒng)有相應的了解。學習內容包括Linux操作系統(tǒng)的安裝配置、文件系統(tǒng)管理、用戶及用戶組管理、進程管理、資源管理、vim編輯器使用、Linux下軟件安裝、shell編程等內容
云平臺使用	才高大數(shù)據(jù)課程采用全云化教學，講師授課、學員學習、練習、項目運行部署、性能測試等都在真實云平臺上進行，完全模擬企業(yè)真實環(huán)境。此處講授云平臺的使用
Redis、Redis與SpringBoot整合	redis簡介，雪崩/緩存擊穿，hash、string、list、set、zset、jedis數(shù)據(jù)分片，jedis數(shù)據(jù)分片連接池，jedis的hash一致性，redis主從復制，哨兵集群，redis-cluster，redis集群的槽道
MycatMycat與SpringBoot整合	mycat簡介，mysql主從復制，mycat讀寫分離，mycat配置詳解
Rabbitmq、Rabbitmq與SpringBoot整合	rabbimq消息隊列，connection，channle，exchange，消息生產(chǎn)者和消費者，消息傳遞simple模式，work模式，publish模式，routing模式，topic模式，秒殺案例
Lucene	lucene概述，分詞系統(tǒng)，索引概念，倒排索引，索引創(chuàng)建，索引刪除，索引更新，詞項搜索，布爾搜索，范圍搜索，前綴搜索，多關鍵字搜索，模糊搜索，通配符搜索
ElasticSearchES與SpringBoot整合	搜索系統(tǒng)概括，搜索引擎框架，solr安裝與配置詳解，elasticseacher安裝與配置詳解，集群搭建
爬蟲	jsoup爬蟲，爬取網(wǎng)站，爬取頁面，爬取二次提交數(shù)據(jù)，爬取定位信息，模擬瀏覽器頭爬取網(wǎng)站，爬取京東數(shù)據(jù)落地數(shù)據(jù)庫
Ngnix	http服務器，反向代理，入門配置，server配置，location匹配，負載均衡輪詢、權重、session黏著，hash取余
Easymall項目整合	整合springboot開發(fā)系統(tǒng)，整合redis，mycat，Ngnix負載均衡，rabbitmq消息隊列，lucene搜索技術；jsonp，httpclient跨域訪問，調用服務使用互聯(lián)網(wǎng)架構技術，將EasyMall項目重構為分布式技術架構的大型電商項目，可承受高并發(fā)，具有高可用的特點。后臺商品管理：負責商品的增刪改查，圖片上傳，商品分類樹、前臺系統(tǒng)：商品前臺分類樹，商品查看，登錄，購物車，訂單頁面跳轉、登錄頁面：負責用戶登錄，解決session集群共享、購物車：負責購物車商品管理、訂單：負責訂單提交，定時任務的處理、功能搭建：sso單點登錄，cart購物車系統(tǒng)，order訂單系統(tǒng)，manage后臺系統(tǒng)，web前臺系統(tǒng)
SpringCloud微服務整合	微服務概括springcloud-config：分布式配置中心組件，支持配置文件放在配置服務的內存中，也支持放在遠程Git倉庫里、springcloud-eureka：服務治理組件，可以管理微服務群體的所有服務調度、springcloud-ribbon：負載均衡組件，服務調度中高可用，輪詢訪問、springcloud-hystrix：斷熔器，異常錯誤等處理的組件、springcloud-zuul：網(wǎng)關組件，可以用于服務調度的路由轉發(fā)和過濾等作用、springcloud-feign：基于接口調用rest的組件、springcloud微服務框架重構EasyMall項目

大數(shù)據(jù)框架階段

課程模塊	課程內容	學習內容
大數(shù)據(jù)高并發(fā)基礎	大數(shù)據(jù)java加強	學習java中關于Concurrent高并發(fā)包、NIO、序列化反序列化（AVRO）、RPC等相關知識，掌握zookeeper、sqoop等大數(shù)據(jù)領域常用工具原理及使用，為后續(xù)大數(shù)據(jù)課程學習、分布式理論理解打下基礎
大數(shù)據(jù)離線數(shù)據(jù)分析	Hadoop	Hadoop是知名的大數(shù)據(jù)處理工具，包括分布式數(shù)據(jù)存儲系統(tǒng) HDFS、分布式數(shù)據(jù)計算框架MapReduce和資源協(xié)調框架Yarn三大組件。HDFS: 詳細講解HDFS使用方式、存儲機制、可靠性增加、上傳、下載、刪除等實現(xiàn)原理、Java開發(fā)Api開發(fā)插件等內容。MapReduce: 詳細講解MR理論基礎、開發(fā)方式、序列化機制、分區(qū)機制、Combiner機制、shuffle詳細流程、MR案例、MR性能優(yōu)化等內容。Yarn: 介紹Yarn資源協(xié)調框架的基本原理、使用及調優(yōu)。Hadoop是大數(shù)據(jù)生態(tài)中知名的組件，在行業(yè)中應用廣泛，是學習大數(shù)據(jù)重要的技術之一
	Flume	Flume是大數(shù)據(jù)生態(tài)環(huán)境中流行的日志收集框架，基于其靈活的可廣泛配置的使用方式及優(yōu)良的效率被廣泛的應用在大數(shù)據(jù)生產(chǎn)環(huán)境中。課程中詳細講解了Flume的Source、Channel、Sink、Selector、Interceptor、Processor等組件的使用。并通過美團應用案例，展示了Flume企業(yè)級應用場景的實現(xiàn)方式，并在后續(xù)項目中有大量的應用
	Hive	Hive是基于Hadoop的數(shù)據(jù)倉庫工具，通過將結構化的數(shù)據(jù)文件映射為HIVE中的表，并提供類SQL的語法實現(xiàn)數(shù)據(jù)處理。學習內容包括hive的安裝配置、hive的元數(shù)據(jù)庫、hive的內部表外部表、hive的分區(qū)表、hive的分桶表、hive的語法、hive的UDF等內容
	Hbase	HBase是一種分布式、面向列的基于hadoop的非關系型數(shù)據(jù)庫，合存儲半結構化、非結構化的數(shù)據(jù)，基于其優(yōu)良的設計，可以提供良好的實時數(shù)據(jù)存取能力，并提供更好的橫向擴展能力，在企業(yè)級大數(shù)據(jù)開發(fā)中占用重要地位。課程中詳細介紹了Hbase使用方式、Hbase邏輯結構、Hbase的理論基礎-LSM樹、Hbase的實現(xiàn)原理、Hbase表設計原則等內容，從理論到實踐講解Hbase相關知識
	Zebra 項目	項目名稱：zebra電信日志數(shù)據(jù)分析項目業(yè)務背景：電信行業(yè)通過大量的電信基站為移動設備提供3G、4G網(wǎng)絡信號，在移動設備通過基站訪問網(wǎng)絡的過程中，基站將會記錄所有的訪問數(shù)據(jù)，此項目通過大數(shù)據(jù)離線分析技術分析這些日志，得到相關的業(yè)務結論指導行業(yè)改進。學習目標：通過學習zebra電信日志分析項目，掌握企業(yè)級大數(shù)據(jù)離線分析技術應用的技術：flume收集日志，采用三層結構實現(xiàn)日志收集聚集較終持久化到hadoop hdfs中并實現(xiàn)日志收集過程中的失敗恢復及負載均衡；hadoop hdfs分布式存儲收集到的日志數(shù)據(jù) ，hadoop mapreduce進行日志清洗、格式轉換；hive進行日志處理、業(yè)務規(guī)則計算，按照不同維度分時段統(tǒng)計應用受歡迎程度、網(wǎng)站受歡迎程度、小區(qū)上網(wǎng)能力、小區(qū)上網(wǎng)喜好等信息；sqoop技術將處理完成的結果導出到關系型數(shù)據(jù)庫；ECharts通過web技術實現(xiàn)結果數(shù)據(jù)的可視化；Zookeeper作為集群協(xié)調、集群狀態(tài)監(jiān)控工具
大數(shù)據(jù)實時數(shù)據(jù)分析	Storm	Storm是大數(shù)據(jù)行業(yè)中流行的大數(shù)據(jù)實時分析框架之一，是一個分布式的、高容錯的實時計算系統(tǒng)，能夠實現(xiàn)具有可靠性保障的分布式實時數(shù)據(jù)處理，在行業(yè)中廣泛應用。在課程中講解包括Storm基礎、可靠性增加、并發(fā)控制、實現(xiàn)原理、Topology、StormSpout、StormBolt、StormStream行業(yè)應用等相關內容
	Kafka	Kafka是一種具有高吞吐能力的分布式發(fā)布訂閱消息系統(tǒng)，具有傳統(tǒng)消息隊列相關特性，此外具有一些獨特的設計，可以實現(xiàn)分布式持久化的消息隊列，在實時處理過程中通常用做數(shù)據(jù)緩存，為實時處理系統(tǒng)提供緩沖能力。在課程中包括kafka的安裝配置、基本概念、實現(xiàn)原理、可靠性保障等相關理論及應用相關內容
	分布式編程思想	大數(shù)據(jù)問題的本質是海量數(shù)據(jù)，大數(shù)據(jù)解決方案的核心理念是分布式，分布式場景有其獨特的問題、解決方案、設計思想，本節(jié)通過討論分布式在各種技術背景、業(yè)務場景下的應用，揭示分布式技術的原理及應用原則
	網(wǎng)站流量分析項目	項目名稱：電商網(wǎng)站流量分析項目學習目標：通過電商網(wǎng)站流量分析項目掌握企業(yè)級大數(shù)據(jù)離線分析、實時分析的的架構設計、技術應用及業(yè)務開發(fā)流程業(yè)務背景：網(wǎng)站在運營過程中除了產(chǎn)生大量的業(yè)務數(shù)據(jù)外還會產(chǎn)生大量的用戶行為數(shù)據(jù)，包括用戶訪問網(wǎng)站時鼠標點擊、瀏覽器信息、會話信息、語言環(huán)境、所處地域等相關信息，網(wǎng)站流量分析項目通過大數(shù)據(jù)離線、實時分析技術，分析產(chǎn)生的大量行為數(shù)據(jù)，得到網(wǎng)站運行方關注的各項業(yè)務指標數(shù)據(jù)，引導網(wǎng)站改進其頁面布局、廣告投放等相關運營行為，提升網(wǎng)站運行效率。應用的技術：通過在網(wǎng)站的前臺頁面中進行js埋點收集用戶訪問網(wǎng)站的行為信息；通過Ngnix和Tomcat服務器集群收集用戶產(chǎn)生的行為數(shù)據(jù)，并通過Flume來進行收集、匯聚數(shù)據(jù)并分發(fā)到HDFS和Kafka為離線分析和實時分析提供數(shù)據(jù)來源；離線分析中通過MR、Hive等技術實現(xiàn)業(yè)務指標的離線計算，并通過Sqoop導出結果數(shù)據(jù)到關系型數(shù)據(jù)庫；實時分析中通過Storm消費Kafka中的數(shù)據(jù)實現(xiàn)實時計算，中間數(shù)據(jù)通過HBase進行存儲，結果數(shù)據(jù)通過JDBC寫出到關系型數(shù)據(jù)庫中；較終通過大數(shù)據(jù)可視化技術將結果數(shù)據(jù)展示給較終用戶。計算指標包括網(wǎng)站的 PV、UV、VV、Bounce Rate、獨立 ip、平均在線時長、新獨立訪客、訪問深度等信息。整個系統(tǒng)分為數(shù)據(jù)收集、數(shù)據(jù)傳遞、數(shù)據(jù)分析三部分，數(shù)據(jù)分析又分為離線數(shù)據(jù)分析和實時數(shù)據(jù)分析，應對數(shù)據(jù)分析的不同的實時性需求
大數(shù)據(jù)內存計算框架	SCALA	Scala是一門函數(shù)式編程的語言，是學習Spark的基礎，并在其他場景下也有廣泛應用。Scala是一門多范式的編程語言，集成面向對象編程和函數(shù)式編程的各種特性。Scala視一切數(shù)據(jù)類型皆對象，且支持閉包、lambda等特性，語法簡潔。Scala使用Actor作為并發(fā)模型，與Akka框架自然契合，是一種基于數(shù)據(jù)共享為主要機制的并發(fā)開發(fā)模式。Scala語言靈活、代碼簡介、高并發(fā)處理機制優(yōu)良，特別適合于復雜的函數(shù)型計算，是Spark學習的基礎語言。Scala的語法內容包括：方法定義、變量、字符串、泛型、Option、集合、程序控制結構、匿名函數(shù)、類、Class Case樣例類。模式匹配、traits、extends、函數(shù)式編程、高階函數(shù)、AKKA編程等內容。學員學習完成后可以掌握Scala這門語言，并理解函數(shù)式編程這種編程范式
	SPARK	知名的內存計算框架，可用來構建大型的、低延遲的數(shù)據(jù)分析應用程序，在迭代處理計算方面比Hadoop快100倍以上。Spark構建了自己的整個大數(shù)據(jù)處理生態(tài)系統(tǒng)，如流處理、圖計算、機器學習、類SQL查詢等方面都有自己的技術，并且是Apache項目。基于其良好的設計、超強的性能、良好的編程接口、豐富的生態(tài)體系，在大數(shù)據(jù)開發(fā)領域發(fā)展迅速，特別是較近幾年在國內的大數(shù)據(jù)開發(fā)領域中得到了廣泛的應用。內容包括SparkCore：Spark核心計算模型。包括Spark基礎、RDD彈性分布式數(shù)據(jù)集、DAG有向無環(huán)圖、Spark原理（懶執(zhí)行機制、寬依賴、窄依賴、Transformation類型方法、Action類型方法、流水線優(yōu)化、Shuffle過程等）、Spark中的函數(shù)等內容，通過學習可以掌握Spark核心計算機制。SparkSQL: 基于Spark的SQL編程接口，可以實現(xiàn)在Spark中通過類SQL的方式操作數(shù)據(jù)，因其基于性能優(yōu)良Spark工作，性能相對于Hive有大幅提升SparkStreaming：基于Spark實現(xiàn)的流式計算，相對于Storm在吞吐率、可靠性增加、開發(fā)便利程度上都有質的飛躍SparkMllib：基于Spark的機器學習相關組件，可以實現(xiàn)海量數(shù)據(jù)下的機器學習
	推薦系統(tǒng)項目	學習目標：通過學習推薦系統(tǒng)項目掌握推薦系統(tǒng)相關算法、了解海量數(shù)據(jù)場景下自動化推薦技術、提升綜合運用大數(shù)據(jù)技術的能力、提高對算法、WEB技術、互聯(lián)網(wǎng)架構等技術的應用能力，實現(xiàn)企業(yè)級大數(shù)據(jù)開發(fā)的架構設計、需求分析、業(yè)務實現(xiàn)等環(huán)節(jié)，掌握大數(shù)據(jù)技術的綜合運用能力。業(yè)務背景：在線學習網(wǎng)站在運營時產(chǎn)生了大量用戶的訪問、瀏覽、購買課程、支付等相關數(shù)據(jù)通過這些數(shù)據(jù)為用戶精準推薦相關產(chǎn)品，提升網(wǎng)站的用戶體驗。應用的技術：綜合應用之前所學技術實現(xiàn)，包括大數(shù)據(jù)離線分析技術、大數(shù)據(jù)實時分析技術、WEB技術、可視化技術、算法、機器學習等技術實現(xiàn)該項目。主要過程包括：收集業(yè)務系統(tǒng)數(shù)據(jù)庫中結構化數(shù)據(jù)、日志系統(tǒng)中的行為數(shù)據(jù)，構建基于hive的數(shù)據(jù)倉庫，基于數(shù)據(jù)倉庫中的基礎數(shù)據(jù)，利用推薦算法實現(xiàn)基于商品的推薦系統(tǒng)，為在線學習網(wǎng)站推薦提供支持
Python爬蟲、數(shù)據(jù)可視化	Python語言及爬蟲	Python是一種腳本化語言，具有簡單易用、天然開源、生態(tài)豐富、應用范圍廣泛的特點。在大數(shù)據(jù)技術中，數(shù)據(jù)獲取是第一步驟，其中利用爬蟲獲取互聯(lián)網(wǎng)中公開的數(shù)據(jù)是一種非常常見的場景。Python爬蟲技術在爬蟲領域具有很廣泛的應用，課程中將介紹Python的基本語法、基于Python的爬蟲實現(xiàn)、Scrapy、PySpider等爬蟲框架，使學員具有基于Python的爬蟲開發(fā)能力
Python爬蟲、數(shù)據(jù)可視化	數(shù)據(jù)可視化	數(shù)據(jù)可視化技術是大數(shù)據(jù)處理過程中的結果展示相關技術，通過相關工具將分析結果展示為直觀的、美觀的圖形頁面，為較終用戶提供展示效果。內容包括：利用Echarts等Web前端技術實現(xiàn)大數(shù)據(jù)可視化利用相關大數(shù)據(jù)可視化工具實現(xiàn)大數(shù)據(jù)可視化等內容

數(shù)據(jù)挖掘與機器學習算法階段

課程模塊	課程內容	學習內容
算法基礎	統(tǒng)計學基礎	統(tǒng)計學是關于認識客觀現(xiàn)象總體數(shù)量特征和數(shù)量關系的科學。學習本課程的目的在于使學生掌握收集、處理、分析、解釋數(shù)據(jù)的能力，并能從數(shù)據(jù)中得出結論或結果。能夠通過搜集、整理、分析統(tǒng)計資料，認識客觀現(xiàn)象數(shù)量規(guī)律性，并應用于所專修的專業(yè)領域去解決實際問題
算法基礎	R語言基礎	R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的工具
算法模型	回歸模型	回歸模型研究的問題因變量（y）和一個或多個自變量（x）的函數(shù)關系，可以用于預測，是現(xiàn)代預測學的基礎。此外也可以用于分類。學習的算法有：較小二乘回歸、逐步回歸、嶺回歸、LASSO回歸、LAR回歸等
	正則化模型	正則化模型的思想是基于一個基礎模型（比如較小二乘回歸）引入懲罰措施，目的是使模型具有更好的泛化能力
	決策樹模型	數(shù)據(jù)挖掘中決策樹是一種常用算法模型，既可以用來作預測，也可以用于數(shù)據(jù)分類。決策樹建立的模型不是函數(shù)式，而是一個決策樹，易于理解。學習的算法有：ID3算法樹、C4.5算法樹、CART算法樹等
	判別模型	判別模型模型的特點基于樣本數(shù)據(jù)建立判別函數(shù)，通過判別函數(shù)判別新樣本的類歸屬問題。學習的算法有：Fisher判別、K-較近鄰判別法等
	集成模型	集成模型的特點將多個弱模型組合在一起。所以可以提高模型的精度和準確度。所以深受歡迎。學習的算法有：Bagging算法、Boosting 算法、Random Forest算法等
	聚類模型	聚類算法的特點一般是基于距離度量來對數(shù)據(jù)做聚類分析。學習的算法有：層次聚類法、K-Means聚類等
	貝葉斯模型	貝葉斯模型的核心思想是基于貝葉斯公式（定理），是一個種概率模型，可以應用自動推理，文本分析等領域。學習的算法有：樸素貝葉斯分類器、貝葉斯信念網(wǎng)絡等
	SVM模型	支持向量機主要解決分類問題，擅長處理高維數(shù)據(jù)，多應用于模式識別領域，比如手寫體識別，圖片識別等場景
	推薦系統(tǒng)模型	主要基于ALS算法實現(xiàn)基于用戶的推薦和基于物品的推薦。推薦系統(tǒng)模型是購物平臺或新聞訊息平臺使用較多的一種模型實現(xiàn)