第六周-大數(shù)據(jù)學習班，深圳模具廠，模塑科技

回顧第5周  ， 上周的 Hbase 軟件， 盧老師提供過百度云盤的記錄。   或者自己下載。

Hbase  增刪改查 的 操作；

     多種類型可以混合應用

可以增加邏輯判斷和計算， 在條件中， 這是  scala 的強大之處。

這種是遞歸的函數(shù)， 也就是函數(shù)中調(diào)用了自己本身的函數(shù)

變長數(shù)組，定長數(shù)組， 可變數(shù)組，  可以相互轉(zhuǎn)化。

reverse  , 這個是  取反 的意思，  也就是倒序。

%2  取模 ， 也就是去偶數(shù)

.min 是進行取小。 

映射，必須有鍵值對，有K 有 V,   對鍵值對的調(diào)換、

Scala 主要是計算  文本搜索統(tǒng)計中， 得到的統(tǒng)計結(jié)果， 

MAP 映射相關的操作。

1、壓平， 

2、鍵值對，

3、統(tǒng)計，

4、鍵值對調(diào)換，

5、在進行排序，

6、再次統(tǒng)計。

定義元組 

這個元組， 也就是一個容器， 可以對他取值。

  這就是結(jié)果。   

parton 用的很多，  

=ＪａＶａ　中的重載

這些就是   SCALA 的 類的運用 

上周  Hbase  和  Scala的復習

接下來講    kafaka     再講    zookeppr

-------------------------------------------------------------------------------------------------------------------------------------------------

KAFAKA   ，首先要了解  KAFAKA 的如下內(nèi)容

產(chǎn)生的背景， 一個分布式的發(fā)布以及訂閱的消息系統(tǒng)，她最初由  linkdin 開發(fā)的， 

使用   scala 語音書寫的。  最終成為 Apache項目的一部分，可劃分， 多訂閱者

的

舉例說明：   灑水車是  kafaka  裝水就是 生產(chǎn) ，     灑水就是消費的過程。

灌水的速度 和 灑水的速度是多少？    就是消息

-----------------下午開始學習   KAFAKA  

parttion  有序列號， 可以并行處理更多的數(shù)據(jù)， 每個消息都有ID ， 也叫 offset 。

一個生產(chǎn)交易系統(tǒng)，  每天產(chǎn)生 1億的訂單量 ， （分布在很多省）  ，  需要全國的銷量監(jiān)控，  以及各個省份的， 

匯總到北京， 可以做到， 各個省份的排名， 

1、 實際放入 的數(shù)據(jù)， 是實時產(chǎn)生的， 并不是同時產(chǎn)生的， 所以輸入到 KAFKA 中， 然后由 Spark 取出來計算出來。

      具體的接口

2、統(tǒng)計第一步，  第二步， 預測 ， 學習，  挖掘 。   甚至可以人臉識別。 

KaFKa 的 Message  ， 也就是把 Message  。    下周講      10-13  上課 。

Hbase  是No SQL數(shù)據(jù)庫 ，