教育行業(yè)A股IPO第一股（股票代碼 003032）

全國(guó)咨詢/投訴熱線：400-618-4000

為什么選擇kafka采集數(shù)據(jù)？

更新時(shí)間:2021年03月04日18時(shí)22分 來源:傳智教育 瀏覽次數(shù):

為什么選擇kafka采集數(shù)據(jù)？大數(shù)據(jù)采集層主要可以使用Flume， Kafka兩種技術(shù)。

Flume：Flume 是管道流方式，提供了很多的默認(rèn)實(shí)現(xiàn)，讓用戶通過參數(shù)部署，及擴(kuò)展API。

Kafka：Kafka是一個(gè)可持久化的分布式的消息隊(duì)列。 Kafka是一個(gè)非常通用的系統(tǒng)。你可以有許多生產(chǎn)者和很多的消費(fèi)者共享多個(gè)主題Topics。

相比之下，F(xiàn)lume是一個(gè)專用工具被設(shè)計(jì)為旨在往HDFS，HBase發(fā)送數(shù)據(jù)。它對(duì)HDFS有特殊的優(yōu)化，并且集成了Hadoop的安全特性。所以，Cloudera 建議如果數(shù)據(jù)被多個(gè)系統(tǒng)消費(fèi)的話，使用Kafka；如果數(shù)據(jù)被設(shè)計(jì)給Hadoop使用，使用Flume。



猜你喜歡：

Kafka的常用API介紹[大數(shù)據(jù)培訓(xùn)]

什么是Apache Kafka?

2分鐘快速了解kafka[大數(shù)據(jù)培訓(xùn)]

傳智教育大數(shù)據(jù)培訓(xùn)課程

0 分享到：
和我們?cè)诰€交談！