全部 大數(shù)據(jù)新聞動(dòng)態(tài) 大數(shù)據(jù)技術(shù)文章 大數(shù)據(jù)常見(jiàn)問(wèn)題 技術(shù)問(wèn)答

• • 

    HDFS是什么？HDFS的演變過(guò)程？

    HDFS,全稱(chēng)Hadoop Distributed File System,意思是分布式文件系統(tǒng)。Hadoop分布式文件系統(tǒng)是指被設(shè)計(jì)成適合du運(yùn)行在通用硬件(commodity hardware)上的分zhi布式文件系統(tǒng)。接下來(lái)，我們從傳統(tǒng)的文件系統(tǒng)入手，開(kāi)始學(xué)習(xí)分布式文件系統(tǒng)，以及分布式文件系統(tǒng)是如何演變而來(lái)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-10-15 |傳智播客 |HDFS,HDFS是什么,大數(shù)據(jù),HDFS是怎樣工作的

  • 

    oozie框架基礎(chǔ)視頻教程：大數(shù)據(jù)調(diào)度系統(tǒng)構(gòu)成

    從零開(kāi)始講解大數(shù)據(jù)調(diào)度系統(tǒng)構(gòu)成，集成大數(shù)據(jù)計(jì)算任務(wù)構(gòu)建大數(shù)據(jù)工作流，基于Oozie構(gòu)建實(shí)現(xiàn)企業(yè)級(jí)自動(dòng)化任務(wù)開(kāi)發(fā)。提取碼：esu8 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |oozie框架基礎(chǔ)視頻教程

  • 

    大數(shù)據(jù)遷移方案|實(shí)戰(zhàn)視頻教程【傳智播客】

    從零開(kāi)始講解大數(shù)據(jù)業(yè)務(wù)及數(shù)據(jù)采集和遷移需求，以案例驅(qū)動(dòng)的方式講解基于Sqoop構(gòu)建高性能的分布式數(shù)據(jù)遷移和同步平臺(tái)。提取碼：964s 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |大數(shù)據(jù)遷移方案

  • 

    數(shù)據(jù)湖架構(gòu)開(kāi)發(fā)視頻教程|傳智教育

    對(duì)數(shù)據(jù)湖概念進(jìn)行介紹，并通過(guò)Delta Lake技術(shù)配合Hadoop、Spark完成數(shù)據(jù)湖架構(gòu)的搭建，并介紹通過(guò)AWS構(gòu)建數(shù)據(jù)湖的方式。提取碼：afhg 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |數(shù)據(jù)湖架構(gòu)開(kāi)發(fā)視頻教程

  • 

    大數(shù)據(jù)疫情防控平臺(tái)搭建教程【傳智播客】

    實(shí)戰(zhàn)式教學(xué)，綜合運(yùn)用多種技術(shù)，實(shí)現(xiàn)從數(shù)據(jù)爬取到數(shù)據(jù)分析再到數(shù)據(jù)可視化全流程。提取碼：oz7r 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-09-11 |傳智播客 |大數(shù)據(jù)疫情防控平臺(tái)搭建教程

  • 

    Hive2.x壓縮配置教程

    除了創(chuàng)建表時(shí)指定保存數(shù)據(jù)時(shí)壓縮，在查詢(xún)分析過(guò)程中，Map的輸出也可以進(jìn)行壓縮。由于map任務(wù)的輸出需要寫(xiě)到磁盤(pán)并通過(guò)網(wǎng)絡(luò)傳輸?shù)絩educer節(jié)點(diǎn)，所以通過(guò)使用LZO、LZ4或者Snappy這樣的快速壓縮方式，是可以獲得性能提升的，因?yàn)樾枰獋鬏數(shù)臄?shù)據(jù)減少了。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-07-30 |傳智播客 |Hive2.x壓縮配置教程

  • 

    大數(shù)據(jù)實(shí)戰(zhàn)之反爬蟲(chóng)系統(tǒng)視頻教程【大數(shù)據(jù)培訓(xùn)】

    通過(guò)不斷的訂座但不支付，利用這些虛占的座位進(jìn)行非法盈利，通過(guò)系統(tǒng)日志分析等，發(fā)現(xiàn)官網(wǎng)存在大量的非法占座會(huì)員及非會(huì)員手機(jī)號(hào)用戶(hù)。 為了限制偽裝技術(shù)越來(lái)越強(qiáng)的爬蟲(chóng)訪(fǎng)問(wèn)和惡意占座行為，需要開(kāi)發(fā)大數(shù)據(jù)防爬工具。 項(xiàng)目采用Lua+Spark+Redis+Hadoop框架搭建,包含狀態(tài)監(jiān)控,反爬指標(biāo)配置,運(yùn)營(yíng)指標(biāo)監(jiān)控展示等功能。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-06-02 |傳智播客 |反爬蟲(chóng)系統(tǒng)

  • 

    Spark Streaming框架有什么特點(diǎn)？【大數(shù)據(jù)培訓(xùn)】

    Spark Streaming是構(gòu)建在Spark上的實(shí)時(shí)計(jì)算框架，且是對(duì)Spark Core API的一個(gè)擴(kuò)展，它能夠?qū)崿F(xiàn)對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，并具有很好的可擴(kuò)展性、高吞吐量和容錯(cuò)性。Spark Streaming具有如下顯著特點(diǎn)。 查看全文>>

    大數(shù)據(jù)技術(shù)文章2020-05-29 |Spark Streaming框架特點(diǎn) |Spark Streaming框架

  << < 1 ... 9 10 11 12 13 14 15 ... 35 > >>