大數(shù)據(jù)實(shí)戰(zhàn)之反爬蟲(chóng)系統(tǒng)視頻教程【大數(shù)據(jù)培訓(xùn)】

	反爬蟲(chóng)系統(tǒng)【Lua+Spark+Redis+Hadoop框架搭建】
	初級(jí)	共19課
	很多訂票網(wǎng)站的官網(wǎng)在互聯(lián)網(wǎng)提供查詢(xún)、預(yù)訂等服務(wù)，如：各種航空公司的官網(wǎng)、去哪網(wǎng)、攜程等，有大量正常用戶(hù)訪(fǎng)問(wèn)的同時(shí)，也存在大量爬蟲(chóng)。爬蟲(chóng)消耗了系統(tǒng)資源，但是卻沒(méi)有轉(zhuǎn)化成銷(xiāo)量，導(dǎo)致系統(tǒng)資源虛耗，嚴(yán)重時(shí)會(huì)造成系統(tǒng)波動(dòng)，影響正常用戶(hù)訪(fǎng)問(wèn)購(gòu)票。提取碼：t3ld
	下載完整視頻（已有20534人下載）

課程介紹

很多訂票網(wǎng)站的官網(wǎng)在互聯(lián)網(wǎng)提供查詢(xún)、預(yù)訂等服務(wù)，如：各種航空公司的官網(wǎng)、去哪網(wǎng)、攜程等，有大量正常用戶(hù)訪(fǎng)問(wèn)的同時(shí)，也存在大量爬蟲(chóng)。爬蟲(chóng)消耗了系統(tǒng)資源，但是卻沒(méi)有轉(zhuǎn)化成銷(xiāo)量，導(dǎo)致系統(tǒng)資源虛耗，嚴(yán)重時(shí)會(huì)造成系統(tǒng)波動(dòng)，影響正常用戶(hù)訪(fǎng)問(wèn)購(gòu)票。 大量熱門(mén)路線(xiàn)的好車(chē)次和航線(xiàn)的特價(jià)艙位吸引正常用戶(hù)通過(guò)官網(wǎng)訂票的同時(shí)，也存在大量惡意占座的非法代理（黃牛）。通過(guò)不斷的訂座但不支付，利用這些虛占的座位進(jìn)行非法盈利，通過(guò)系統(tǒng)日志分析等，發(fā)現(xiàn)官網(wǎng)存在大量的非法占座會(huì)員及非會(huì)員手機(jī)號(hào)用戶(hù)。 為了限制偽裝技術(shù)越來(lái)越強(qiáng)的爬蟲(chóng)訪(fǎng)問(wèn)和惡意占座行為，需要開(kāi)發(fā)大數(shù)據(jù)防爬工具。 項(xiàng)目采用Lua+Spark+Redis+Hadoop框架搭建,包含狀態(tài)監(jiān)控,反爬指標(biāo)配置,運(yùn)營(yíng)指標(biāo)監(jiān)控展示等功能。推薦了解傳智播客大數(shù)據(jù)課程。

課程內(nèi)容：

1、項(xiàng)目整體介紹和數(shù)據(jù)采集模塊詳細(xì)介紹

2、openresty安裝和lua語(yǔ)法學(xué)習(xí)

3、數(shù)據(jù)采集模塊開(kāi)發(fā)和反爬蟲(chóng)工程創(chuàng)建及鏈路統(tǒng)計(jì)功能開(kāi)發(fā)

4、數(shù)據(jù)預(yù)處理模塊：數(shù)據(jù)清洗和脫敏和打標(biāo)簽及數(shù)據(jù)解析

5、"數(shù)據(jù)結(jié)構(gòu)化和數(shù)據(jù)推送 spark系統(tǒng)監(jiān)控功能開(kāi)發(fā) 實(shí)現(xiàn)反爬平臺(tái)系統(tǒng)監(jiān)控6、爬蟲(chóng)識(shí)別指標(biāo)計(jì)算7、爬蟲(chóng)數(shù)據(jù)備份恢復(fù)和離線(xiàn)計(jì)算

適用人群：

1、對(duì)大數(shù)據(jù)Spark感興趣的在校生及應(yīng)屆畢業(yè)生。

2、對(duì)目前職業(yè)有進(jìn)一步提升要求，希望從事大數(shù)據(jù)行業(yè)高薪工作的在職人員。

3、對(duì)大數(shù)據(jù)行業(yè)感興趣的相關(guān)人員。

課程目錄：

第一章 項(xiàng)目概述

1. 系統(tǒng)介紹

2. 模塊介紹

3. 數(shù)據(jù)流程描述

4. 邏輯架構(gòu)設(shè)計(jì)

5. 功能描述

6. 系統(tǒng)架構(gòu)

第二章  離線(xiàn)數(shù)據(jù)入庫(kù)

1. 數(shù)據(jù)上傳

2. 創(chuàng)建數(shù)據(jù)表

3. 數(shù)據(jù)拆分

4. 數(shù)據(jù)表加載

第三章 離線(xiàn)數(shù)據(jù)整理

1. 業(yè)務(wù)SQL語(yǔ)句編寫(xiě)

2. 整理SQL語(yǔ)句生成結(jié)果表的結(jié)構(gòu)及字段

3. 根據(jù)結(jié)果表所需的字段，在原始表中抽取該字段

4. 數(shù)據(jù)加工及入庫(kù)

5. 創(chuàng)建索引

第四章 實(shí)時(shí)數(shù)據(jù)生成及計(jì)算

1. Mysql 數(shù)據(jù)寫(xiě)入

2. canal 解析mysql實(shí)時(shí)數(shù)據(jù)寫(xiě)入本地

3. Flume收集數(shù)據(jù)將數(shù)據(jù)上傳至集群

4. SparkStreaming 實(shí)時(shí)計(jì)算

猜你喜歡：

Spark有什么特點(diǎn)？
2分鐘快速了解kafka
哪些領(lǐng)域適合應(yīng)用機(jī)器學(xué)習(xí)？