為了解決信息過(guò)載和用戶無(wú)明確需求的問(wèn)題,找到用戶感興趣的物品,才有了個(gè)性化推薦系統(tǒng)。其實(shí),解決信息過(guò)載的問(wèn)題,代表性的解決方案是分類目錄和搜索引擎,如hao123,電商首頁(yè)的分類目錄以及百度,360搜索等。不過(guò)分類目錄和搜索引擎只能解決用戶主動(dòng)查找信息的需求,即用戶知道自己想要什么,并不能解決用戶沒(méi)用明確需求很隨便的問(wèn)題... 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |推薦系統(tǒng)
2011年在海量數(shù)據(jù)處理領(lǐng)域,Hadoop是人們津津樂(lè)道的技術(shù),Hadoop不僅可以用來(lái)存儲(chǔ)海量數(shù)據(jù),還以用來(lái)計(jì)算海量數(shù)據(jù)。因?yàn)槠涓咄掏隆⒏呖煽康忍攸c(diǎn),很多互聯(lián)網(wǎng)公司都已經(jīng)使用Hadoop來(lái)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù),高頻使用并促進(jìn)了Hadoop生態(tài)圈的各項(xiàng)技術(shù)的發(fā)展... 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |處理數(shù)據(jù),Hadoop,Storm
Spark SQL可以通過(guò)JDBC從關(guān)系型數(shù)據(jù)庫(kù)中讀取數(shù)據(jù)的方式創(chuàng)建DataFrame,通過(guò)對(duì)DataFrame一系列的計(jì)算后,還可以將數(shù)據(jù)再寫回關(guān)系型數(shù)據(jù)庫(kù)中... 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |JDBC,MySQL,Spark,SQL
Spark SQL 是一個(gè)用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)的spark組件。它提供了一個(gè)叫做DataFrames的可編程抽象數(shù)據(jù)模型,并且可被視為一個(gè)分布式的SQL查詢引擎... 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |Spark,SQL
Spark是用Scala語(yǔ)言開(kāi)發(fā)的,目前對(duì)Scala語(yǔ)言支持較好的是IDEA的插件,這里我們編寫一個(gè)Spark入門級(jí)程序,然后用Maven編譯成jar包,然后提交到集群... 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |Spark,Spark入門
MapReduce中的GroupingComparator應(yīng)用案例 在日常的數(shù)據(jù)統(tǒng)計(jì)分析中,常常會(huì)有類似如下的求分組最大值統(tǒng)計(jì)需求,用到的數(shù)據(jù)示例如下: itemid amount date … 10001 136.6 2015-1-12 … 10001 165.5 2015-1-12 … 10002 122.5 2015-1-12 … 10002 166.88 2015-1-12 … 10003 189.65 2015-1-12 … 10003 198.62 2015-1-13 … 10001 278.6 2015-1-13 … 10001 143.6 2015-1-13 … 查看全文>>
大數(shù)據(jù)技術(shù)文章2015-12-29 |傳智播客云計(jì)算學(xué)科 |云計(jì)算,應(yīng)用案例
北京校區(qū)