教育行業(yè)A股IPO第一股（股票代碼 003032）

全國(guó)咨詢/投訴熱線：400-618-4000

怎樣使用Spark方法完成RDD的創(chuàng)建？

更新時(shí)間:2021年03月23日17時(shí)45分 來源:傳智教育 瀏覽次數(shù):


Spark可以通過并行集合創(chuàng)建RDD。即從一個(gè)已經(jīng)存在的集合、數(shù)組上，通過SparkContext對(duì)象調(diào)用parallelize()方法創(chuàng)建RDD。

若要?jiǎng)?chuàng)建RDD，則需要先創(chuàng)建一個(gè)數(shù)組，再通過執(zhí)行parallelize()方法實(shí)現(xiàn)，具體代碼如下：

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26


執(zhí)行上述代碼后，從返回結(jié)果arrRDD的屬性中看出RDD創(chuàng)建完成。



猜你喜歡：

Combiner組件創(chuàng)建和使用演示【大數(shù)據(jù)文章】

怎樣使用Linux和HDFS創(chuàng)建RDD？

RDD有什么特征？

DataFrame是什么意思?與RDD相比有哪些優(yōu)點(diǎn)？

傳智教育大數(shù)據(jù)項(xiàng)目開發(fā)培訓(xùn)

0 分享到：
和我們?cè)诰€交談！