当前位置:首页>开发>正文

spark的rdd和java直接调用javardd有什么不同 hadoop和spark是什么关系啊

2023-05-31 04:21:24 互联网 未知 开发

 spark的rdd和java直接调用javardd有什么不同 hadoop和spark是什么关系啊

spark的rdd和java直接调用javardd有什么不同

没啥大的区别,就是spark支持不同的开发语言而已。spark建议用scalc开发,毕竟spark用Scala写的。就像hadoop一样,用java写的,就推荐用java开发一个道理。实在说有啥大的区别,我觉得最大的差别应该就是大家的心里作用吧!

hadoop和spark是什么关系啊?

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
优势应该在于分布式架构比较相似能快速上手吧

spark dataframe可以干什么

DataFrame是Spark SQL的一种编程抽象,它是一张分布式的表,是数据类型为Row的DataSet,可以简单认为:DataFrame是DataSet[Row]的别名。
你说我们得到了一张表可以做些什么呢?那些数据库的操作都可以,比如增删改查,联结操作等等,都是可以的。
推荐你去Spark官网查看官方文档,然后结合官方文档、博客还有相关书籍,这样学起来比较快。

最新文章

随便看看