hadoop,spark用什么语言编程 Spark 中用 Scala 和 java 开发有什么区别
hadoop,spark用什么语言编程
如果条件许可,公司提供Spark集群机器,在Spark集群机器上进行开发和学习是最好的; 如果条件不允许,在亚马逊云计算平台上构建Spark集群环境也是一种非常理想的选择; 如果纯粹是学习使用,安装单机版的Spark也是可以的
Spark 中用 Scala 和 java 开发有什么区别
1,构建系统的选择,sbt更合适用来构建Scala工程,maven更合适用来构建Java工程
2,对于spark中的API来说,Java和Scala有差别,但差别并不大
3,如果用Scala开发spark原型程序,可以用spark-shell“打草稿”,或者直接使用spark-shell做交互式实时查询
4,用Scala代码量将减少甚至一个数量级,不过Scala的使用门槛较高
建议:使用Scala构建spark作业,因为spark本身为sbt所构建,同时使用Scala开发spark作业将有助于理解spark的实现机制