当前位置:首页>开发>正文

spark是怎么区分transformer和action算子的

2023-05-26 01:28:42 互联网 未知 开发

 spark是怎么区分transformer和action算子的

spark是怎么区分transformer和action算子的

我看来,Spark编程中的action算子的作用就像一个触发器,用来触发之前的transformation算子。transformation操作具有懒加载的特性,你定义完操作之后并不会立即加载,只有当某个action的算子执行之后,前面所有的transformation算子才会全部执行。常用的action算子如下代码所列:(Java版)
package cn.spark.study.core
import java.util.Arrays
import java.util.List
import java.util.Map
import org.apache.spark.SparkConf
import org.apache.spark.api.java.JavaPairRDD
import org.apache.spark.api.java.JavaRDD
import org.apache.spark.api.java.JavaSparkContext
import org.apache.spark.api.java.function.Function
import org.apache.spark.api.java.function.

最新文章