当前位置:首页>开发>正文

python开发spark环境该如何配置,又该如何操作 Spark on YARN怎么配置的

2023-04-16 14:25:31 互联网 未知 开发

 python开发spark环境该如何配置,又该如何操作 Spark on YARN怎么配置的

python开发spark环境该如何配置,又该如何操作?

1)输入:welcome = "Hello!"  回车
再输入:print welcome 或者直接 welcome    回车就可以看到输出  Hello!
2)
[html] view plaincopy
welcome = "hello"      
you = "world!"      
print welcome you

输出:helloworld!
以上使用的是字符串,变量还有几种类型:数,字符串,列表,字典,文件。其他的和别的语言类似,下面先讲下列表:
3)
[html] view plaincopy
my_list = []     //这个就产生了一个空的列表。然后给它赋值     
my_list = [1,2]     
print my_list     
my_list.append(3)    
print  my_list4)字典:

[html] view plaincopy
contact = {}  
contact["name"]="shiyuezhong"     
contact["phone"]=123321115)结合列表和字典:
[html] view plaincopy
contact_list=[]     
contact1={}     
contact1[name]=shiyuezhong     
contact1[phone]=12332111     
contact_list.append(contact1)     
contact2={}     
contact2[name]=buding     
contact2[phone]=88888888     
contact_list.append(contact2)

Spark on YARN怎么配置的

export HADOOP_CONF_DIR=/etc/hadoop/conf
./spark-submit --class com.lxw1234.test.WordCount --master yarn-cluster --executor-memory 4G --num-executors 10 /home/lxw1234/spark-wordcount.jar /logs/2015-07-14/ /tmp/lxw1234/output/

具体可搜索"lxw的大数据田地",里面有Spark On Yarn的详细介绍。

最新文章