hadoop常用shell命令怎么用 spark怎么用shell提交任务

hadoop常用shell命令怎么用

一、常用的hadoop命令
1、hadoop的fs命令
#查看hadoop所有的fs命令
hadoop fs

#上传文件（put与copyFromLocal都是上传命令）
hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk
hadoop fs -copyFromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk

#下载命令(get与copyToLocal都是下载命令)
hadoop fs -get hdfs://hucc01:9000/jdk jdk1.hadoop fs -copyToLocal hdfs://hucc01:9000/jdk jdk1.
#将本地一个或者多个文件追加到hdfs文件中（appendToFile）
hadoop fs -appendToFile install.log /words

#查询hdfs的所有文件（ls）
hadoop fs -ls /

#帮助命令（help）
hadoop fs -help fs

#查看hdfs文件的内容（cat和text）
hadoop fs -cat /words
hadoop fs -text /words

#删除hdfs文件(rm)
hadoop fs -rm -r /words

#统计hdfs文件和文件夹的数量（count）
hadoop fs -count -r /

#合并hdfs某个文件夹的文件，并且下载到本地（getmerge）
hadoop fs -getmerge / merge

#将本地文件剪切到hdfs，相当于对本地文件上传后再删除（moveFormLocal）
hadoop fs -moveFromLocal words /

#查看当前文件系统的使用状态（df）
hadoop fs -df

二、常用的hdfs命令（这个用的比较多）
用法跟hadoop命令一样，推荐2.0之后使用hdfs命令
hdfs dfs

spark怎么用shell提交任务

所用的应用程序最后的提交都是由spark-submit完成的，其他程序的调用只是对spark-submit的参数进行设置后，调用spark-submit来完成应用程序的提交到集群的操作。

如何在hive的shell中使用hadoop shell 和linux的命令

其实把hive做到shell里面最大的优势是可以定时执行，比如之前做一个论坛用户日志分析的时候，需要定时对hive导入数据，并在hive里面对数据做预处理，最后把hive处理的数据导入到hbase中 这样的实现起来用java显然就没有用shell有优势，因为shell写好了丢那 执行linux定时任务就好了，但是shell有个明显的缺陷就是不灵活，不能根据需求和功能做灵活调用，这时候做到java里面就比用shell写死的好很多，比如做即时需求，点某个功能按键的时候就需要跑hive，明显就是java更好嘛

使用Shell命令上机完成以下操作 救急啊啊 啊

1. mkdir mysub  && cd mysub
2. pwd
3. echo $HOME $USER
4. export PATH=$PATH:$HOME
5. echo $PATH
6. ls -l $HOME/*.ba $HOME/*.pr > my7. ps -ef | grep tty  > my8. cat my1 my2 > my9. tar cvf myf.tar.gz  *
10. mv  my3 ../
11. rm my1 my12. vi
13. 按 i 进入编辑模式，按esc退出编辑模式，按 : 输入命令 :save mysh, 输入命令 :wq保存退出
14. vi &
15. chmod x mysh
16. cp  mysh ../
17. fg          后面追加 sleep 60 && fg
18. mysh &
19. ps -fu $USER | grep  mysh | awk {print $2}
20. kill -15   pid