hadoop安装mysql 怎样在hadoop伪分布式集群上安装mysql
怎样在hadoop伪分布式集群上安装mysql
先回答你标题的提问:hadoop完全分布式:3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式:一个节点看了以上两点相信你已经明白了,“用vm多装几个unbuntu配置完全分布式,然后做实验”这是完全可行的。实际上我们通常也是这么做的,当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议:如果你要开发基于Hadoop的分布式程序,伪分布式足够你实验了。如果你要做很多其他事情,比如玩玩cm,玩玩oozie,玩玩hbase,建议装多个虚拟机。
hadoop和mysql的结合作用方案
首先你的源数据是想存在mysql里,还是存到hadoop 里。
有一些方案是把最原始的数据,存入hadoop中。定期做清洗和分析,把处理好的数据放到mysql库里,供web应用读取,展示到页面上。
hadoop安装时启动start-all.cmd时报出:
报错表面提示,start-all.cmd这个命令已经被弃用,linux如果命令被启用,中间版本只提示,但是不会实效,windows可能直接就已经实效了.另外建议启动hadoop集群不要用start-all的命令,这样不利于理解整个集群的运作模式,还是通过hdfs(hdfs-daemon.cmd namenode/secondnamenode/datanode start/stop)和yarn(yarn-daemon.cmd resourcemanager/nodemanager start/stop)单独启动进程比较好.
另外,建议在学习或者使用这种开源项目的时候安装或部署的路径的所有文件夹名都不要有空格和中文.
希望我的回答对你有所帮助,谢谢.