当前位置:首页>开发>正文

计算机装系统实验报告 hadoop怎样在window上做实验

2023-04-17 12:43:28 互联网 未知 开发

 计算机装系统实验报告 hadoop怎样在window上做实验

计算机装系统实验报告

装系统很简单的,通过U盘来重装也非常方便,尤其是电脑蓝屏或黑屏的时候,用U盘也能重装。准备一个U盘,下载快启动U盘启动盘制作工具,先把U盘制作成启动盘,然后另外下载一个系统,复制到制作好的U盘中,接着把U盘插到电脑,重启电脑的时候长按启动快捷键进入bios设置U盘启动确认进入快启动主菜单选择Win8pe,进pe会自动弹出快启动一键装机工具,你只要选择U盘中的系统镜像进行安装即可(http://www.kqidong.com/help/767.html),安装的系统都比较干净,不会自带删不掉的软件,看起来好像很复杂,其实很简单的,希望帮到你。

hadoop怎样在window上做实验

首先,安装CygWin(在官网上下的最新版),一定要选上openssh和openssl的包(缺省是不安装的)。 CygWin在各个计算机上的安装目录可以不同。要把CygWin安装目录下的bin目录、usr/bin目录、usr/sbin目录放到系统环境变量Path中。因为,hadoop会执行一些Linux/UNIX形式的命令如bash、whoami等,而这些命令在CygWin中是以Windows系统中的可执行文件形式存放在前面说的目录中。
CygWin装好之后,以管理员的身份运行Cygwin Terminal,执行ssh-host-config配置SSHD服务。CygWin会在Windows系统中新建一个管理员帐号cyg_server(可以按自己换别的),这个帐号就用来跑hadoop的程序了。过程中有好多地方问yes还是no,我试过全部选yes也试过个别选no(按照网上的资料),结果没发现有什么差别。ssh-host-config执行成功后,SSHD会作为一个系统服务在后台运行,每次系统启动都自动开启。这时,要注意检查或配置Windows的防火墙配置,要放开到SSHD服务的入站连接,我的做法是放开到Cygwin安装目录/usr/sbin/sshd的入站连接。
Cygwin Terminal下执行mkpasswd -l > /etc/passwd和mkgroup -l > /etc/group,主要用途是将Windows的帐号和组别同步到CygWin下。
Windows系统中切换到cyg_server用户(这个帐号的描述缺省是Privileged server),运行Cygwin Terminal,执行ssh-keygen,一直敲回车就行。用ls -a可以看到有一个.ssh的目录,把里面的id_rsa,pub导入到authorized_keys,然后把NameNode上的这个authorized_keys文件,拷贝到所有DataNode和TaskTracker的相同位置下,即 cyg_server用户主目录下的.ssh目录。这样cyg_server用户就可以不需要密码就可以远程登录各个计算机和执行命令。
Hadoop是用java开发的,因此,系统中要有java的运行环境,可以从Oracle的官网下最新的JDK安装,注意是JDK,不是JRE(因为需要用到bin目录下的server目录)。安装的位置必须全部计算机都一样(因为碰到过在DataNode上找不到java程序的情况),那也就是在C:下面了,给安装目录起一个简短的名称(不要带空格)。在系统环境变量Path中,将JDK安装目录下的bin目录所在路径添加进去。跟SSHD一样,要修改Windows防火墙的入站规则,放开到JDK的java程序网络连接。
到这里,Hadoop主要的运行条件基本具备了,可以安装Hadoop了。过程很简单,从hadoop.apache.org下载一个hadoop的tar.gz包(比如1.1.2版本),解压到一个目录下就可以了。这里要注意的是,最好全部操作都在Windows的cyg_server帐号下执行,而且,hadoop解压后存放的目录要所有计算机都一样,例如都放在C:hadoop-1.1.2目录下。
Hadoop是用java开发的,虽然java号称支持跨平台运行。但是,基于Linux的Hadoop移到Windows平台上时,依然出现严重水土不服,即使是在Cygwin的环境下也一样。同样一段java代码,在Linux下的表现和在Windows下的表现会不一样,导致Windows下运行的Hadoop经常出现异常而终止运行。
实验中大部分的时间都是用来探究引起水土不服的原因,把它消除掉。 下面介绍一下对这些问题采取的一些解决办法。
众所周知,文件路径在Linux下和在Windows下的解析是不一样的。在Cygwin中运行Windows版本的java时,两种不同形式的文件路径一起出现会导致程序异常。Cygwin下对C:hadoop-1.1.2的解析是/cygdrive/c/hadoop-1.1.2,而Windows版本的java对/cygdrive/c/hadoop-1.1.2的解析又变成C:cygdrivechadoop-1.1.2,由于这是一个不存在的文件路径,所以Hadoop经常抛出异常说文件找不到,或者自己直接把这个路径创建了(例如,DataNode存放HDFS文件块时寻找dfs.data.dir时)。要解决这个问题,可以利用Windows7的文件链接的特性(类似于linux的链接ln -s),在C:下创建cygdrive目录,在这个目录里执行MKLINK /D c C:创建一个到目的目录的目录链接。这样当java访问C:cygdrivechadoop-1.1.2时就会如我们所愿访问到C:hadoop-1.1.2这个目录。

制取氧气的实验报告

实验名称:加热高锰酸钾制取氧气
实验原理:高锰酸钾受热分解生成氧气
仪器药品:高锰酸钾,铁架台,导气管,试管,集气瓶,酒精灯,水槽
实验步骤:①查----检查装置气密性。

②装----装入药品,用带导管的橡皮塞塞紧

③定----用铁夹把试管固定在铁架台上,并使管口略向下倾斜,药品平铺在试管底部。

④点----点酒精灯,给试管加热,排出管内空气。

⑤收----用排水法收集氧气。

⑥离----将导管从水槽内取出。

⑦熄----熄灭酒精灯。
(可谐音记为:茶庄定点收利息)
实验记录:紫色晶体加热后变成黑色

实验结论:2KMnO4→K2MnO4+MnO2+O2↑(反应条件是加热)

hadoop 怎样测试安装成功

起动集群,start-all.sh 然后再看看namenode datanode jobtracker以及tasktracker secondaryname是否都启动了 如果是 就成功了

如何验证hadoop client安装是否成功

5.1. 进入hadoop目录
cd /home/hadoop/hadoopinstall/hadoop
5.2. 运行bin目录下的hadoop文件,格式化namenode节点
bin/hadoop namenode -format
5.3. 运行bin目录下的start-all.sh文件,启动hadoop集群
bin/start-all.sh
5.4. jps验证进程是否启动
成功运行时namenode应有进程:
jps
namenode
jobtracker
secondarynamenode
5.5. ssh登陆至其他机器
slave1,slave2上应有进程:
jps
datanode
tasktracker
client上仅有:
jps
5.6. 在各节点上实践操作HDFS系统
hadoop fs -ls 查看
hadoop fs -put 上传
hadoop fs -get 下载

小结:
namenode, datanode, client节点配置文件大抵相同,不同之处寥寥无几,分别为:
1) Core-site.xml与mapred-site.xml文件中指定的是namenode的IP:端口号,不是datanode和client的
2) Masters文件中指定的是namenode主机名,不是datanode和client的
3) Slaves文件中指定的是datanode的主机名,不是namenode和client的
4) Client节点对于Hdfs-site.xml文件增加了条目hadoop.job.ugi

最新文章

随便看看