Hadoop 伪分布式部署模拟实训(学生版) ================================================================ 怎么用 ---------------------------------------------------------------- 1. 解压本压缩包,进入 hadoop伪分布式-AI 文件夹; 2. 双击【启动.cmd】,稍等 2 秒浏览器自动打开(学生版固定用 6181 端口); 3. 打开后直接在终端里敲命令,例如先输入 help 看支持哪些命令; 4. 页面左侧是任务清单(10 项,会自动打勾,点开每一项都能看到任务说明); 右侧是本机状态卡与端口列表(伪分布式只有一台机器); 5. 做完点右上角【提交检查】看分数,再点【导出报告】把 txt 报告存下来交给老师。 这个版本的特点(和教师演示版的区别) ---------------------------------------------------------------- · 不保存进度:关闭或刷新浏览器后,虚拟机会恢复全新状态, 所以你不需要担心"把环境弄坏了",随便试; · 但也要注意:中途关掉页面,之前做过的步骤不会保留,需要重新做; · 想留下成果,请在课内做完后【提交检查】→【导出报告】保存 txt。 这台虚拟机的情况(重要) ---------------------------------------------------------------- · 只有一台 CentOS 7 虚拟机:主机名 master,IP 192.168.137.211, 提示符是 root@master:~#;NameNode / DataNode / SecondaryNameNode / ResourceManager / NodeManager 五个进程都跑在这一台机器上,所以叫伪分布式。 · JDK 1.8(/usr/lib/jvm/java)和 Hadoop 3.1.1(/opt/hadoop)出厂就已经装好了, 环境变量也配在 /etc/profile 里,不需要你再装 JDK、也不需要再解压 Hadoop。 · 你要做的 5 件事:①关防火墙 ②关 SELinux ③改主机名 + 配 /etc/hosts ④配 SSH 免密(ssh-copy-id 到自己) ⑤改 core-site.xml 的主机名、 把 hdfs-site.xml 的副本数从 1 改成 3;最后格式化、启动、验证。 · 伪分布式里 ssh 回本机也要免密:start-dfs.sh / start-all.sh 是靠 ssh 拉起进程的,免密没配好会停在"Permission denied"上。 常用操作 ---------------------------------------------------------------- · 改命令:← → 左右移动光标(屏幕上光标会跟着走),回到要改的地方直接改; Home / End 到行首行尾;Ctrl+← / Ctrl+→ 按词跳; Backspace 删光标左边一个字符,Delete 删右边一个字符;Ctrl+W 删一个词; ↑ ↓ 翻历史命令,Ctrl+L 清屏,Ctrl+C 中断当前输入,Tab 补全; · vi 编辑文件:输入 vi 文件名 → 窗口打开就可以直接打字(插入模式)→ 按 Esc 进入命令模式(此时打字不会进文件)→ 输入 :wq 回车保存退出; 卡在命令模式时按 i 或点【回到打字模式】按钮即可; · 配置写错时编辑窗口会拒绝保存并说明原因(core-site.xml / hdfs-site.xml 是本实训重点); · 复制:鼠标拖选终端里的文字会自动复制;也可以 Ctrl+C / 右键复制; · 求助:右上角【实训指导】有完整操作顺序和配置项对照表。 遇到问题 ---------------------------------------------------------------- · 打不了字:点一下终端区域,或直接开始打字(本版本已修好输入问题); · 启动报错:看解压目录里的 资料\启动失败怎么办.txt; · 页面打不开:看启动窗口里打印的地址(端口被占用时会自动换一个)。