1.配置环境变量,要在安装了JDK前提下
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
2.配置conf/hadoop-env.sh
export JAVA_HOME=/usr/local/java/jdk1.7.0_45(必须)
export HADOOP_HEAPSIZE=512
export HADOOP_PID_DIR=/home/$USER/pids
3.修改主机名
sudo vi /etc/hostname
4.配置/etc/hosts
192.168.1.110 master
192.168.1.101 slave1
192.168.1.109 slave2
192.168.1.108 slave3
5.修改conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/${user.name}/tmp</value> </property> </configuration>
6.修改conf/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.name.dir</name> <value>/home/${user.name}/dfs_name</value> </property> <property> <name>dfs.data.dir</name> <value>/home/${user.name}/dfs_data</value> </property> </configuration>
7.修改conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> <property> <name>mapred.system.dir</name> <value>/home/${user.name}/mapred_system</value> </property> <property> <name>mapred.local.dir</name> <value>/home/${user.name}/mapred_local</value> </property> </configuration>
8.修改conf/masters
master
9.修改conf/salves
slave1
slave2
slave3
相关推荐
Linux Hadoop 分布式配置 和使用 Hadoop分布式配置 Hadoop使用: HDFS、Hadoop用户管理、Hadoop作业提交、Hadoop应用程序编写
Hadoop 分布式集群配置环境一共六台服务器(包括三台腾讯云主机/三台阿里云主机).服务器环境为 Ubuntu 14.04 64 位 跟 CentOS 7.2
linux环境下搭建hadoop详细配置及使用
利用sbin/start-dfs.sh 或者sbin/start-all.sh查看hadoop平台是否搭建成功,搭建成功提示,需要在三台虚拟机分别查看进程是否启动正常,其中,master节点启动三个进程(包括jps)
Hadoop集群配置指南,成功实现了由5台计算机构成的集群,并成功运行wordcount处理大型数据(大于50G)
Hadoop分布式部署配置文件
Linux Hadoop 伪分布式配置 一个节点,线程模仿分布式
centos7安装和基础环境配置:Hadoop分布式搭建前期准备工作.docx
包括《Hadoop集群监控与Hive高可用-向磊》,hadoop的三本圣经《Hadoop权威指南(第2版)》,《Hadoop实战》和《Hadoop源码分析完整版》。
Hadoop分布式集群搭建过程中IP配置,包括单机伪分布式和多台机器集群搭建。同时包括VBox linux虚拟机网卡配置
Hadoop安装教程_单机_伪分布式配置
实验1.hadoop伪分布式配置.docx
如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、...
Hadoop分布式模式安装与配置,非常好用,绝对可行。精彩不容错过。
1.4.1 Hadoop的元数据备份方案 1.4.2 Hadoop的SecondaryNameNode方案 1.4.3 Hadoop的Checkpoint ode方案 1.4.4 Hadoop的BackupNode方案 1.4.5 DRDB方案 1.4.6 FaceBook的AvatarNode方案 1.5 方案优缺点比较 第2章 ...
Hadoop分布式(高可用)部署配置文件
大数据之hadoop分布式集群参数配置.docx
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。...5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop是Apache Lucene下的一个子项目,它最初是从Nutch项目中分离出来...Hadoop分布式安装与配置手册 Hadoop权威指南原版 hadoop权威指南中文第二版 Hadoop实战-陆嘉恒 分布式基础学习 用+Hadoop+进行分布式并行编程