2024年3月20日发(作者：)

hadoop搭建与eclipse开发环境设置

――罗利辉

1. 前言

1.1 目标

目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开

发与测试环境。

具体目标是：

 在ubuntu系统上部署hadoop

 在windows 上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试

1.2 软硬件要求

硬件要求： 三台普通PC。 当然使用虚拟机也可以，本环境搭

建也是VMWare6.5虚拟机上进行

的。

软件要求： 操作系统：ubuntu 11.04 server。

Hadoop版本: hadoop-0.20.2

Eclipse版本:3.3.2

Java版本：1.6.0_26（必须1.6以上）

注意：

Hadoop版本和Eclipse版本请严格按照要求。

现在的hadoop最新版本是hadoop-0.20.203，我在windows上使用eclipse（包括3.6版

本和3.3.2版本）连接ubuntu上的hadoop-0.20.203环境一直没有成功。但是开发测试程序

是没有问题的，不过需要注意权限问题。

如果要减少权限问题的发生，可以这样做：ubuntu上运行hadoop的用户与windows

上的用户一样。

1.3 环境拓扑图

ubuntu

192.168.69.231

ubuntu1

192.168.69.232

ubuntu2

192.168.69.233

Windows

eclipse 3.3.2

192.168.69.241

主机名

ubuntu

Hadoop角色

Master

slaves

Hadoop jps命令结果

NameNode

DataNode

JobTracker

TaskTracker

SecondaryNameNode

DataNode

TaskTracker

DataNode

TaskTracker

Hadoop用户

创建相同的用户的

组名：hadoop。

安装hadoop-0.20.2

时使用hadoop用

户，并且hadoop的

文件夹归属也是

hadoop：hadoop

Hadoop安装目录

/opt/hadoop

Ubuntu1

Ubuntu2

slaves

slaves

Windows 开发测试环

境

安装了jdk与eclipse，本身不需要安装hadoop，但是需要hadoop

安装包下面的jar包。

注意：ubuntu既是NameNode又是DataNode，同时也是JobTracker。