引言

Hadoop作为大数据处理的重要工具，其稳定性和高效性得到了广泛认可。本文将为您详细讲解如何在CentOS操作系统上搭建Hadoop环境，从入门到实践，帮助您快速掌握Hadoop的基本操作。

一、环境准备

1. 硬件与软件要求

  • 硬件要求：推荐配置为双核CPU，4GB内存，100GB以上硬盘空间。
  • 软件要求：CentOS 7操作系统，Java开发包（JDK），VMware Workstation或VirtualBox虚拟机软件。

2. 系统环境配置

  1. 安装CentOS 7：从官方网站下载CentOS 7镜像文件，使用VMware Workstation或VirtualBox创建虚拟机，并将镜像文件导入虚拟机中。
  2. 安装Java开发包：打开终端，执行以下命令安装Java开发包。
sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
  1. 配置JAVA_HOME环境变量：在终端中执行以下命令，配置JAVA_HOME环境变量。
echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk' >> ~/.bashrc
echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc
source ~/.bashrc

二、Hadoop环境搭建

1. 安装Hadoop

  1. 下载Hadoop：从Apache Hadoop官网下载Hadoop安装包，解压到指定目录。
tar -zxvf hadoop-3.3.4.tar.gz -C /opt/hadoop
  1. 配置Hadoop：进入Hadoop配置目录，修改以下配置文件。
  • hadoop-env.sh：配置JAVA_HOME。
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
  • core-site.xml：配置Hadoop运行时的文件系统。
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
  • hdfs-site.xml：配置HDFS的存储目录。
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop/hdfs/datanode</value>
  </property>
</configuration>
  • mapred-site.xml：配置MapReduce运行时的文件系统。
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>
  • yarn-site.xml：配置YARN的运行参数。
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
</configuration>

2. 格式化HDFS

在终端中执行以下命令，格式化HDFS。

hdfs namenode -format

3. 启动Hadoop服务

  1. 启动HDFS：在终端中执行以下命令，启动HDFS。
start-dfs.sh
  1. 启动YARN：在终端中执行以下命令，启动YARN。
start-yarn.sh

4. 验证配置

在浏览器中访问以下地址，查看Hadoop服务状态。

  • HDFS：
  • YARN：

三、Hadoop实践

1. 编写WordCount程序

  1. 创建WordCount.java：编写WordCount程序，将以下代码保存为WordCount.java。
public class WordCount {
    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
    }
}
  1. 编译WordCount.java：在终端中执行以下命令，编译WordCount.java。
javac WordCount.java
  1. 运行WordCount程序：在终端中执行以下命令，运行WordCount程序。
hadoop jar WordCount.jar WordCount /input/wordcount.txt /output/wordcount
  1. 查看结果：在HDFS浏览器中查看/output/wordcount目录下的结果文件。

总结

本文详细介绍了在CentOS操作系统上搭建Hadoop环境的步骤，并提供了WordCount程序的实践案例。通过本文的学习，您应该能够轻松上手Hadoop，并开始进行大数据处理实践。