Hướng dẫn cài đặt Hadoop 3.3.0 trên Windows

Cài đặt JDK bản 1.8 (bắt buộc)

Bước 1: Tải bộ cài

• Link: https://www.oracle.com/java/technologies/javase/javase8-archive-downloads.html. Chọn phiên bản dành cho Windows x64.

• Tick vào checkbox và bấm nút Download

• Cần thực hiện đăng nhập tài khoản trước khi tải xuống, nếu chưa có tài khoản bấm nút Create Account để tạo. Sau khi đăng nhập thành công, bộ cài sẽ tự động được tải xuống.

Bước 2: Cài đặt

• Double click vào file cài đặt vừa tải xuống.

• Bấm Next

• Bấm Change để thay đổi đường dẫn lưu.

• Chọn thư mục để lưu JDK. Lưu ý: đường dẫn không có dấu và không có khoảng trắng.

• Tiếp tục bấm Next.

• Bấm OK.

• Bấm Next.

• Hoàn tất cài đặt JDK 1.8, bấm Cancel để thoát.

Bước 3: Thiết lập biến môi trường JDK

• Search từ khóa environment ở thanh Taskbar, chọn mục Edit environment variables for your account.

• Bấm Environment Variables….

• Bấm New.

• Nhập Variable Name: JAVA_HOME và Variable Value là đường dẫn lưu folder JDK C:\Java\jdk1.8.0_202

• Tiếp tục làm tương tự với System Variables.

• Chọn Path và bấm Edit của phần User Variables

• Bấm New và nhập %JAVA_HOME%\bin

• Làm tương tự với System Variables.

• Vào cmd gõ java -version, nếu kết quả trả về như ảnh thì quá trình thiết lập môi trường thành công.

Cài đặt Hadoop

Bước 1: Tải Hadoop 3.3.0

• Truy cập link https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz file nén Hadoop 3.3.0 sẽ tự động được tải xuống

• Bấm chuột phải vào file hadoop-3.3.0.taz.gz và bấm Extract files…

• Chọn ổ C và bấm OK

• Mở ổ C sẽ thấy thư mục hadoop-3.3.0

Bước 2: Thiết lập biến môi trường cho Hadoop

• Làm tương tự thiết lập biến môi trường cho JDK. Với Variable Name: HADOOP_HOME và Variable Value là đường dẫn lưu folder Hadoop C:\hadoop-3.3.0

• Thêm 2 giá trị %HADOOP_HOME%\bin và %HADOOP_HOME%\sbin vào biến Path của phần User Variables

• Tương tự thêm vào biến Path của phần System Variables

• Vào cmd gõ hadoop version, nếu kết quả trả về như ảnh thì quá trình thiết lập môi trường thành công.

Bước 3: Cấu hình các tập tin cho Hadoop

• Truy cập thư mục C:\hadoop-3.3.0\etc\hadoop

• Cấu hình core-site.xml như dưới đây:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

• Cấu hình mapred-site.xml như dưới đây:

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

• Tạo thư mục data trong C:\hadoop-3.3.0

• Tạo thư mục con datanode trong C:\hadoop-3.3.0\data

• Tạo thư mục con namenode trong C:\hadoop-3.3.0\data

• Sau đó cấu hình hdfs-site.xml như sau:

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/hadoop-3.3.0/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/hadoop-3.3.0/data/datanode</value>
  </property>
</configuration>

• Cấu hình yarn-site.xml như dưới đây:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

• Tải apache-hadoop-winutils

• Giải nén sẽ thấy thư mục bin bên trong. Chép đè thư mục bin này vào thư mục C:\hadoop-3.3.0\bin

• Sau đó format lại namenode và datanode, mở command line lên, gõ 2 lệnh sau (Bước format này chỉ cần làm 1 lần):

hdfs namenode –format

hdfs datanode -format

• Tiếp theo sao chép file: C:\hadoop-3.3.0\share\hadoop\yarn\timelineservice\ hadoop-yarn-servertimelineservice-3.3.0.jar vào C:\hadoop-3.3.0\share\hadoop\yarn\hadoop-yarn-server-timelineservice-3.3.0.jar

• Quá trình cài đặt Hadoop đã hoàn tất, bật Command Prompt ở chế độ Administrator (chuột phải chọn Run as administrator). Gõ lệnh:

start-all

• 4 ứng dụng sẽ được chạy và phải đảm bảo các ứng dụng không bị kết thúc:

NOTE: Trường hợp bị lỗi hãy chạy lên trên cmd bằng quyền Administrator

• Yarn web page: http://localhost:8088/

• Name node web page: http://localhost:9870/

• Data node web page: http://localhost:9864/