このチュートリアルでは、インストール方法を説明します Apache Debian 11のHadoop。知らなかった人のために、 Apache Hadoopは、ビッグデータアプリケーションのデータ処理とストレージを管理するオープンソースのJavaベースのソフトウェアプラットフォームです。 単一のサーバーから数千台のマシンにスケールアップするように設計されており、それぞれがローカルの計算とストレージを提供します。
この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、自分のVPSでサイトをホストしていることを前提としています。 インストールは非常に簡単で、rootアカウントで実行していることを前提としています。そうでない場合は、 ‘を追加する必要があります。sudo‘root権限を取得するコマンドに。 のステップバイステップのインストールを紹介します Apache Debian 11（Bullseye）のHadoop。
インストール Apache Debian 11BullseyeのHadoop
ステップ1.ソフトウェアをインストールする前に、次のコマンドを実行して、システムが最新であることを確認することが重要です。 apt ターミナルのコマンド：
sudo aptアップデート
sudo aptアップグレード
ステップ2.Javaをインストールします。
Apache HadoopはJavaベースのアプリケーションです。 したがって、システムにJavaをインストールする必要があります。
sudo apt install default-jdk default-jre
Javaのインストールを確認します。
javaバージョン
ステップ3.Hadoopユーザーを作成します。
次のコマンドを実行して、Hadoopという名前の新しいユーザーを作成します。
adduser hadoop
次に、ユーザーが作成されたら、Hadoopユーザーに切り替えます。
su-hadoop
次に、sshキーを生成します。これは、Hadoopがノード、リモート、またはローカルマシンを管理するためにsshアクセスを必要とするため、Hadoopのセットアップの単一ノードに対して、ローカルホストにアクセスできるように構成します。
ssh-keygen -t rsa
その後、authorized_keysファイルにアクセス許可を与えます。
cat〜 / .ssh / id_rsa.pub >>〜/ .ssh / authorized_keys chmod 0600〜 / .ssh / authorized_keys
次に、次のコマンドを使用して、パスワードなしのSSH接続を確認します。
sshyour-server-IP-address
ステップ4.インストール Apache Debian11のHadoop。
まず、Hadoopユーザーに切り替え、以下を使用して公式ページから最新バージョンのHadoopをダウンロードします。 wget 指図：
su –hadoop wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1-src.tar.gz
次に、次のコマンドを使用して、ダウンロードしたファイルを抽出します。
tar -xvzf hadoop-3.3.1.tar.gz
解凍したら、現在のディレクトリをHadoopフォルダに変更します。
su root cd / home / hadoop mv hadoop-3.3.1 / usr / local / hadoop
次に、次のコマンドを使用して、ログを保存するディレクトリを作成します。
mkdir / usr / local / hadoop / logs
Hadoopディレクトリの所有権をHadoopに変更します。
chown -R hadoop：hadoop / usr / local / hadoop su hadoop
その後、Hadoop環境変数を構成します。
nano〜 / .bashrc
次の構成を追加します。
export HADOOP_HOME = / usr / local / hadoop export HADOOP_INSTALL = $ HADOOP_HOME export HADOOP_MAPRED_HOME = $ HADOOP_HOME export HADOOP_COMMON_HOME = $ HADOOP_HOME export HADOOP_HDFS_HOME = $ HADOOP_HOME export YARN_HOME = $ HADOOP_HOME export HADOOP_COM HADOOP_HOME / sbin：$ HADOOP_HOME / bin export HADOOP_OPTS = “-Djava.library.path = $ HADOOP_HOME / lib / native”
Save と close ファイル。 次に、環境変数をアクティブにします。
ソース〜/ .bashrc
ステップ5.構成 Apache Hadoop。
- Java環境変数を構成します。
sudo nano $ HADOOP_HOME / etc / hadoop / hadoop-env.sh
次の構成を追加します。
export JAVA_HOME = / usr / lib / jvm / java-11-openjdk-amd64 export HADOOP_CLASSPATH + = “$ HADOOP_HOME / lib/*。jar”
次に、Javaxアクティベーションファイルをダウンロードする必要があります。
cd / usr / local / hadoop / lib
sudo wget https://jcenter.bintray.com/javax/activation/javax.activation-api/1.2.0/javax.activation-api-1.2.0.jar
を確認します Apache Hadoopバージョン：
hadoopバージョン
出力：
Hadoop 3.3.1
- core-site.xmlファイルを構成します。
nano $ HADOOP_HOME / etc / hadoop / core-site.xml
次のファイルを追加します。
- hdfs-site.xmlファイルを構成します。
構成する前に、ノードメタデータを格納するためのディレクトリを作成します。
mkdir -p / home / hadoop / hdfs / {namenode、datanode} chown -R hadoop：hadoop / home / hadoop / hdfs
次に、 hdfs-site.xml ファイルを作成し、ディレクトリの場所を定義します。
nano $ HADOOP_HOME / etc / hadoop / hdfs-site.xml
次の行を追加します。
- mapred-site.xmlファイルを構成します。
今、私たちは編集します mapred-site.xml ファイル：
nano $ HADOOP_HOME / etc / hadoop / mapred-site.xml
次の構成を追加します。
- ヤーンサイト.xmlファイルを構成します。
あなたは編集する必要があります yarn-site.xml ファイルを作成し、YARN関連の設定を定義します。
nano $ HADOOP_HOME / etc / hadoop / yarn-site.xml
次の構成を追加します。
- HDFSNameNode形式。
次のコマンドを実行して、HadoopNamenodeをフォーマットします。
hdfs目的形式
- Hadoopクラスターを起動します。
次に、以下のコマンドを使用してNameNodeとDataNodeを起動します。
start-dfs.sh
次に、YARNリソースおよびノードマネージャーを開始します。
start-yarn.sh
これで、次のコマンドを使用してそれらを確認できます。
jps
出力：
[email protected]：〜$ jps 58000 NameNode 54697 DataNode 55365 ResourceManager 55083 SecondaryNameNode 58556 Jps 55365 NodeManager
ステップ6.HadoopWebインターフェースへのアクセス。
正常にインストールされたら、Webブラウザを開いてアクセスします Apache URLを使用したHadoop https://your-server-ip-address:9870。 HadoopWebインターフェースにリダイレクトされます。
ローカルホストのURLまたはIPをナビゲートして、個々のDataNodeにアクセスします。 https://your-server-ip-address:9864
YARN Resource Managerにアクセスするには、URLを使用します https://your-server-ip-adddress:8088。 次の画面が表示されます。
おめでとう！ これで、Hadoopが正常にインストールされました。 このチュートリアルを使用して、の最新バージョンをインストールしていただきありがとうございます。 Apache Debian 11BullseyeのHadoop。 追加のヘルプまたは有用な情報については、チェックすることをお勧めします 公式 Apache Webサイト。
