このチュートリアルでは、インストール方法を説明します Apache Debian 11でSparkを使用してください。知らなかった方のために、 Apache Sparkは、クラスター化されたコンピューティングのための無料のオープンソースの汎用フレームワークです。 速度を上げるために特別に設計されており、複雑なSQLクエリに処理をストリーミングするための機械学習で使用されます。 Java、Python、Scala、Rなどのストリーミング、グラフ処理用のいくつかのAPIをサポートしています。Sparkは主にHadoopクラスターにインストールされますが、スタンドアロンモードでsparkをインストールして構成することもできます。
この記事は、少なくともLinuxの基本的な知識があり、シェルの使用方法を知っていること、そして最も重要なこととして、自分のVPSでサイトをホストしていることを前提としています。 インストールは非常に簡単で、rootアカウントで実行していることを前提としています。そうでない場合は、 ‘を追加する必要があります。sudo‘root権限を取得するコマンドに。 のステップバイステップのインストールを紹介します Apache Debian 11（Bullseye）でSpark。
インストール Apache Debian 11BullseyeでSpark
ステップ1.ソフトウェアをインストールする前に、次のコマンドを実行して、システムが最新であることを確認することが重要です。 apt ターミナルのコマンド：
sudo aptアップデート
sudo aptアップグレード
ステップ2.Javaをインストールします。
以下のコマンドを実行して、Javaおよびその他の依存関係をインストールします。
sudo apt install default-jdk scala git
次のコマンドを使用して、Javaのインストールを確認します。
java –version
ステップ3.インストール Apache Debian11でSpark。
今、私たちはの最新バージョンをダウンロードします Apache を使用して公式ページからスパーク wget 指図：
wget https://dlcdn.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
次に、ダウンロードしたファイルを抽出します。
tar -xvzf spark-3.1.2-bin-hadoop3.2.tgz mv spark-3.1.2-bin-hadoop3.2 / / opt / spark
その後、編集します ~/.bashrc ファイルを作成し、Sparkパス変数を追加します。
nano〜 / .bashrc
次の行を追加します。
export SPARK_HOME = / opt / spark export PATH = $ PATH：$ SPARK_HOME / bin：$ SPARK_HOME / sbin
Save と close ファイルを作成し、以下のコマンドを使用してSpark環境変数をアクティブ化します。
ソース〜/ .bashrc
ステップ3.開始 Apache Sparkマスターサーバー。
この時点で、 Apache Sparkがインストールされています。 次に、スクリプトを実行してスタンドアロンマスターサーバーを起動しましょう。
start-master.sh
デフォルトでは、 Apache Sparkはポート8080でリッスンします。次のコマンドで確認できます。
ss -tunelp | grep 8080
ステップ4.にアクセスする Apache SparkWebインターフェイス。
正常に構成されたら、次にアクセスします Apache URLを使用したSparkWebインターフェイス https://your-server-ip-address:8080。 あなたは見るべきです Apache 次の画面でマスターおよびスレーブサービスを起動します。
この単一サーバーのスタンドアロンセットアップでは、マスターサーバーとともに1つのスレーブサーバーを起動します。 ザ start-slave.sh このコマンドは、Sparkワーカープロセスを開始するために使用されます。
start-slave.sh spark：// ubuntu1：7077
ワーカーが稼働しているので、SparkMasterのWebUIをリロードすると、リストに次のように表示されます。
構成が完了したら、マスターサーバーとスレーブサーバーを起動し、Sparkシェルが機能するかどうかをテストします。
スパークシェル
次のインターフェイスが表示されます。
‘spark’として利用可能なSparkセッション。 ____ __ / __ / __ ___ _____ / / __ _ / _ / _ `/ __ / ‘_ / / ___ / .__ / _、_ / _ / / _ / _ バージョン3.1へようこそ。 2 / _ / Scalaバージョン2.12.10（OpenJDK 64ビットサーバーVM、Java 11.0.12）を使用する式を入力して評価します。 詳細については、：helpと入力してください。 scala>
おめでとう！ 正常にインストールされました Apache スパーク。 このチュートリアルを使用して、の最新バージョンをインストールしていただきありがとうございます。 Apache Debian 11BullseyeでSpark。 追加のヘルプまたは有用な情報については、チェックすることをお勧めします 公式 Apache SparkのWebサイト。
