VAST Storage の構成
VAST Data Platformは、あらゆる規模のAI、機械学習(ML)、高性能コンピューティング(HPC)ワークロードをサポートするために設計された、最新のオールフラッシュストレージソリューションです。VASTは、DASE(Disaggregated and Shared Everything)アーキテクチャを活用することで、従来のストレージのボトルネックを解消し、高スループット、低遅延、簡素化されたデータ管理を実現します。
VAST DataをAI JVD設計に統合することで、次世代のイノベーションを推進するために必要なパフォーマンス、拡張性、耐障害性をAIワークロードが確実に備えられるようにします。AI JVD設計の一部としてVAST Data Platformを選択した理由は、次のような利点があります。
- ハイパフォーマンス:Vast Dataのアーキテクチャは、オールフラッシュストレージを活用して比類のないデータアクセス速度を実現しており、AI/MLワークロード、リアルタイム分析、ハイパフォーマンスコンピューティング(HPC)環境に最適です。
- 拡張性:Vast Dataは、細分化された、共有のないアーキテクチャにより、パフォーマンスを犠牲にすることなく、テラバイト単位からエクサバイト単位までシームレスに拡張できます。この設計は、従来のストレージソリューションの制約を克服し、企業が効率的に成長することを可能にします。
- ユニファイドストレージ:Vast Dataは、NFS、S3、SMBなど、複数のストレージプロトコルをサポートする単一のプラットフォームを提供します。ファイルとオブジェクトの両方のストレージをサポートする機能により、多様なデータセットを柔軟に管理できます。
- データの耐障害性:高度なイレイジャーコーディングとフォールトトレラントアーキテクチャにより、Vast Dataはハードウェアに障害が発生した場合でもデータ保護と高可用性を保証します。
- 管理の容易さ:このプラットフォームは、合理化された管理エクスペリエンスを特徴とし、単一のグローバル名前空間とリアルタイムのシステム監視を提供し、簡素化された運用と拡張性を実現します。
- GPUのサポート:Vast DataのアーキテクチャはGPUドリブンのワークロード向けに最適化されているため、AI、機械学習、その他のコンピューティング集約型アプリケーションに焦点を当てた環境に最適です。
- 低遅延:フラッシュに最適化された設計により、リアルタイムのデータ処理と分析タスクに不可欠な超低遅延のデータアクセスが提供されます。
Vast Data Platformを使用すると、企業は耐障害性、拡張性、管理性に優れたデータストレージ環境を維持しながら、AIドリブンインサイトの可能性を最大限に引き出すことができます。
AI JVDラボのVASTストレージクラスターコンポーネント
VAST Data のアーキテクチャでは、クアッド サーバー シャーシまたは CBox (コンピュート ボックス) は、それぞれが VAST サーバー コンテナを実行する 4 台のデュアル Xeon サーバーを収容する 2U 高密度シャーシです。C ノードと呼ばれるこれらのサーバーは、VAST クラスター内のコンピューティング サービスを処理します。CBox は、システムのストレージ コンポーネントを提供する DBox (データ ボックス) と連携して機能します。DBox と CBox は異なる役割を果たします。
- DBox: ストレージ容量を提供し、データを格納するNVMe SSDを収容します。
- CBox: VAST のソフトウェア サービスを実行して、保存されたデータを管理およびアクセスする計算リソースを提供します。保存されたデータを効率的に管理およびアクセスするために必要な処理能力を提供します
DBoxes と CBoxes の両方の管理は、VAST の管理システムを通じて一元化され、ストレージ クラスター全体の構成、監視、保守のための統合インターフェイスが提供されます。
このJVD用にテストされたVASTソリューションは、以下を含む7ラックユニットで構成されています。
- 2 x CBOX (QUAD-4N-IL-2NIC) – 4 スロット モジュラー シャーシ
- 8個のCノードを収容(C BOXあたり4個のCノード)
- 各Cノードには
- 2 x 100GE NIC &
- 1 x アイスレイクGen4
- 1 x Ceres DBOX(DF-3015)- 4スロットモジュラーシャーシ
- 4つのDノードを搭載
- 各Dノードには2 x 100GE NICが付属しています
- 22個のNVMe SSD(各15.363 TB)を搭載
合計338TBのローストレージと240TBの有効ストレージ。
- 2 x VAST NVMeファブリック用内部Mellanoxスイッチ(SN2100)
図93:2 x 1 VASTソリューション
VASTストレージクラスターコンポーネントの接続と管理
VAST Storage クラスターは、C ノード、D ノード、ネットワーキング、セキュリティ、監視、およびシステム運用全体を監視する Vast Control and Orchestration Layer (VMS) によって管理されます。
CLIを介してVMSと対話することは可能ですが、VASTは強力なWebベースのUI(VAST Universal Storage GUI)を提供し、クラスターを設定、管理、保守するための直感的な方法を提供するため、多くの場合、CLI駆動型の従来のストレージシステムとの重要な差別化要因となります。
すべてのVMS管理機能(NFSエクスポートの作成からクラスターの拡張まで)は、RESTful APIを介して公開されます。統合と使用を簡素化するために、VMS は Swagger 経由で API を公開し、さまざまなプログラミング言語にわたるインタラクティブなドキュメントとコード生成を可能にします。システムを直接制御するのではなく、GUI と CLI の両方が RESTful API を使用するフロントエンドとして機能します。
VMS は C ノードで実行され、図 94 に示すように、クラスターに割り当てられたフローティング管理 IP を介して、任意の Web ブラウザからユニバーサル ストレージ GUI にアクセスできます
図94:VAST Universal Storage GUI接続
図 94 に示すように、すべてのクラスター コンポーネントが OOB 管理ネットワークに接続され、VMS IP アドレスは同じ IP アドレス範囲外に割り当てられています。
Vast ストレージ ソリューションの詳細については、Vast のホワイトペーパー「VAST Data Platform」をご覧ください。
VASTユニバーサルストレージGUI
図95に示すように、GUIのダッシュボードには、容量、物理的および論理的な使用状況、全体的なパフォーマンス、読み取り/書き込み帯域幅、IOPS、全体的な遅延が使いやすいグラフ形式で表示されます
図 95: VAST ユニバーサル ストレージ GUI ダッシュボード
インフラストラクチャタブでは、cboxとCノード、dboxとDノード、SSD、NICなどを含むすべてのクラスターコンポーネントの設定とステータスを確認できます。
図 96: VAST ユニバーサル ストレージ GUI インフラストラクチャの詳細
GUI の使用について詳しくは、VAST Cluster 5.1 管理者ガイドをご覧ください。
ジュニパー VAST ストレージ クラスターのネットワーク構成
「ストレージバックエンド」セクションで説明したように、Vastサーバーはデュアルホームであり、100GEポートを使用して別々のストレージバックエンドスイッチ(storage-leaf 5と storage-leaf 6)に接続されています
図97:広大からストレージファブリックへの接続
ストレージリーフノードは、それぞれIPアドレス10.100.3.254および10.100.4.254を持つIRBインターフェイス(irb.3およびirb.4)で設定されます。
Cノードは、仮想IP(VIP)プールからIPアドレスを動的に受信し、割り当てられたVIPのARP要求に応答します。
Cノードに障害が発生するか、削除されるか、新しいノードが追加されるたびに、VIPと負荷分散が自動的に再調整されます。
- 障害または意図的な削除によりCノードがオフラインになった場合、サービスを提供していたVIPは残りのCノードに再分配されます
- 新しいCノードが追加された場合、一部のVIPは、ノードをロードバランシングメカニズムに統合するために再割り当てされます。
最適なロードバランシングと耐障害性を確保するために、VAST は各 VIP プールに C ノードの数の 2 倍から 4 倍の数の VIP を設定することを推奨しています。これにより、ノードに障害が発生した場合に、1つのCノードに負荷をかけるのではなく、残りの複数のCノードに負荷が分散されます。
VAST NFS:
ラボサーバーは、VAST独自のカーネルモジュールを使用してパフォーマンスを向上させます。カーネルモジュールにより、パフォーマンスを70%から100%向上させることができます。
AMD GPUサーバー上のfstab設定:
10.100.3.1:/デフォルト /mnt/vast nfs nconnect=8,remoteports=10.100.3.1-10.100.3.8,rw,noatime,rsize=32768,wsize=32768,nolock,tcp,intr,fsc,nofail 0 0
Kernal モジュールとセットアップに関するドキュメントは、こちらで見つけることができます: https://vastnfs.vastdata.com/docs/4.0/Intro.html
共通の設定と推奨事項
VAST システムを注文すると、VAST のサポートにより、IP アドレスやその他の詳細を含む最初のサイト調査に回答するよう求められます。Vast GUIがインストールされ、準備が整います。
以下が推奨されます。
- MTUを9000に設定します
- サーバー上のVAST NFSカーネル
- このサーバーのマルチパスを有効にします fstab 設定
- VIP プールを C ノードの数の 2 倍から 4 倍の VIP で構成します
図98:ストレージインターフェイスの接続
