ゴードン・ベル賞のファイナリストが開発するメソッド

11 月 17 日木曜日、テキサス州ダラスで開催される SC22 カンファレンスで、コンピューティング機械協会の 2022 年ゴードン ベル賞が発表され、コンピューター サイエンスにおける今年の最も革新的な業績が認められます。 ファイナリストの中には、サウジアラビアのキング アブドラ科学技術大学 (KAUST) の研究者チームがいます。このチームは、大規模なシミュレーション内の高精度を必要とするコンポーネントと計算可能なコンポーネントを区別することで、コンピューティング パフォーマンスを向上させる方法を開発しています。精度の低い方法で。 大規模な気候シミュレーションに焦点を当てることで、チームは基準となる最先端の実装よりもパフォーマンスを 12 倍向上させることができました。

ゴードン ベル賞は、通常、世界最大のコンピューターで実行されたシミュレーションを表彰します。この場合、KAUST チームは富岳 (現在、世界で 2 番目に大きいシステムである日本の理化学研究所計算科学研究センターにあるスーパーコンピューター) に頼って実行を完了しました。賞のファイナリストのリストに。 ただし、このシステムにアクセスするために、研究者はまずその方法の有効性とスケーラビリティを証明する必要がありました。 これを行うために、彼らはさまざまなアーキテクチャを備えた他の HPC システムでテストしました。これには、ハイパフォーマンス コンピューティング センター シュトゥットガルト (HLRS) の Hawk スーパーコンピューターが含まれます。これは、世界で最初に AMD ハードウェアを使用したスーパーコンピューターの 1 つであり、極端なキャッシュ容量と帯域幅を提供します。 .

「新しいアルゴリズムの進歩が科学界に採用されるには、さまざまな高性能コンピューティング アーキテクチャに移植可能である必要があり、Hawk は移植先として重要なアーキテクチャです。 KAUST エクストリーム コンピューティング研究センター (ECRC) のディレクターであり、KAUST チームのプロジェクトの主任研究員である David Keyes 氏は次のように述べています。 Hawk に加えて、ECRC の Shaheen-2 スーパーコンピューターと、米国のオークリッジ国立研究所の Summit を使用して、彼らの方法もテストしました。

チームは、コンピューター サイエンスのゴールドを追求する一方で、その取り組みが KAUST のコア ミッションに対応する研究に確実に役立つようにしたいと考えていました。

多様性は科学のスパイス

2012 年以降、ハイパフォーマンス コンピューティング (HPC) の世界は、パフォーマンスの向上を追求するために、グラフィックス ユニット (GPU) の高速計算機能に注目しています。 Top500リストに 2022年6月発売、最速の 20 台のマシンのほとんどが GPU または同様のアクセラレータを使用して、世界をリードする計算パフォーマンスを達成しました。 シミュレーションの複雑さが増すにつれて、研究者が地球規模の気候モデルなどの野心的で大規模なシミュレーションに含めることができる詳細の量は依然として制限されています。

気候科学者は、より強力なコンピューターを使用して、雲量や過去の気象データから海氷の変化や大気中の粒子状物質に至るまで、可能な限り多くの要因をシミュレーションに統合したいと考えています。 これらの要素を第一原理から計算するのではなく、今日でも計算コストがかかるアプローチですが、研究者はこの情報を統計モデルの形で含めています。 KAUST の研究者は、シミュレーションで統計データを特定の地理的領域に関連付ける、空間統計と呼ばれる統計モデリングのサブセットに特に焦点を当てました。 このアプローチにより、多くの物理方程式を計算する負担が軽減されますが、世界をリードするシステムでさえ、これらの空間統計モデルを解決するために必要な、大規模で複雑な数学的行列ベースの問題を解決する線形代数の膨大な量にまだ屈服しています。

最近、GPU は、人工知能 (AI) ワークフローなど、このようなデータ集約型アプリケーションを処理するための新しいオプションを提供しています。 比較的単純な計算を非常に迅速に解決できることに加えて、革新的なアルゴリズムは、シミュレーションの特定の部分で精度を下げ、最も必要とされる他の部分で計算コストの高い計算を実行することにより、従来の CPU よりも効率的に大規模で複雑なシミュレーションに GPU を活用できます。 . 計算科学者と協力して、KAUST チームは、精度を犠牲にすることなく、これらの大規模なシミュレーションの計算コストを削減する新しい方法を開発しました。

進歩を追求した実用精度

従来の HPC アプリケーションは、64 ビットのコンピューター メモリ (FP64) を占有する「倍精度」計算を実行します。 シミュレーションに重要な入力を提供できますが、FP64 より正確ではない計算は単精度と呼ばれ、わずか 32 ビットのメモリ (FP32) しか必要としません。 これらの 2 つの極を超えて、研究者は、シミュレーション内の特定の計算に必要な詳細レベルに応じて、さまざまなレベルの精度を使用する計算アプローチを開発しています。 これらのいわゆる混合精度アルゴリズムは、正しく開発および実装されると、すべての世界で最高のものを提供できます。 実際、HPC のこれら 2 つの典型的な精度よりも多く、「半精度」または FP16 までサポートすることもできます。

「2012 年に AI アプリケーションが登場したことで、GPU に低精度の計算をより効果的にサポートさせようとする大きな動きがありました。 KAUST の ECRC の主任研究員である Hatem Ltaief 氏は次のように述べています。 「私たちは、この電車に乗るか、通過させなければならないことに気づきました。 私たちは、アプリケーション サイエンティストと協力して、彼らのアプリケーションが精度の選択的な損失をどのように許容し、すべてが 64 ビット精度で行われたかのように実行できるかを示すことを開始しました。 複雑なワークフローの中でこれらの場所を特定することは容易ではなく、ドメイン サイエンティストを関与させて、私たちのようなアルゴリズム開発者が闇雲に撮影していないことを確認する必要があります。」

Keyes、Ltaief、Prof. マーク・ゲントン博士. Sameh Abdulah と KAUST のチームは、テネシー大学の革新的コンピューティング研究所の研究者と協力して、空間統計を気候モデルに有効に組み込むだけでなく、マトリックス内のタイルを特定して、適応的に精度を上げたり下げたりすることも始めました。半精度、単精度、または倍精度を適応的な方法で使用することによるシミュレーション全体の計算 – 基本的に、より低い精度の計算でも正確な結果が得られる場所を特定し、研究者がシミュレーションを「オーバーソルビング」するのを防ぎます。

この方法は、計算タスクのスケジューリングとオンデマンドの変換精度計算を調整するために、PaRSEC 動的ランタイム システムに依存しています。 これにより、研究者は、問題の結果にとって重要性が低い、または関連性が低いシミュレーションの部分の計算負荷を下げることができます。 「最近の開発の鍵は、これらのアプリケーションに依存する数学的動作を事前に予測する必要がないことです。 それらをオンザフライで検出し、シミュレーションで相互作用するタイルで見つけたものに節約を適応させることができます」と Keyes 氏は述べています。

その作業を通じて、チームは、従来の最先端の密行列計算に対して 12 倍のパフォーマンス向上が得られることを発見しました。 「問題を全体として見て、行列全体に取り組み、混合精度を近似して使用できる行列のデータ希薄構造の機会を探すことで、コミュニティやそれを超えてソリューションを提供します」と Ltaief 氏は述べています。

線形代数を行います。 世界を見ましょう

KAUST チームのアルゴリズムのイノベーションは、コンピューター科学者と HPC センターの両方に利益をもたらします。 新しい大規模なスーパーコンピューターが毎年構築されており、その電力需要は世界的に増加し続けています。 二酸化炭素排出量の削減とエネルギー供給の危機という 2 つの課題に世界が直面する中、HPC センターはエネルギー フットプリントを削減する新しい方法を模索し続けています。 これらの取り組みの一部は、ハードウェア効率の向上に焦点を当てています (たとえば、マシンによって生成された廃熱を再利用したり、温水を使用してシステムを冷却したりするなど)。シミュレーションを可能な限り効率的に実行し、データ移動を維持することを保証することが新たに強調されています。最小限に。

「データの移動は、エネルギー消費の点で非常にコストがかかります。また、シミュレーションの全体的な精度を圧縮して削減することで、シミュレーション全体で発生するデータ移動の量も削減します」と Ltaief 氏は述べています。 「計算集約型の大規模データセット シミュレーションから、メモリ フットプリントの少ないデータセットで動作するメモリ バウンド シミュレーションに移行したため、エネルギー消費に関して多くのメリットがあります。」

HLRS は、スーパーコンピューターが消費するエネルギーを削減して再利用する方法を探すことに長い間注力してきました。 Michael Resch が KAUST プロジェクトについて語ったところによると、チームは、マシンの受け入れテスト中に、Hawk のアーキテクチャでその方法をテストすることができました。

国際的な研究センターとして、私たちは世界をリードする科学者との協力にオープンであり、HPC の分野の進歩に貢献できることを嬉しく思います。」 マイケル・レッシュ。 「KAUSTのチームと一緒に仕事ができたことは喜びであり、名誉なことでした。」

Keyes 氏は、チームのアプローチは他の科学分野にも適用できる可能性を示しており、このダイナミズムはコンピューター科学者であることの最もやりがいのある側面の 1 つであると指摘しました。 「線形代数を行う。 世界を見てください」と彼は言いました。 チームは、無線通信における信号解読、地上望遠鏡における適応光学、地下イメージング、および遺伝子型と表現型の関連付けにそのアプローチを拡張し、将来的には材料科学に拡張することを計画しています。

Leave a Comment

Your email address will not be published. Required fields are marked *