Facebookは新しい「科学のためのAI」を撤回する

というタイトルの Galactica Web サイトのスクリーンショット

画像: Meta / Papers with Code

Facebook の親会社である Meta は、その「科学的知識」AI モデルの公開デモを撤回しました。これは、研究のカテゴリ全体を除外しながら、偽の誤解を招く情報を生成していることを学者が示したためです。

今週初めにリリースされた同社は、Galactica を「科学的知識を保存し、組み合わせて解決し、推論できる」AI 言語モデルであると説明し、研究論文、方程式を要約し、その他のさまざまな有用な科学的タスクを実行します。 しかし、科学者や学者は、AI システムの要約が、存在しない研究論文の実際の著者を引用するなど、衝撃的な量の誤報を生成していることをすぐに発見しました。

マックス・プランク知能システム研究所の所長であるマイケル・ブラック氏は、「すべての場合において、それは間違っているか、偏っていましたが、正しく権威あるように聞こえました」と書いています。 Twitterのスレッド ツールを使用した後。 「危険だと思います。」

ブラックのスレッドは、ギャラクティカが誤解を招く、または単に間違っている科学的テキストを生成したさまざまなケースを捉えています。 いくつかの例では、AI は権威あるように聞こえ、信頼できるが、実際の科学的研究によって裏付けられていない記事を生成します。 場合によっては、引用には実際の著者の名前も含まれていますが、存在しない Github リポジトリや研究論文へのリンクが含まれています。

その他 指摘した おそらく AI の自動フィルターが原因で、Galactica は幅広い研究トピックの結果を返していませんでした。 ワシントン大学のコンピューター サイエンス研究者であるウィリー アグニュー氏は、「クィア セオリー」、「人種差別」、「エイズ」などのクエリはすべて結果を返さなかったと述べています。

木曜日の早朝、Meta は Galactica のデモを取り下げました。 コメントを求められたとき、同社はマザーボードに、システムを担当するプロジェクトである Papers With Code を通じて発表した声明を示しました。

「コミュニティからこれまでに受け取ったフィードバックに感謝し、現在デモを一時停止しています」と同社は述べています。 ツイッターに書いた. 私たちのモデルは、仕事についてもっと学び、論文で結果を再現したい研究者に利用できます.

一部の Meta 従業員も意見を述べ、批判に応じてデモが削除されたことをほのめかしました。

Galactica のデモは現在オフラインです。 つぶやいた メタのチーフ AI サイエンティストである Yann LeCun 氏は次のように述べています。 さりげなく悪用して楽しむことはもはや不可能です。 幸せ?”

恐ろしく偏ったAIを公開した後、Facebookが説明を迫られたのはこれが初めてではない. 同社は 8 月に BlenderBot と呼ばれるチャットボットのデモをリリースしました。このチャットボットは、奇妙に不自然な会話を通じて「攻撃的で真実ではない」発言を行っていました。 同社はまた、OPT-175B と呼ばれる大規模な言語モデルをリリースしました。これは、OpenAI の GPT-3 などの同様のシステムと同様に、人種差別と偏見の「傾向が高い」ことを研究者が認めています。

Galactica は大規模な言語モデルでもあります。これは、人間が書いたような非常に信頼できるテキストを生成することで知られる機械学習モデルの一種です。 これらのシステムの結果はしばしば印象的ですが、ギャラクティカは、信じられないほどの人間の言語を生成する能力が、システムがその内容を実際に理解していることを意味しないことの別の例です. 一部の研究者は、大規模な言語モデルを使用して意思決定を行う必要があるかどうかについて疑問を呈しており、その複雑さがシステムの決定を理解または監査することを事実上不可能にしていると指摘しています。

これは、特に科学研究に関しては、明らかに大きな問題です。 科学論文は、テキストを生成する AI システムが理解できない厳密な方法論に基づいています。 ブラック氏がギャラクティカのようなシステムをリリースした場合の結果を心配しているのは当然であり、彼はそれが「深遠な科学的偽造の時代の到来を告げる可能性がある」と述べています。

「それは、科学的方法に基づいていない権威ある科学を提供します」とブラックはツイッターのスレッドに書いた. 科学の統計的特性に基づいた疑似科学を生成します *書き込み*。 文法科学の執筆は、科学を行うことと同じではありません。 でも、見分けるのは難しいでしょう。」

Leave a Comment

Your email address will not be published. Required fields are marked *