AI プログラミング ツールは compsci 教育の再考を意味する可能性があります • The Register

分析 GitHub の Copilot のような支援型 AI モデルの法的および倫理的な影響は引き続き整理されていますが、コンピューター科学者は引き続き大規模な言語モデルの用途を見つけ、教育者に適応するよう促しています。

アイルランドのユニバーシティ カレッジ ダブリンの助教授である Brett A. Becker は、次のように述べています。 登録簿 プログラミング コードを生成するための AI ツールの教育上のリスクと機会を調査する 2 つの研究論文の出版前のコピーが付属しています。

これらの論文は、カナダのトロントで 3 月 15 日から 18 日に開催される 2023 SIGCSE Technical Symposium on Computer Science Education に採択されました。

6 月には、状況に応じたプロンプトに応じてプログラミング コードを自動的に提案する機械学習ツールである GitHub Copilot が、1 年間にわたるテクニカル プレビューから登場しましたが、その OpenAI Codex モデルのトレーニング方法と AI モデルの社会への影響に関する懸念が高まったのと同じです。集中的な反対に。

未解決の著作権とソフトウェア ライセンスの問題を超えて、マサチューセッツ大学アマースト校のコンピューター サイエンス教授である Emery Berger などの他のコンピューター サイエンティストは、自動化された支援ツールの普及と改善が予想されることを考慮して、コンピューター サイエンスの教育法を再評価する必要性について警鐘を鳴らしています。

「プログラミングは難しい – または少なくとも以前はそうだった: 教育の機会と AI コード生成の課題」 [PDF]、Becker および共著者の Paul Denny (ニュージーランド、オークランド大学)、James Finnie-Ansley (オークランド大学)、Andrew Luxton-Reilly (オークランド大学)、James Prather (アビリーン クリスチャン大学、米国)、および Eddie Antonio Santos (ユニバーシティ カレッジ ダブリン) は、教育コミュニティは、AI 駆動型のコード生成ツールによってもたらされる差し迫った機会と課題に対処する必要があると主張しています。

彼らは、コンピューター サイエンスの学生がプログラミングの課題を完了するためにこれらのツールを既に使用していると考えて間違いないと述べています。 したがって、新しい現実を反映する政策と慣行は、遅かれ早かれ打ち出されなければなりません。

「私たちの見解では、これらのツールは、プログラミングの教え方や学習方法を短期的に大きく変える可能性があり、これらの急増するツールの使用に適応する際に、すぐに議論する必要がある複数の機会と課題を提示すると考えています。」研究者は論文で述べています。

これらのツールは、近い将来、プログラミングの教え方や学習方法を大きく変える可能性があります。

このホワイトペーパーでは、GitHub Copilot、DeepMind AlphaCode、Amazon CodeWhisperer など、現在利用可能ないくつかの支援型プログラミング モデルに加えて、Kite、Tabnine、Code4Me、FauxPilot などのあまり公開されていないツールについても取り上げています。

これらのツールが人間のプログラマーと適度に競争力があることを観察すると (たとえば、AlphaCode は Codeforces プログラミング コンテストに参加する 5,000 人の開発者の上位 54% にランクされます)、ボフィンは AI ツールがさまざまな方法で学生を支援できると述べています。 これには、学生が自分の作業をチェックするのに役立つ模範的なソリューションの生成、学生が問題を理解する方法を拡大するためのソリューションのバリエーションの生成、および学生のコードの品質とスタイルの改善が含まれます。

著者はまた、支援ツールを使用してより良い学生の演習を生成し、コードの説明を生成し、学生にプログラミング構造のより説明的な例を提供することができる教育者にとっても利点があると考えています.

潜在的な機会に加えて、教師が取り組む必要のある課題があります。 これらの問題解決ツールやコード生成ツールは、学生が宿題でカンニングをしやすくするのに役立つ可能性があります。 AI ツールの使用のプライベートな性質により、宿題をするために第三者に協力を求めるリスクがいくらか軽減されます。

自動化された AI ツールによって出力されるソースの品質は、時として平均以下であり、駆け出しのプログラマーが悪い習慣を身につけ、安全でないコードや薄っぺらなコードを書く可能性があることを付け加えるかもしれません。

研究者は、盗作の定義の中心となる帰属へのアプローチ方法を修正する必要があるかもしれないことを観察しました。これは、支援オプションがさまざまな程度の支援を提供する可能性があり、許容される支援と過度の支援を区別することが困難になるためです。

「他の文脈では、スペルチェッカー、言い換えを提案する文法チェックツール、予測テキスト、電子メールの自動返信の提案を使用しますが、これらはすべて機械で生成されたものです」と論文は指摘しています。 「プログラミングのコンテキストでは、ほとんどの開発環境は、機械生成コードを示唆するコード補完をサポートしています。

私たちはスペルチェッカー、言い換えを提案する文法チェックツールを使用しています…

「さまざまな形式の機械による提案を区別することは、学者にとって難しいかもしれません。また、ツールのサポートに慣れていないプログラミング入門の学生が、さまざまな形式の機械生成コードの提案を区別することを合理的に期待できるかどうかは不明です。」

著者らは、これが重要な哲学的問題を提起すると述べています。

また、AI モデルが、ソフトウェア ライセンスに記載されている帰属要件を満たしていないことや、AI モデルの作成に使用されるエネルギーに関する倫理的な回答や環境への懸念を満たしていないことも強調しています。

教育における AI ツールの利点と害に対処する必要がある、と研究者は結論付けています。そうしなければ、教育者はこの技術の進化に影響を与える機会を失うことになるでしょう。

そして、彼らはそれが定着することにほとんど疑いを持っていません。 2 番目の論文「Using Large Language Models to Enhance Programming Error Messages」 [PDF] Copilot の基盤である Open AI の Codex のような大規模な言語モデルの潜在的な価値の例を提供します。

著者の Juho Leinonen (アールト大学)、Arto Hellas (アールト大学)、Sami Sarsa (アールト大学)、Brent Reeves (アビリーン クリスチャン大学)、Paul Denny (オークランド大学)、James Prather (アビリーン クリスチャン大学)、および Becker が応募しました。 Codex は、通常は不可解なコンピューター エラー メッセージに対応し、AI モデルは平易な英語の説明を提供することで、エラーを理解しやすくすることができることを発見しました。これは、教師と生徒の両方に利益をもたらします。

「大規模な言語モデルを使用して、有用で初心者に優しいプログラミング エラー メッセージの拡張機能を作成できます。この拡張機能は、元のプログラミング エラー メッセージを解釈可能性と実行可能性で上回る場合があります」と boffins は論文で述べています。

たとえば、Python は次のエラー メッセージを出力する場合があります。 Codex は、関連するコードとエラーのコンテキストを考慮して、開発者を支援するために次の説明を提案します。コロンの後の別のコード行です。」

ただし、この研究の結果は、現在の有用性よりも有望性について多くを語っています。 研究者は、壊れた Python コードと対応するエラー メッセージを Codex モデルに入力して、問題の説明を生成し、それらの説明を次のように評価しました。 不要なコンテンツ; 説明があります。 正しい説明をする; 修正があります。 修正の正確さ; 元のコードから付加価値が得られます。

結果は、これらのカテゴリ間で大きく異なりました。 ほとんどは理解可能で説明が含まれていましたが、モデルは特定のエラーに対して他のエラーよりもはるかにうまく正しい説明を提供しました. たとえば、「関数呼び出しを割り当てることができません」というエラーは 83% の確率で正しく説明されましたが、「解析中の予期しない EOF]」というエラーは 11% しか正しく説明されませんでした。 また、全体的なエラー メッセージの平均的な修正が正しかったのは、わずか 33% でした。

「全体として、評価者はコーデックスが作成したコンテンツ、つまりエラー メッセージの説明と提案された修正が、ケースの半分強 (54%) で元のエラー メッセージよりも改善されていると考えました」と論文は述べています。

研究者は、大規模な言語モデルによって生成されたプログラミング エラー メッセージの説明と修正案はまだ本番環境で使用する準備ができておらず、学生を誤解させる可能性があるものの、AI モデルはさらに作業を進めることでコード エラーに対処できるようになる可能性があると考えています。

今後何年にもわたって、その仕事がテクノロジー業界、学界、政府、およびその他の利害関係者を占めることを期待してください。 ®

Leave a Comment

Your email address will not be published. Required fields are marked *