生成AIを使ったテストコンテンツの作成から公開まで | Exam Site

生成AIを使ったテストコンテンツの作成から公開まで | Exam Site

Exam Siteのご紹介

弊社では、プログラミング、AWS、日本語能力試験(JLPT N3)など、さまざまな分野の知識をテストするExam Siteを運用しています。このサイトはまだベータ版ですが、興味を持っていただける方は以下からアクセスしていただけます。

Exam Site

テストコンテンツの作成方法

一から全ての問題や、解答、その説明を作成すると非常に時間がかかります。
問題の内容以外に、文章の言葉や、文法も正しいかレビューする必要があります。
そのため、弊社ではいくつかのAIサービスを利用し、テストを提供しています。

今回はJLPT N3の問題を作成するまでのプロセスを紹介したいと思います。

1. テスト問題を作る

テスト問題を作る時は2種類の方法があります。

  • プロンプトを用いる方法: ChatGPTに指定したプロンプトを基に問題を作成してもらいます。
  • 資料から作成する方法: 特定の文献や資料の内容をChatGPTに読み込ませ、それに基づいて問題を作成してもらいます。
    例えば、こちらのサイトの記事の内容を読み込ませて、作成したテストが、こちらのテストになります。

2. 画像を追加する

問題にあったフリーの画像を探して、それを問題に組み合わせます。
(ChatGPTのDALL E-3が利用できるようになっているので、今後はこちらも生成AIのものを利用していくかもしれません。)

3. レビューを行う

レビューは人とAIの協力のもと進めていきます。
AIの役割は、説明や答えがあっているかチェックすることです。ChatGPT、 Bing、 Google Bardなど複数のものを使用しチェックしています。
人の役割は、主に問題として適切かどうかをチェックします。よく発生する問題として、選択肢の間違いのものが、複数の問題で使用されていて、選択肢が明らかに間違いがわかってしまったり、4択問題で最後の選択肢がほぼ正解として設定されていなかったり、偏りが発生することがあります。
テスト問題作成のプロンプトに問題があるからかもしれませんが、このように人の確認とAIの確認を組み合わせています。

4. 音声ファイルを作成する

こちらはGoogleのText to SpeechやNatural Readers、色々迷いながら試して見ました。最終的にNarakeetを使用しています。
音声が他のものと比べると自然な感じなのと、スクリプトファイルで音声作成の指示ができるためです。
スクリプトファイルで指示ができるため、会話の音声の切り替えが音声ファイル作成時にでき、音声編集がいらない、また、少し編集したい時に再出力が容易です。

スクリプトの例

(voice: Takeshi)
4番:
(voice: Tomoka)
明日の会議は8時半からです。遅れないようにしてください。
(voice: Takeshi)
1.
(voice: Kasumi)
了解しました。
(voice: Takeshi)
2.
(voice: Kasumi)
構わないです。
(voice: Takeshi)
3.
(voice: Kasumi)
どういたしまして。

出力した結果がこちらです。

ここまでがテストを作成する工程となります。
あとは、これをExam Siteの管理画面で登録するのみです。
こちらがこの工程で作られたテストとなっております。
JLPT N3 問題 – 聴解①

最後に

Exam Siteは、効率的かつ多様なテストコンテンツを提供するために、様々なテクノロジーを活用してテストコンテンツを作成・公開しています。これらのプロセスを通じて、テスト問題を皆様に提供し続けます。

よければX(Twitter)をフォローして頂けると幸いです。
Train Japanese | Exam Site