先月、Googleから新しいgenerative AI “Gemini 1.5 Pro”(1) が発表されました。「凄い性能だ」との噂がよくSNSで流れていました。そして今日ついに”Gemini 1.5 Pro”へのアクセスがGoogleから届きました。さっそくいろいろ実験してみたいと思います。
１．100万tokenの長いcontext windowは本当に使えるのか？
Gemini 1.5 Proは100万tokenという今までのLLMでは考えられないぐらいの長いcontext windowを誇ります。あまりに凄いために「本当にこれ使えるの?」と誰しも考えることでしょう。 今日ここでその実力を探ってみたいと思います。2つ実験を準備しました。1つ目は比較的短い資料から数値を含めて細かい情報を抽出するもので、2つ目は20万tokenを超える長い資料から包括的な質問にうまく答えられるかを確認します。それでは始めましょう。
２．トヨタ自動車の決算短信からの情報抽出
まず最初に、2023年3月期のトヨタ自動車の決算短信から数値情報を正確に抽出できるかを確認します。ページ数は28、token数は約27,000と長い資料ではないですが、実務ではよく見られるタスクだと思います。今回は全13問用意しました。それでは以下のようにGoogle AI Studioに資料をアップロードして、順番に質問をしてみましょう。
こちらが結果です。正答率は約88%です。
問8の設問ですが、決算短信ではROEを「親会社所有者 帰属持分当期利益率」としています。この長い漢字は米国生まれのGemini 1.5 Proにとっては理解が難しかったのだと思います。ただし、自身で他の関連数値から計算して値を示してくれているので、0.5加点の△評価としました。日本語でもかなりのことをやってくれるようです。ちなみに計算時間も概ね平均で30秒もあれば結果が出せそうでした。計算リソースの効率化も進んでいるようです。念のためですが、この資料は2023年5月10日に公表されています。従って学習データに取り込まれている可能性はあることにご注意頂ければと思います。
３．金融検査マニュアルからの情報抽出
それでは次に長大な金融行政文書「金融検査マニュアル」をGemini 1.5 Proで分析したいと思います。リスク管理やガバナンスの態勢を構築する議論のきっかけになったもので、2000年以降に金融業界に在籍した方にとっては忘れられない文書だと思います。ページ数は366、token数は220,526と20万tokenを超えています。Gemini 1.5 Proはこのボリュームの文書を一度に取り込める世界初の生成AIということになります。以下のようになんなくアップロードに成功しました。質問すればきちんと答えてくれます。
実際に「信用格付付与プロセスの適切性を確認するためには何をすれば良いですか？」と問いかけてみました。以下ようなの回答が得られました（長くなるためここでは１と２のみを示します）。
信用格付付与プロセスの適切性を確認するためには、以下の項目について検証する必要があります。
1. 格付基準の妥当性
格付基準は、債務者の信用リスクを適切に反映しているか。
格付基準は、客観的かつ検証可能な形で定められているか。
格付基準は、債務者区分と整合的であるか。
格付基準は、定期的に見直されているか。
2. 格付付与手続の適切性
格付付与手続は、格付基準に則って適切に行われているか。
格付付与手続は、正確かつ検証可能な客観性のある形で実施されているか。
格付付与手続は、債務者の状況変化を適時に反映できるものとなっているか。
格付付与手続は、営業部門等の影響を受けない独立した部門によって行われているか。
あとは、３:モデルの利用、 ４:データの維持管理、 ５:内部監査と続きます。かなり包括的・総合的な回答になっていますが、リスク管理の原則に則っており、また金融検査マニュアルp142あたりの記述とも整合的です。さらにこういった信用リスク管理に関わる記載はこのマニュアルの真ん中にあり、過去に「生成AIは長いデータの真ん中当たりの精度が落ちる」といった指摘もありましたが、Gemini 1.5 Proは問題無いようです。専門的な内容にもかかわらず、大変良い回答を提供してくれました。計算時間も約90秒と充分実用に耐えると思います。きっと良いリスクマネージャー・アシスタントになれることでしょう。
いかがでしたでしょうか？ 日本語でもあってもかなりの精度で20万tokenを超える長い資料を分析できそうです。社内文書検索タスクにも使えそうですね。次回は英語を使ってより困難なtaskに挑戦してみたいと思います。ご期待下さい。Stay tuned!
1) Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context, Gemini Team, Google
Copyright © 2024 Toshifumi Kuga. All right reserved
Notice: I do not accept any responsibility or liability for loss or damage occasioned to any person or property through using materials, instructions, methods, algorithms or ideas contained herein, or acting or refraining from acting as a result of such use. I expressly disclaim all implied warranties, including merchantability or fitness for any particular purpose. There will be no duty on me to correct any errors or defects in the codes and the software.