Gemma3(1)がgoogleからリリースされました。中国勢に押され気味だったオープンソースの生成AIですが、やっと対抗できるモデルが出てきたようです。もちろん性能は素晴らしいのですが、GPU一つでも実装できる効率性もアピールしています。そこで今回は最新M4 チップを搭載したMacBook Air13 (10core 24GBユニファイドメモリ 512GBストレージ)を用意して実際にローカルで動かし、精度と計算速度を確認したいと思います。では早速始めましょう。
１、実験に使ったデータ
米国銀行に寄せられた顧客からのクレームが公開されています（2)。このデータを10,000件用意して、Gemma3に「このクレームは具体的に何の金融商品についての不満なのか」を予測させてます。具体的には以下の６つの金融商品から一つを選ぶ6-class判別問題のタスクになります。なお、ラベルデータとしては上の方に記載がある番号を使っています。
２、実験に使ったハード・ソフトウエア
MacBook Air13の最新型を用意しました。localでGamma3 を実装するために2(3)を使用しました。これはPCに生成AIを実装する際によく使われており、UIは無いですが、その分軽量で使いやすいソフトウェアです。また、将来、生成AIを別のモデルと簡単に入れ替えできるように、LangChiain(4)を使って判別プロセスを構築しました。今回使った生成AIモデルはOllamaからダウンロードしたGemma3-12B-itです。
３、結果を示す混同行列
10,000サンプルの判別を実行しました。モデルはファインチュ-ニング無しで箱から取り出してそのまま使ったのですが、0.7558と充分な精度が出ました。かなりボリュームがあるサンプルですが、計算時間は約14時間と1日かければ終わります。やはり最新のM4チップは強力です。混同行列を見ると”Bank account or service”と”Checking or savings account”の区別が難しそうですね。
いかがでしたでしょうか？ 私も過去様々な生成AIを試してきましたが、10,000件のサンプルで実験したのは初めてでした。判別精度も良かったですし、何より費用の心配が要らないのが、ローカルで生成AIを運用する際の利点の一つです。また、今回の分析データは公開データなのでどこでも使える訳ですが、タスクによっては機密情報を扱うためクラウドに上げられないケースもあるかと思います。そんな時にも今回の分析手法は有効なソリューションになります。皆さんも是非一度試してみて下さい。これかもいろんな生成AIを用いた実験を行って参りますので、お楽しみに。Stay tuned!
1) gemma3 https://blog.google/technology/developers/gemma-3/
2) Consumer Complaint Database https://www.consumerfinance.gov/data-research/consumer-complaints/
3) Ollama https://ollama.com/
4) LangChain https://www.langchain.com/
Notice: I do not accept any responsibility or liability for loss or damage occasioned to any person or property through using materials, instructions, methods, algorithms or ideas contained herein, or acting or refraining from acting as a result of such use. I expressly disclaim all implied warranties, including merchantability or fitness for any particular purpose. There will be no duty on me to correct any errors or defects in the codes and the software.