今週の気になったニュース

わずか26分間の学習と1000円以下の計算コストでOpenAI o1-preview相当のAIモデルを構築する方法が発表される - GIGAZINE https://gigazine.net/news/20250206-s1-simple-test-time-scaling/

近年、大規模言語モデルの性能向上は、大規模な事前学習やデータセットの拡張によって実現されてきました。しかし、近年の研究では、テスト時にモデルの計算リソースを増やすことで、追加の学習なしに性能を向上できることが示されつつあります。OpenAIのo1モデルがこの手法を採用していると考えられるものの、具体的な方法は公開されていませんでした。

スタンフォード大学の研究チームが発表した論文「Simple Test-Time Scaling」は、この問題に取り組み、少ないデータサンプルと簡単な方法でOpenAI o1-previewとほぼ同等のスケーリングとパフォーマンスを再現する手法を提案しました。

主な手法

1. 厳選されたデータセット: 数万件のデータセットから、品質・難易度・多様性の観点で厳選した1000件(s1K)を用います。

2. 教師ありファインチューニング: Alibabaが開発した大規模言語モデル・Qwen2.5をs1Kで教師ありファインチューニングすることで、OpenAI o1-previewとほぼ同等のパフォーマンスを持つモデル・s1-32Bを作成しました。

低コストでの学習

• 短時間学習: 16基のNVIDIA H100 GPUをわずか26分間使用するだけでトレーニングが完了しました。

• 低コスト: 推定コストはわずか6ドル(約910円)に抑えられました。

Waitトリック

• シンプルな手法: モデルが「考え終えた」と判断した際に通常は終了するところを、強制的に「Wait」というトークンを挿入することで再考を促し、精度向上を図ります。

• 効果的かつ低コスト: 従来の手法と比べてコストをかけずに推論性能を向上させられます。

AI開発への影響

• リソースの削減: 多額の資金と大規模なデータセンターが不可欠と考えられてきましたが、s1の成果はそれを覆し、より少ないリソースで高度な研究を行う道を開きました。

• 研究者の参入: AI開発の門戸がさらに広がり、多くの研究者が参入しやすくなる可能性があります。

• AI開発の在り方の変化: わずか1000件のデータで高性能なモデルが構築可能であることが示された以上、従来のAI開発の在り方そのものが変わるかもしれません。

今後の展望

• 多様なアプローチ: AIの進化には複数のアプローチがあり、それぞれの手法がさらなる発展を遂げることで、2025年にはさらに大きな技術革新が起こる可能性があります。

この研究成果は、AI開発の民主化に大きく貢献し、今後のAI研究の発展に大きな影響を与えることが期待されます。

スターゲート計画と核融合エネルギー

スターゲート計画

OpenAIのサム・アルトマンCEOとソフトバンクの孫正義会長兼社長は、AI関連のインフラ整備に4年間で最大5000億ドルを投資する「スターゲート計画」を発表しました。この計画は、AIの開発と普及を加速させることを目的としており、大規模なデータセンターの建設とAIモデルのトレーニングに必要となる膨大な電力を確保することが重要な課題となっています。

核融合エネルギーの役割

この電力供給の解決策として、核融合エネルギーが注目されています。特に、アルトマンと孫が出資する核融合エネルギーのスタートアップ、Helion Energyが有力な候補として浮上しています。Helion Energyは、マイクロソフトとも契約を結び、同社の核融合発電所から電力を供給する予定です。

課題と懐疑論

しかし、この計画はいくつかの課題に直面しています。まず、Helion Energyの核融合発電所の完成予定である2028年までに、安定的な電力供給を実現できるのかという点について、一部の物理学者は懐疑的な見方を示しています。また、スターゲート計画の電力供給パートナーはまだ決定しておらず、天然ガス発電に依存する可能性が高いです。

さらに、イーロン・マスクやDeepSeekの登場により、スターゲート計画の必要性自体が疑問視されています。マスクは、出資者が十分な資金を持っているかに疑問を呈し、DeepSeekは低コストで強力なAIモデルを発表しました。

核融合エネルギーの未来

Helion Energyは、カーボンフリーでほぼ無限のエネルギーを生み出す核融合炉の開発を目指していますが、実用化にはまだ多くの課題が残っています。同社以外にも、ビル・ゲイツが支援するCommonwealth Fusion SystemsやZap Energyなど、複数の企業が核融合エネルギーの開発に取り組んでいますが、いずれも実用化には10年以上かかると予想されています。

結論

スターゲート計画は、AIの未来を大きく変える可能性を秘めていますが、電力供給の確保や核融合エネルギーの実用化など、多くの課題を克服する必要があります。Helion Energyは、この計画の成功のカギを握る重要なプレイヤーであり、その技術革新と商業化の進展が注目されます。

Google GeminiのスーパーボウルCM：AIの誤情報が引き起こした波紋

Googleが誇る最新AIモデル「Gemini」。その華々しいデビューの舞台として選ばれたのは、アメリカ最大のスポーツイベント、スーパーボウルでした。しかし、このCMでGeminiが披露したのは、驚くべきことに誤った情報でした。旅行ブロガーのNate Hake氏は、Geminiがウィスコンシン州のチーズ会社のウェブサイトにあるゴーダチーズについて説明する際に、世界のチーズ消費量の50～60%を占めているという、事実とは異なる情報を生成したことを発見しました 。Hake氏は自身のブログで頻繁に旅行先で見つけたチーズについてレビューしており、チーズに関する知識も豊富であったことから、Geminiの誤りにすぐに気づいたようです 。  

Googleは、莫大な費用をかけてスーパーボウルのCM枠を獲得し、Geminiの能力を世界にアピールしようとしました。しかし、皮肉なことに、Geminiは視聴者の前で誤った情報を生成するという失態を演じてしまったのです。この出来事は、AI技術の進歩と同時に、その信頼性に対する深刻な疑問を投げかけるものでした 。  

CMでGeminiは、複数のウェブサイトでゴーダチーズの消費量に関する情報を確認したと主張しましたが、具体的な情報源は示していませんでした 。この情報の出所が不明瞭であるという事実は、AI技術のブラックボックス化という問題点を浮き彫りにしています。AIがどのように情報を処理し、どのような根拠に基づいて結論を導き出すのかが不明瞭な場合、その出力結果の信頼性は著しく低下します。  

この事態を受け、Googleのクラウドアプリケーション担当社長であるJerry Dischler氏はCMを擁護しました 。Dischler氏は、元の広告には出典が示されていなかったことを認めつつも、CMの最後に「Gouda」と「Good」をかけている点を強調し、Geminiの能力をアピールしました 。しかし、この説明は多くの視聴者にとって説得力に欠けるものでした 。Dischler氏が自社製品を過信し、その潜在的なリスクを軽視しているのではないかとの批判も噴出しました 。  

さらに、記事ではcheese.comというウェブサイトについても言及されていますが 、Geminiが誤った情報を生成した原因となったウェブサイトかどうかは明らかではありません。cheese.comは、チーズの選び方、保存方法、食べ方に関する記事や、チーズの環境への影響に関する記事などを掲載しているウェブサイトです 。Geminiがcheese.comの記事を誤って解釈した可能性も考えられますが、さらなる調査が必要です。  

考察

今回のGoogle GeminiのCMにおける誤情報問題は、AI技術の利用における倫理的な側面と、情報源の信頼性確保の重要性を改めて問うものです。AI技術は急速に進歩しており、私たちの生活に様々な恩恵をもたらしています。しかし、AIはあくまでもツールであり、その出力結果を鵜呑みにすることは危険です。特に、情報源が不明確な場合や、情報が偏っている可能性がある場合は、注意が必要です。

今回のケースは、Googleという世界的な企業が、スーパーボウルという大舞台で、検証不足のAIモデルを宣伝してしまったという点で、特に深刻です。この出来事は、Googleの企業イメージに傷をつけ、AI技術に対する社会的な信頼を損なう可能性も孕んでいます 。  

AI技術が社会に浸透していくためには、AIのブラックボックス化を防ぎ、情報処理の透明性を高めることが重要です。AI開発者は、AIがどのように情報を処理し、どのような根拠に基づいて結論を導き出すのかを明確に説明する責任があります。また、AIが出力する情報の正確性を検証し、誤った情報が拡散されるのを防ぐための仕組み作りも必要です。

さらに、利用者側もAI技術に対するリテラシーを高め、AIが出力する情報を批判的に吟味する必要があります。情報源を確認したり、他の情報源と照らし合わせたりすることで、誤った情報に惑わされるリスクを減らすことができます。

AI技術は、正しく利用すれば社会に大きな貢献をもたらす可能性を秘めています。しかし、その一方で、誤った情報や偏見を含む情報を生成するリスクも抱えています。AI技術の倫理的な側面と情報源の信頼性確保について、社会全体で議論を進めていく必要があるでしょう。

AI技術の進歩は目覚ましく、今後も私たちの生活に大きな影響を与えていくことは間違いありません。しかし、今回のGoogle GeminiのCMの事例は、AI技術の利用には倫理的な配慮と情報検証の徹底が不可欠であることを示しています。AI技術の開発者、利用者、そして社会全体が、AI技術とどのように向き合っていくべきかを真剣に考える必要があるでしょう。