【AI知力オリンピック】最強の知力を持つAIモデルはどれだ？

2024年6月現在、総合的に最も優れているAIは「ChatGPT-4o」であった。生成スピードが大幅に速くなったのにも関わらず、精度も向上しているのは凄い。しかし、他のモデルとの差はそこまで大きくないため、依然として競争が激しい状況である。
また、1年前のChatGPT-4との差が大きいことから、ChatGPT-4に大幅な改良があったことがわかるのも興味深い。
新登場のClaude3.5 Sonnetは、Claude3.5の中間モデルにもかかわらず、かなり性能が良かった。今年後半にリリース予定のClaude3.5 Opusは、現行トップのChatGPT-4oを超える可能性が極めて高い。
OpenAIは、GPT-4.5をすぐにでもリリースしないと王座から陥落するだろう。
なお、アルトマンとミラによると博士レベルの知能を持つGPT-5は、2025年末～2026年初頭にリリース予定のようだ。

ブラウジング版ChatGPT-4が②⑤㉔㉕以外正解で、正答率86％という驚異的な成績を叩き出した。この結果から、知識問題はブラウジング機能を使うことで大幅に改善されることが証明された。ChatGPTの情報が噓ばかりで信用できないというのは、もはや過去のものかもしれない。
最新モデルであるChatGPT-4oやClaude3.5 Sonnetも中々の成績である。ChatGPT-4oは従来のChatGPT-4と比較して知識問題に強くなっている印象を受けた。

半年前よりChatGPTの計算精度が下がっており、本当に残念である。以前は約分忘れやパズル系の問題のみの失点で、計算自体のミスは無かったが、今回は微分や積分の計算でも普通に間違えてしまっている。これは計算機能を調整するだけで改善できるはずなので、早急に対応してほしいところである。非常に勿体ない結果だ。
ClaudeやGeminiは、アナリティクス機能がないため計算問題の正答率はそこまで良くなかった。複雑な計算を聞きたい場合は、ChatGPT-4o一択だろう。

思考系タスクは生成スピードの速いChatGPT-4oにはそれほど期待していなかったが、意外にもトップの成績を収めた。とはいえ、ChatGPT-4が正解しているのにChatGPT-4oは間違えている問題もいくつかあったため、数学分野のモデル間の差はそれほど大きくはない。
ただ、1年前のChatGPT-4が16.67%だった問題に対して、最新のChatGPT-4oは58.33%まで得点を伸ばしている状況は、同じGPT-4とは思えない成長ぶりである。
ClaudeやGeminiは、計算分野同様にアナリティクス機能がないことが敗因となった。

資格問題は、Claude3.5 Sonnetがトップの成績を収め、初めて資格部門で8割を得点した。要因としては、ChatGPT-4oが苦手とする司法試験、公認会計士、行政書士、宅建などの文系資格の問題をいくつか正解できたことが大きい。
また、プログラムの問題もClaude3.5 Sonnetが最も良かった。
ちなみに、IT、医療系の選択式の問題は、ChatGPT-4oやClaude3.5 Sonnetなどの最先端モデルには失点が無かったので、どちらも業務で活用できるレベルにありそうだ。

資格問題に続き、英語もClaude3.5 Sonnetが圧倒的トップの驚異的な成績を収めた。要因としては、並び替え問題以外の失点が無かったことにある。
現時点では英語に関する質問は、Claude3.5 Sonnet一択になるだろう。

ChatGPT-4はブラウジング機能を使うことで、知識問題は満点となり、なぞなぞ問題の正答率も大きく上がった。
しかし、最新モデルであるChatGPT-4oも、漢字や英語の語句問題と同様に知識問題の精度が大きく上がったことで、ブラウジングを指示したChatGPT-4に迫る点数となった。ブラウジングを指示せずに8割近い点数を取るのは大きな進歩と言える。
ちなみに、Claude3.5 Sonnetは、なぞなぞ問題に弱かったため、点数が伸び悩んだ。

点数上はChatGPT-4系と同じだが、文章の自然さについてはClaude3 Opusの方に軍配が上がるかもしれない。ただ、以前ほどの差は無くなってきている印象を受けた。
Claude3.5 Sonnetは、Claude系で期待していたが、回答に矛盾点がいくつかあったことで、意外にも点数が伸び悩んだ。
最新モデルであるChatGPT-4oと従来のChatGPT-4は、問題にもよるが総合的に見て大きな違いは見られなかった。
依然として完璧なしりとりができるAIがいないのは非常に残念であった。しりとり問題は、次世代モデルであるGPT-5に託される形となった。