【AI知力オリンピック】最強の知力を持つAIモデルはどれだ？

2024年3月現在、総合的に最も優れているAIは「ChatGPT-4」であった。しかし、Claude3 Opusをはじめとする優秀な競合AIが登場したことで、以前のようなChatGPT-4の圧倒的優位性は無くなっている。ChatGPT-4は、分析とブラウジングの補助機能により計算と数学部門で点数を稼ぎ、辛うじて総合点で勝つことができた状況で、文章生成の自然さや表現力ではClaude3 Opusに完敗している。
また、今年6～7月頃に登場するとされているGPT-5は、GPT-4から大幅に進化しているようなので全項目での圧倒的1位を期待したいところである。

ブラウジング版GPT-4が②⑤㉔㉕以外正解で正答率86％という驚異的な成績を叩き出した。この結果から知識問題はブラウジング機能を使うことで大幅に改善されることが証明された。ChatGPTの情報が噓ばかりで信用できないというのは、もはや過去のものかもしれない。
また、ChatGPT-4 (All Tools)がブラウジング機能を使用してくれなかったのは本当に残念だった。
Claude3 Opusは、GPT-4が回答できなかった部首名、誤字訂正などもバランスよく得点し、高得点を記録した。Claude3 Opusの言語力の高さが垣間見える結果となった。

半年前と比べると全てのモデルで得点率が上がった。特にChatGPT-4 (All Tools)は驚異的な成績だ。単純な計算は約分し忘れなどのミスのみで根本的な計算自体の間違いは完全に無くなっていた。数学的な思考力やパズル的な問題で失点してしまっている状況だ。
また、競合のClaude3 Opusは、ChatGPTのような分析機能がないせいで、点数はあまり良くなかった。Claude3 Opusがこの計算部門で高得点を出せれば総合で現王者ChatGPT-4に勝利できた可能性はかなり高かっただろう。

ChatGPT-4の得点が半年前と比べて3倍近く上がり、この成長度合には驚きを隠せない。以前より劣化しているとの声もあったが、場合分けが必要なやや複雑な確率問題（問題⑬）に正解するなど数学分野で大幅な進化が見られた。高校生の平均レベルの数学力はあるかもしれない。
しかし、最適化があまりうまくいってないようでChatGPT-4(All Tools)では少し正答率が下がってしまった。
競合のClaude3 Opusは、計算部門同様、ChatGPTのような分析機能がないため、点数が伸び悩む形となった。

ChatGPT-4の成績が下がりChatGPT-3.5の成績が上がったことでGPTモデル間の差が小さくなった。
ChatGPT-4にはもう少し頑張ってほしいところではあるが、プログラミング問題以外のIT系問題と医療系問題は満点だったのでこの2分野に関してはある程度信頼しても良いと言えるだろう。また、アルゴリズムの問題など半年前には解けなかった問題も解説まで完璧にして解いているのでやはり数学的能力は向上していると思われる。しかし、半年前に部分点を取れていたプログラミング問題を今回失点してしまったのは、やや残念な部分であった。大きく失点しているのは半年前と同じく、司法試験、公認会計士、行政書士などの文系資格の問題でここが解けるようになれば得点率8割も見えてくるだろう。
ChatGPT-4(All Tools)は、数学部門と同様に分析機能との最適化がうまくいっていないようで、統合前はできていたアルゴリズムの問題ができなくなっていた。ただ、司法試験の問題に正解するなど一部の能力は上がっていた。
また、ChatGPT-4の最大のライバルであるClaude3 Opusもかなりの高得点を記録した。文系資格の問題は、Opusに限らずClaude3系の方が強いようだ。
資格部門は総合的に見て、ChatGPT-4とClaude Opusは、ほぼ互角の実力といって良いだろう。

ChatGPTは、依然として並べ替え問題ができなかったのが非常に残念であったが、統合前のChatGPT-4は、高難易度の文法問題（英検1級の問題も含む）と長文問題（大学受験最高峰の難易度とされている早稲田理工の問題も含む）が満点だった。
しかし、ChatGPT-4(All Tools)は、以前はできていた語句の問題を間違えたり、早稲田理工の長文問題を1問間違えたりと正答率8割を切ってしまった。
とはいえ、ChatGPT-4の英語力は依然として非常に高く信頼できるレベルといっていいだろう。
また、ChatGPT-4の宿敵であるClaude3 Opusも相当な高得点を記録し、資格部門に続き英語部門でも現王者ChatGPT-4と互角の実力を示した。

ChatGPT-4は、ブラウジング機能を使うことで、知識問題は満点になり、なぞなぞ問題の正答率も大きく上がった。
ChatGPT-4(All Tools)は、今の総理大臣は誰か？という問題以外ブラウジング機能を使わなかったことと、計算問題の最適化がうまくいっていないのが原因で点数が伸び悩む形となった。
またここでも、Claude3 Opusは高得点を記録した。ここまでの結果を踏まえると、分析やブラウジング機能を除いて純粋な言語モデルとして比較するならChatGPT-4よりClaude3 Opusの方が少し格上といえるかもしれない。
さらに、GeminiやBingAIもブラウジング機能を備えているため、好成績を残した。

ついに、Claude3 OpusがChatGPT-4を上回り1位となった。創造力・表現力についてはClaude3 Opusの完全勝利である。
点数上は、ChatGPT-4と1点差だが文章の自然さは圧倒的にClaude3 Opusの方が良く、点数以上に性能差があるように思う。
④の将棋を使った新しいゲームを考案する問題ではChatGPT-4は満点だったが、Claude3 Opusは発想は面白かったものの明らかにゲームバランスがおかしいものだったので1点減点した。ここが無ければ2点差だった。
また、ChatGPT-4は、半年前と比べて回答精度が少し良くなっているようにも感じたが大きな差は見られなかった。対して、ChatGPT-3.5の精度は以前より大きく落ちているように感じた。
最後に、依然として完璧なしりとりができるAIがいないのは非常に残念だったが、Claude3 Opusは架空の用語を出していない分、今までで最も惜しかった。しりとり問題は、次世代モデルGPT-5に託される形となった。