トピック
結局ChatGPTとGemini、Claudeのどれを使えばいい? 色々比較した
2024年5月9日 08:20
大手プラットフォーマーやAI企業の間で、日々激しい開発競争が繰り広げられているAIチャットツール。ここでいったん、各社のAIチャットツールで何ができ、それぞれどんな性能や性格をもっているのか比較しておくのもいいかもしれません。
そこで今回は、一般のユーザーが利用しやすい代表的なAIチャットツールOpenAIの「ChatGPT」、Google「Gemini」、Anthropic「Claude」の3種について、その有料版における性能や実力を比べてみました。
いずれも20ドル(3,000円強)程度の月額料金がかかり、継続利用を考えると決して安くはありません。これを参考に自分の使い方に合いそうなAIチャットツールを見つけてもらえればと思います。なお、本記事の内容は2024年5月2日時点のものです。
AIチャットツール3種のサービス内容を比較
まずは3種類のAIチャットツールの概要を簡単に表にまとめてみました。OpenAIのChatGPT、GoogleのGemini、そしてAnthropicのClaudeです。
代表的なものとしては他にMicrosoftのCopilotもありますが、基本的にはChatGPTと同じAIモデルをベースにしていて性能的な違いはあまりないため、今回は省いています。
月額料金はどれもざっくり3,000円前後で横並び。ただ、今のところ日本円で2,900円に固定されているGemini Advancedが、最初の2カ月間だけ無料ということもあってお財布に一番優しいサービスと言えます。
Gemini Advancedは「Google One AI プレミアム」の会員向けサービスという位置付けでもあり、Google Oneのクラウドストレージ2TB分などの特典が含まれているのもメリットです。
円安が進んでいるこのご時世を考えると、ChatGPT PlusやClaude Proとの差はより大きくなる可能性があります。ただ、さらに過剰な円安になればGemini Advancedの値上げも考えられるでしょう(ちなみにMicrosoft Copilotは3,200円なので、円安の状況と用途によってはChatGPTよりおトクに感じられるかもしれません)。
次に機能面に目を向けると、画像認識には3種とも対応していますが、画像生成ができるのはChatGPTとGeminiで、Claudeはあくまでもテキストでの返答に限定されます。ただしClaudeは20万というコンテキスト長で、他より大きなデータ(長文テキストなど)をやりとりするのに長けているという強みがあります。
ChatGPTは別料金のAPI経由で音声認識(音声ファイルから文字起こしするなど)にも対応します。Geminiも最新のAIモデルである1.5 Proで対応しますが、これも今のところAPI経由となり、Gemini Advancedの範囲には含まれていません。動画認識も同様です。
ただし、機能拡張できる仕組みを組み合わせることで、AIチャットツール上でそうした多様な機能を実現できる場合があります。ChatGPTでは「GPTs」、Geminiでは「拡張機能」と呼ばれるものがそれです(Claudeには類似の機能は用意されていません)。
ChatGPTのGPTsでは、開発者が提供している独自のGPT(カスタマイズしたAIチャット機能)を自由に利用できます。チャットの前提条件となる細かな設定がなされたうえで、外部サービスとの連携や独自データに基づいた処理を行なうこともでき、より専門的で的確な回答が得られたりします。
一方、Geminiの拡張機能は、今のところGoogleが公式に提供しているもののみ。Google Workspace、Google マップ、YouTubeといった同社サービスと連携した回答ができる、というだけに留まっています。拡張性、応用性の高さという意味では、膨大な数のGPTsが使えるChatGPTに軍配が上がるでしょう。
各AIチャットツールの出力結果を比較
それでは、3種のAIチャットツールで最上位のAIモデルを使い、同じ指示を出してどのような回答が得られるかを比較してみましょう。
記事内容の要約
最初に、Impress Watchの過去記事を要約させてみました。こうした要約文の完成度が高いかどうかは、それを読む人の好みに左右されるところもあると思いますが、最も筆者の意図通りの要約になっていると感じられ、かつ要約記事としてそのまま使えそうなのはClaude 3 Opusでした。
ただ、今のところはURLで示した記事を分析する機能はないので、原文の貼り付けやファイルでのアップロードが必要になります。また、「文字数：800文字」と自信満々に言っているにもかかわらず実際には657文字で、指示内容に完全には沿っていません。
ChatGPT Plus(GPT-4)はWebブラウジング機能を備えているため、チャット入力欄にURLを入力するだけでその記事の要約ができます。ただ、いわゆる要約記事というよりは、「概要を教えてくれる」スタイルになっていて、指示の仕方をもう少し工夫する必要がありそうです。こちらも文字数指定はあまりあてになりません。
Gemini AdvancedもURL指定でそのまま要約してもらうことができます。要約の仕方は少し特徴的なところがあり、こうしたまとめ方のほうがわかりやすい、と感じる方もいるかもしれません。が、問題は記事内容について部分的に誤った理解をしていること。長い文章を要約して時短を狙いたい、というときには注意した方が良さそうです。
プログラムコードの生成
次はコードの生成。サンプルデータとして提示したXML内の特定のエレメントの値を取得して表示する、というシンプルなプログラムの作成を指示してみました。
ChatGPT Plus(GPT-4)では、外部のXMLファイルから読み出す形のコードになり、読み込むファイル名だけ調整すれば、そのままコードを実行するだけで無事正しい値を取得し、表示してくれました。指示を出す際には、サンプルのXMLファイル(やプログラムのコードも)チャット画面にドラッグ＆ドロップしてアップロードできるので、手間が最小限で済むのも利点です。
Gemini Advancedも同様に外部XMLファイルから読み出す形で実装されましたが、「for result in root.findall('result'):」の行で失敗(resultというタグが見つけられない)し、値が出力されずにプログラムの実行が終了しました。ここは子ノードしか調べられないfindallではなく、ChatGPTのように孫ノード以降も調べられるiterを使うなどするべきでしょう。
ただ、Geminiの場合は、AIが提示したコード(Python)をその場で実行できる機能が用意されているのが特徴的です。今回の例のように外部ファイルを読み込む処理が含まれる場合は必ず失敗してしまうものの、コードだけで完結している処理であればいちいちローカルにファイルを作成したりせず、その場で動作確認できるのは便利です。
Claude 3 Opusはどうでしょうか。こちらは(一部省略された)XMLデータがハードコードされ、汎用性に欠ける作りになっている印象です。しかも実行してみると、コードの3行目、そのXMLデータを代入する変数の最初に改行が入っているせいでエラーになってしまいました。
「xml_data = '''＜改行＞」となっているところを、次の行をくっつけて「xml_data = '''<?xml version="1.0" encoding="UTF-8"?>＜改行＞」にするだけで問題なく実行できるようになるのですが、こうしたちょっとしたミスで作業につまずくとストレスが溜まるものです。
画像の認識と画像からの文字抽出
今度は画像をアップロードして、その内容について説明させてみました。1つ目は筆者が撮影した写真で、中身をどれだけ認識しているかをチェック。続いて書類画像を分析させ、OCR性能を確かめてみます。
写真の方は、最も詳細に答えたのがGemini Advanced。ただ、1両しかないのに2両編成としたり、パンタグラフが見えないのにあると答えていたり(この列車はディーゼル車)、実際とは無関係な地名を挙げていたりと、勝手な想像で説明しているところが多分にあります。
Claude 3 Opusは、Geminiよりは客観性のある説明になっているものの、こちらもパンタグラフや電柱など画像にない要素を挙げています。
ChatGPT Plus(GPT-4)は具体性のあまりない無難な回答ではあるものの、とりあえず写真の中身がどういったものであるかは把握しているようです。
2つ目の書類画像については、明らかに得意・不得意の差が出ました。Claude 3 Opusはほぼ完璧に文字起こしでき、誤りはわずか2カ所のみ。実用性の高いOCRツールにもなりそうです。
反対にChatGPT Plus(GPT-4)とGemini Advancedは文字を読み取れず、ほとんど想像で書き起こしているようです。Claude 3 Opus以外は「文字は読めない」と考えておいた方が良いかもしれません。
ハルシネーションのチェック
AIツールにおいて小さくない問題として捉えられているのが、事実とは異なることをさも本当のことのように出力してしまう、いわゆるハルシネーションが起こる可能性があることです。
ネット上に情報としてあまり存在しないと思われる事柄について質問するとハルシネーションが発生しやすい傾向があり、今回の3種のAIチャットツールでそのときにどのような挙動を見せるのか確認してみました。質問内容は筆者が個人的に好きな作品、井上夢人の小説「パワー・オフ」の「あらすじを教えてください」というものです。
これに対し、ChatGPT Plus(GPT-4)は、「停電の背後にある陰謀を解き明かす」という架空の物語を紡ぎ出し、「テクノロジーの脆弱性と人間の適応力などに焦点を当てた作品」と解説。Claude 3 Opusに至っては、作品や作家自体が存在しないと断言してしまいました。
Gemini Advancedは惜しい、という感じです。導入の「おきのどくさま」はまさにその通りで、その後のあらすじも概ね近いと思えるものの、続く「主な登場人物」で無関係な謎の人名が次々に列挙され、新型ウイルス「X」でズッコけてしまいました。
しかし前半は当たっている部分もあるだけに、知らない人からすれば他の誤っているところまで信じてしまいかねず、余計にやっかいな状況になっているとも言えます。
APIの性能とコストを比較
以上は一般のユーザーが触れることの多いAIチャットツール部分での比較でしたが、3つのサービスは他にAPI経由での利用も可能で、それによってチャットツールにはない機能を実現できるようになっています。
APIというのは、主に開発者向けに用意された、プログラムのなかからサービスの機能を呼び出して利用できるようにする仕組みのことです。例えば画像認識するオリジナルのスマホアプリを作ろうとしたときに、AIサービスの画像認識APIを呼び出すだけで簡易に実現できます。画像認識する独自アルゴリズムを頑張って1から実装する必要がないわけです。
APIは機能ごとに細分化されており、それごとに異なる料金体系になっています。実際には利用した分だけの料金が請求されることがほとんどですが、ここでは参考までに各社が共通で用意しているチャット機能(テキスト処理)と目安料金にフォーカスして比較してみることにします。
APIは用意されている機能の多さも重要なポイントではありますが、あえてテキスト処理周りで比べてみると、やはりこちらも無料で使えるGeminiの強さが目立ちます。個人で利用するだけのツールであれば、1.0 Proの無料の範囲内でも実用上支障のないものが作れるでしょう。
他2種は無料分こそないものの、OpenAIは課金実績などに応じて制限が段階的(Tier1～5)に緩和され、大規模なAIサービス開発にも利用しやすい料金体系です。Claude 3の方は最上位のOpusのAPIになると高コストですが、性能的に満足できる用途であれば最軽量AIモデルのHaikuを選ぶことでかなりコストを抑えられます。
ただし、これらの制限や料金の設定は逐次見直されており、特に新しい世代のAIモデルが登場したときに既存のものは(実質的に)値下げされることがあります。それによってコストパフォーマンスが大きく変わってくるため、最初にどのAPIを選ぶべきかは悩ましいところです。
一長一短を理解して使うツールを決めよう
今回試した実際の出力結果は、あくまでもこれら3種のAIチャットツールの一側面を見ただけに過ぎない、ということに注意していただければと思います。
例えばコード生成はChatGPTが最も上手にこなしてくれましたが、目的や使い方が異なれば、生成されるコードのクオリティが違ってくる可能性は大いにあります。
また、API経由で使う場合、単純なスペックやコストの比較だけではメリット・デメリットを測りきれないのも事実です。今回はそこまで深くは解説しませんでしたが、実際に使用してみたときには、それぞれがもつ機能・性能や使い勝手において、コスト面から受けるものとはまた違った印象になるかもしれません。
とはいえAIチャットツールとして総合して見てみると、ChatGPT Plus(GPT-4)は画像認識以外の能力が平均的に高く、Gemini Advancedは画像認識に秀でており、Claude 3 Opusはテキスト理解やOCRが強い、ということは言えそうです。
自分の使用目的に合わせて、どのAIチャットツールにするべきか検討してみてください。
Web媒体記者、IT系広告代理店などを経て、フリーランスのライターとして執筆・編集業を営む。AV機器、モバイル機器、IoT機器のほか、オンラインサービス、エンタープライズ向けソリューション、オートバイを含むオートモーティブ分野から旅行まで、幅広いジャンルで活動中。著書に「できるGoProスタート→活用 完全ガイド」(インプレス)、「はじめての今さら聞けないGoPro入門」(秀和システム)、「今すぐ使えるかんたんPLUS+Androidアプリ 完全大事典」シリーズ(技術評論社)など。Footprint Technologies株式会社 代表取締役。