GPT-6とFable比較

今回の比べ方

はじめに

今回は、二つのAI（文章で頼むと、そのとおりに文や画面を作ってくれる道具）を並べて試しました。GPT-6 Astraと、Fable 5.1です。どちらも「言葉で頼む」という使い方は同じなので、同じ頼み方をすれば、そのまま比べられます。

比べ方には、先に三つの約束を決めました。この約束がないと、あとから「あれは頼み方が悪かっただけでは」と分からなくなります。

1回きり

言い直しはしません。最初に渡した文だけで、出てきたものをそのまま見ます。新しく入った人に一度だけ指示を出して、戻ってきた成果物をそのまま受け取る、という場面に近いです。

実際の仕事では、もちろん何度も言い直します。ただ、言い直しを認めると「粘り強く直させた人が勝つ」だけの話になります。それでは道具の差が見えません。だから今回は、あえて一度で止めました。

同じ文で

両方にまったく同じ頼みごとを渡します。文が違うと、頼み方の差になってしまいます。

ここは、いちばんつまずきやすい所です。片方には丁寧に条件を書き、もう片方には「いい感じに作って」とだけ書く。これをやると、出てきたものの差は、道具ではなく自分の書き方の差になります。頼み文はいったんメモ帳に書いて、そこから両方に貼り付ける。これだけで防げます。

4つの仕事

遊べる画面、旅行の案内ページ、短い解説動画、地球儀の画面。毛色を変えて渡します。

毛色を変えるのは、得意分野がずれるからです。文章づくりだけを4回試しても、「文章が得意なほう」が4回勝つだけで終わります。長くかかる仕事、見た目が命の仕事、外の道具を呼ぶ仕事。種類をずらすと、どこで差がつくのかが見えてきます。

点数表の読み方

数字は参考。全部はそろっていません。新しいAIが出ると、必ず点数の表が出回ります。あれをそのまま「こっちが強い」と読むと、たいてい判断を間違えます。

そろわない

片方は数字をほぼ全部出し、もう片方は多くを出していません。同じ土俵ではありません。テストを10種類受けた人と、3種類しか受けていない人の成績表を並べているようなものです。空いているマスは「0点」ではなく「受けていない」だけです。

小さい差

1点や2点の違いを、そのまま実力の差として読むのは無理があります。測り直せば入れ替わる程度の幅です。ここで悩む時間があるなら、自分の仕事で一度試したほうが早く答えが出ます。

読める所

前の代からどれだけ伸びたかは分かります。どちらもしっかり伸びていました。つまり「どちらを選んでも、去年よりは確実にましになる」。これは点数表から読み取ってよい部分です。

数字は自分で並べ直す

点数を並べて貼り、どこが同じでどこが違うかを自分の目で見る。人が作った比較図は、たいてい見せたい所だけが強調されています。自分で並べ直すと、空いているマスや、そろっていない条件がすぐに見えます。

同じ点でも、払う額が違う

点は互角。費用は約2倍。

ある共通のテストで、55.8％と56.7％。ほとんど同じ点でした。ところが同じ回でかかったお金は、19.50ドルと10.35ドル。倍近い開きです。点数だけを見ていると、この差はまったく見えません。

毎日使う道具でこの開きが出ると、月末には効いてきます。点数表を見るときは、必ず「その点を取るのにいくらかかったか」を横に置いてください。

料金のページを見る

使う前に、月いくらの段階があるかを料金のページで確かめる。多くのサービスは「安い段」「真ん中の段」「高い段」に分かれています。名前を眺めるだけでなく、月額と、その段でどこまで使えるかを一緒に見ます。

そして、もう一方の料金も同じように開きます。同じ物差しで、両方の段階と値段を並べて見比べておく。片方だけを見て「思ったより高い」と決めてしまうのが、いちばんもったいない判断です。

4つの試し

実際に作らせて、出てきた物を見ます。渡したのは次の4つです。

• 遊べる画面をまるごと：99体の相手が動く対戦の画面。作り終わるまでの時間も測りました。
• 旅行の案内ページ：行き先を入れると旅程が出る入口のページ。見た目だけを見ます。
• 15秒の解説動画：打った文が相手に届くまでを、絵と声で説明する短い動画です。
• 地球儀の画面：自由に作ってよいと伝えて、どこまで攻めてくるかを見ました。

作り終わるまでの時間

一つ目の、遊べる画面。時間は、GPT-6 Astraが45分。Fable 5.1が1時間半でした。ただし大事なのはここからで、どちらも1回で作り終えています。途中で止まって作り直し、ということはありませんでした。

倍の時間がかかったほうが劣る、とは限りません。作っている間、こちらは待っているだけです。朝に頼んで昼に見る使い方なら、45分も1時間半も同じことです。急いで結果を見たいときだけ、この差が効いてきます。

実際の画面で動かす

試すときは、文字で頼む道具の画面を使いました。ここに頼みごとを打ち込むと、あとは向こうが順番に作っていきます。難しい設定はありません。頼み文を貼って、待つだけです。

見るべきは出来上がりだけではありません。頼んだあと、何をどう直したかを見せてくれるかどうか。ここが分かれ目です。途中経過が見えると、おかしくなったときに「どこで曲がったか」が追えます。

もう一方でも、同じような頼み方で動かします。同じ頼み方でも、進め方の見せ方が違います。黙々と作って最後に出すのか、途中を細かく報告するのか。好みが分かれる所なので、両方を一度は見ておく価値があります。

見た目の差はどこから

二つ目の、旅行の案内ページ。差がはっきり出たのは見た目でした。理由は三つに分けられます。

写真。片方は絵を自分で用意できました。もう片方は文字と図形だけで組み立てています。写真が一枚あるかないかで、印象はまるで変わります。

色づかい。薄い青から濃い青へ、というありふれた組み合わせ。ひと目で作り物と分かります。

動き。指を置いても何も起きません。止まった紙のような画面になりました。

頼む人の腕で、差は縮む。

見本の絵を渡す、直したい所を細かく伝える。腕がある人ほど差は小さくなります。ただし多くの人は「作って」で終わります。その1回の出来が、そのまま差になります。自分がどちらの側かで、選ぶAIも変わってきます。

15秒の解説動画

三つ目は動画です。ここは引き分けでした。というのも、どちらも自分で動画を作ってはいないからです。動画づくりは外の道具に任せ、AIはその呼び出し役にまわる。頼まれた側は、外注先に発注する担当のような立ち位置になります。

つまり動画の出来は、呼ばれた先の道具しだいです。ここで「どちらが動画に強いか」を判断しても、あまり意味がありません。

地球儀の画面の出来

四つ目は、条件をほとんど付けずに「自由に作ってよい」と伝えました。Astraの出来は、整っていて読める。Fableの出来は、派手だが読みにくい。決め手になったのは、そこから直す手間の少なさです。

派手なものは、見せた瞬間は喜ばれます。ただ、そこから「文字が読めないので落ち着かせて」と直していく手間がかかります。整ったものは、そのまま人に見せられます。仕事で使うなら、後者のほうが結局は早く終わります。

なお、契約していれば同じ画面から、その日の仕事に合うほうを選び直せます。片方に決め打ちする必要はありません。

で、明日どうするか

乗り換えを決める前に、やることがあります。まず、お金を払っても使えないことがある、という話から。

週の上限

契約していても、その週に使える量には上限があります。途中で止まります。金曜の午後に急ぎの仕事を頼もうとして、そこで止まる。これがいちばん困る形です。

20倍の表記

20倍と書かれていても、そのまま20倍使えるわけではありませんでした。宣伝の言葉と、実際に使える量は別ものです。数字を見たら、必ず細かい条件のほうを読んでください。

戻る間隔

何日かごとに使える量が戻る仕組みもあります。ここも見比べる所です。止まったあと、次にいつ動かせるようになるのか。それが分かっていれば、仕事の順番を組み替えられます。

明日やること

• 自分の仕事で1つ試す：今かかえている仕事を1つ選び、同じ文を両方に渡して見比べます。他人の点数表より、自分の仕事での1回のほうが正確です。
• 高い1契約より、小さい2契約：上の段を1つ持つより、下の段を2つ持つほうが選べます。払う額はほぼ同じです。片方が上限で止まっても、もう片方が残ります。
• 使い分けを決める：見た目を整える仕事と、長くかかる仕事で、得意なほうを割り当てます。一度決めて紙に書いておけば、毎回迷わずにすみます。

まとめ

4つの試しから残ることは、この5つです。

• 点数表は参考。そろっていない数字もある
• 点が同じでも、費用は倍近く違った
• 4つのうち3つはGPT-6、動画は引き分け
• 見た目は、頼む人の腕でも変わる
• 小さい契約を2つ。自分の仕事で確かめる

フォローといいね、お願いします

AIを仕事で使う話を、やさしく1本ずつ出しています。次の回もここで会いましょう。