AIが画面を操作する

きょうの結論

はじめに

AIが、人の手でパソコンを触る

きょうの話は、ひとことで言えばこれだけです。AIが、私たちと同じように画面を見て、同じようにマウスを動かし、同じようにキーボードを打つ。それができるようになりました。

これまでのAIは、あらかじめ「つなぐ準備」をしたソフトしか動かせませんでした。つなぐ準備とは、そのソフトの作り手が「外から命令を受け取る入り口」を用意しておくことです。入り口があれば速くて確実ですが、無ければ手も足も出ませんでした。

• これまでは、AIとつなぐ準備をしたソフトしか動かせませんでした。
• これからは、画面さえ見えれば、そのまま押して打ち込めます。
• つなぐ準備のない古いソフトでも、任せられるということです。

これが大きい理由は、職場で毎日使っているものほど、その入り口を持っていないからです。何年も前に入れた在庫の画面、取引先が用意した申請サイト、部署ごとに育ってきた古い業務ソフト。作った人にとって「AIに操作させる」は想定外でした。でも、画面は必ずあります。人が見て操作できるものなら、AIも同じ手で触れる。発想がそこへ変わりました。

画面を見て動かす

自動化を考えずに作られたソフトでも使える、というのがこの回のいちばんの変化です。この力はcomputer use（画面を見て操作する力）と呼ばれています。名前は覚えなくてかまいません。やっていることは、驚くほど素朴です。

• 画面の写真をAIに見せる
  人が見ているのと同じ画面を、そのままAIにも見せます。
• どこを押すか、AIが決める
  写っている文字を読み取り、次に触る場所を自分で選びます。
• 押す・打ち込む・下へ送る
  キーボードとマウスを使う人と、同じことをします。
• 一度にまとめて動ける
  以前は一回ずつ。今はまとめて動くので、待ち時間が減ります。

この四つが、そのまま一枚の絵になっています。左から右へ、見る・決める・触る、と進む順番を目で追ってみてください。

四つめの「まとめて動ける」が、体感としていちばん効きます。これまでは「一回押す→画面を見せ直す→次を考える」の繰り返しでした。人でいえば、一クリックごとに上司へ報告して指示を待っていたようなものです。それが「この欄とこの欄を埋めて、下まで送っておいて」と、ひとまとまりで任せられるようになりました。待ち時間が減り、その分だけ費用も下がります。

説明ページを見てみる

作り手が出している説明のページがあります。中身をすべて読む必要はありません。入口だけ見て、「うちの◯◯の画面はこれで触れますか」と、社内の詳しい人や外の頼む相手に相談する材料にする。それで十分です。読めない言葉が並んでいても、あなたの負けではありません。

ここでつまずきます

気をつける点を先に言います。ひとつ、AIに見せた画面は、そこに写っているものすべてを見せたことになります。関係のない社内資料や個人情報が同じ画面に開いていないか、始める前に確かめてください。ふたつ、送信・注文・支払いのように取り消せない操作は、押す直前で必ず人が見る。ここを飛ばしてはいけません。みっつ、パスワードの入力はAIに任せない。最初から人が入れておき、AIには入ったあとの画面から手伝ってもらう。この三つを守るだけで、ほとんどの事故は防げます。

ネットの画面はより確実に

同じ「画面を触る」でも、ネット上のページはもっと確実に扱えます。browser use tool（ネット上で操作する機能）という別の仕組みが用意されているからです。

違いは、狙い方にあります。これまでは、画面の位置で押していました。「上から何センチ、左から何センチ」を狙う方式です。だから文字の大きさが変わったり、広告が一つ挟まったりして、ほんの少しずれるだけで失敗しました。これからは、位置ではなく欄そのものを指します。「お名前の欄に書く」「送信のボタンを押す」と、部品の名前で伝える形です。だから多少ずれても迷いません。そのうえ、一回ずつではなくまとめて動けます。

この「これまで」と「これから」の並びを、左右で見比べてみてください。左が位置で狙う古いやり方、右が欄そのものを指す新しいやり方です。

実務での判断はこうなります。取引先の申請サイトや社内の申請ページなど、ブラウザで開くものは、こちらの確実なやり方を使う。ブラウザでは開けない、パソコンに入れて使う古いソフトは、画面の写真を見て触るやり方を使う。どちらを使うかは頼む相手が決めますが、「うちの仕事はブラウザですか、入れて使うソフトですか」を先に整理しておくと、話が一往復で済みます。

ネットの画面でどこまで任せられるかは、こちらにも公式の説明ページがあります。できること・できないことの線引きを、頼む前にざっと確かめておくと安心です。

手順と書類を渡す

自分たちのやり方を、AIに持たせる。ここが二つめの話です。画面を触れるようになっても、AIは「うちのやり方」を知りません。知らないまま触らせれば、丁寧に間違えます。新しく入った人に、引き継ぎ書も渡さず端末だけ渡すのと同じです。

やり方をひとまとめで預ける

Skills API（手順書を預けて呼び出す仕組み）は、その引き継ぎ書を預けておく場所です。使い方は三段になっています。手順書を作るのが一段め。新しく入った人に渡す引き継ぎ書とまったく同じで、手順や書き方の見本をまとめます。預けて版を残すのが二段め。直したら新しい版として保存され、古い版も残るので、まずければ戻せます。必要な時だけ開くのが三段め。いつも全部読ませるのではなく、その仕事のときだけ呼び出します。

下の一枚が、その三段です。作る・預ける・呼び出す、という流れをそのまま覚えてください。

手順書は、最初から完璧にしないでください。一度やらせてみて、止まったところ・間違えたところを書き足す。この繰り返しでできあがります。書くべきなのは、いつも口で説明している暗黙のきまりです。「金額は税込で書く」「担当者は苗字だけ」「備考が空なら『特記なし』と入れる」。こういう一行が、そのまま品質になります。逆に、社内で誰も守っていない古い規定を丁寧に写すのは、時間の無駄です。作り方と預け方は説明ページで確かめられますが、まずは手元の引き継ぎ書を一枚開いてみるほうが早いです。

書類の置き場をひとつに

三つめは書類です。Files API（書類を預けて呼び出す置き場）を使うと、扱いがこう変わります。

• 一度預ければ、何度でも使える
  毎回送り直さず、預けた書類を指し示すだけで済みます。
• AIが作った書類を受け取れる
  できあがった表や文書を、こちらへ取り出せます。
• 一度にたくさん任せられる
  受け付けられる回数の上限が、これまでの5倍になりました。
• 置ける量と期限も広がった
  会社ごとに1TBまで置けます。古い書類は自動で消えます。

いちばん実感しやすいのは一つめです。同じ規程集や様式を毎回送り直す手間が消えます。下の一枚では、預けた一つの書類が何度も使い回されている形になっています。

ここでの注意は二つです。何を置いてよいかを先に決めること。個人情報や取引先の機微な書類は、社内の決まりを確認してからにしてください。そして、古い書類は自動で消えるということ。消えて困るものは、必ず元を社内に残しておく。置き場は作業台であって、金庫ではありません。預け方と取り出し方の説明ページもありますが、中身を覚える必要はありません。「一度置けば使い回せて、作った物も取り出せる」。それだけ分かっていれば話は通じます。

3つがつながると、こうなる

画面を触る力、手順書、書類の置き場。この三つは別々でも使えますが、つなぐと仕事の形が変わります。たとえば、保険の請求を任せる場合はこうなります。

• 預けてある申請書を読む
  置き場に預けた書類を、AIがそのまま開いて中身を読みます。
• 自社の手順どおりに進める
  預けた引き継ぎ書に沿って、書く内容を組み立てます。
• 相手のネット画面から出す
  人と同じように欄を埋めて、送信まで済ませます。
• 控えを書類として残す
  受付の控えを保存し、こちらから取り出せるようにします。

読む・組み立てる・出す・残す。人が一人でやっている一連の流れが、そのまま一本につながります。下の一枚で、その四つの並びを確かめてください。

現場で出た変化

実際に試した結果も出ています。

32分の作業が、13分に

• 頼み方は変えずに、道具を新しくしただけの結果です。
• かかる費用は、試したどの仕事でもおよそ3割下がりました。
• 途中で止まらず、最後まで終わった割合は100%でした。

「頼み方は変えていない」というところが大事です。特別な工夫をしたから縮んだのではなく、道具が変わったから縮んだ。ただし、これは手順が決まっている仕事での結果です。相手の事情を汲んで判断が要る仕事は、まだ人の領分だと考えてください。

きょうのまとめ

覚えて帰るのは、この五つです。

• AIは画面を見て、そのまま操作できるようになった
• ネットの画面は欄そのものを狙うので、失敗が減る
• 自社のやり方は引き継ぎ書として預け、要る時に呼ぶ
• 書類は一か所に預け、作った物も取り出せる
• 決まった手順の仕事を一つ選び、任せられるか考える

そのうえで、明日やることを三つに絞ります。ひとつ、毎週やっている決まった手順の仕事を一つだけ選び、名前を書き出す。時間がかかって、判断がほとんど要らないものが向いています。ふたつ、その仕事の手順を、新しく入った人に渡すつもりで箇条書きにする。十行で構いません。みっつ、その紙を持って、社内の詳しい人か外の相談相手に「これ、任せられますか」と聞く。技術の話はそこからで間に合います。

最後に

AI図書館

フォローといいね、お願いします

• AIを仕事で使う話を、やさしく1本ずつ出しています
• 次の回もここで会いましょう