AI가 화면을 조작한다

오늘의 결론

들어가며

AI가, 사람의 손으로 컴퓨터를 만진다

오늘 이야기는 한마디로 이것뿐입니다. AI가 우리와 똑같이 화면을 보고, 똑같이 마우스를 움직이고, 똑같이 키보드를 두드립니다. 그것이 가능해졌습니다.

지금까지의 AI는 미리 '연결할 준비'를 해 둔 프로그램만 다룰 수 있었습니다. 연결할 준비란, 그 프로그램을 만든 사람이 '바깥에서 명령을 받는 입구'를 마련해 두는 것입니다. 입구가 있으면 빠르고 확실하지만, 없으면 손도 발도 쓸 수 없었습니다.

• 지금까지는 AI와 연결할 준비가 된 프로그램만 다룰 수 있었습니다.
• 앞으로는 화면만 보이면 그대로 누르고 입력할 수 있습니다.
• 연결할 준비가 안 된 오래된 프로그램도 맡길 수 있다는 뜻입니다.

이것이 큰 이유는, 직장에서 매일 쓰는 것일수록 그 입구를 가지고 있지 않기 때문입니다. 몇 년 전에 들여놓은 재고 화면, 거래처가 마련한 신청 사이트, 부서마다 자라 온 낡은 업무 프로그램. 만든 사람에게 'AI에게 조작을 시킨다'는 생각 밖의 일이었습니다. 하지만 화면은 반드시 있습니다. 사람이 보고 조작할 수 있는 것이라면, AI도 같은 방식으로 만질 수 있다. 발상이 그쪽으로 바뀐 것입니다.

화면을 보고 움직인다

자동화를 염두에 두지 않고 만들어진 프로그램에서도 쓸 수 있다는 것이, 이번 회의 가장 큰 변화입니다. 이 능력은 computer use(화면을 보고 조작하는 능력)라고 불립니다. 이름은 외우지 않으셔도 됩니다. 하는 일은 놀랄 만큼 소박합니다.

• 화면 사진을 AI에게 보여 준다
  사람이 보고 있는 것과 같은 화면을, 그대로 AI에게도 보여 줍니다.
• 어디를 누를지, AI가 정한다
  화면에 보이는 글자를 읽어 내고, 다음에 만질 곳을 스스로 고릅니다.
• 누르고, 입력하고, 아래로 넘긴다
  키보드와 마우스를 쓰는 사람과 똑같은 일을 합니다.
• 한 번에 몰아서 움직일 수 있다
  예전에는 한 번씩. 지금은 몰아서 움직이니 기다리는 시간이 줄어듭니다.

이 네 가지가 그대로 한 장의 그림이 되어 있습니다. 왼쪽에서 오른쪽으로, 보고·정하고·만지는 순서를 눈으로 따라가 보세요.

네 번째인 '몰아서 움직일 수 있다'가 체감상 가장 크게 와닿습니다. 지금까지는 '한 번 누른다 → 화면을 다시 보여 준다 → 다음을 생각한다'의 반복이었습니다. 사람으로 치면 한 번 클릭할 때마다 상사에게 보고하고 지시를 기다린 셈입니다. 그것이 '이 칸과 이 칸을 채우고, 아래까지 보내 두세요'처럼 한 덩어리로 맡길 수 있게 되었습니다. 기다리는 시간이 줄고, 그만큼 비용도 내려갑니다.

설명 페이지를 살펴보기

만든 쪽에서 내놓은 설명 페이지가 있습니다. 내용을 전부 읽을 필요는 없습니다. 입구만 보고 '우리 회사의 ◯◯ 화면은 이걸로 다룰 수 있나요?' 하고 사내의 잘 아는 사람이나 외부에 맡길 상대와 상의할 재료로 삼는다. 그것으로 충분합니다. 읽히지 않는 말이 늘어서 있어도, 당신의 잘못이 아닙니다.

여기서 걸려 넘어집니다

조심할 점을 먼저 말씀드립니다. 첫째, AI에게 보여 준 화면은 거기에 비친 모든 것을 보여 준 셈이 됩니다. 관계없는 사내 자료나 개인정보가 같은 화면에 열려 있지 않은지, 시작하기 전에 확인해 주세요. 둘째, 전송·주문·결제처럼 되돌릴 수 없는 조작은 누르기 직전에 반드시 사람이 확인한다. 이 부분을 건너뛰면 안 됩니다. 셋째, 비밀번호 입력은 AI에게 맡기지 않는다. 처음부터 사람이 입력해 두고, AI에게는 로그인한 뒤의 화면부터 도와 달라고 한다. 이 세 가지만 지켜도 사고는 거의 다 막을 수 있습니다.

인터넷 화면은 더 확실하게

같은 '화면을 만진다'라도, 인터넷상의 페이지는 훨씬 확실하게 다룰 수 있습니다. browser use tool(인터넷상에서 조작하는 기능)이라는 다른 방식이 마련되어 있기 때문입니다.

차이는 겨냥하는 방법에 있습니다. 지금까지는 화면의 위치로 눌렀습니다. '위에서 몇 센티, 왼쪽에서 몇 센티'를 겨냥하는 방식입니다. 그래서 글자 크기가 바뀌거나 광고가 하나 끼어들어서 아주 조금만 어긋나도 실패했습니다. 앞으로는 위치가 아니라 칸 자체를 가리킵니다. '이름 칸에 쓴다', '전송 버튼을 누른다'처럼 부품의 이름으로 전달하는 방식입니다. 그래서 다소 어긋나도 헤매지 않습니다. 게다가 한 번씩이 아니라 몰아서 움직일 수 있습니다.

이 '지금까지'와 '앞으로'의 배치를, 좌우로 비교해 보세요. 왼쪽이 위치로 겨냥하는 옛 방식, 오른쪽이 칸 자체를 가리키는 새 방식입니다.

실무에서의 판단은 이렇게 됩니다. 거래처의 신청 사이트나 사내 신청 페이지처럼 브라우저로 여는 것은 이 확실한 방식을 쓴다. 브라우저로는 열 수 없는, 컴퓨터에 설치해서 쓰는 오래된 프로그램은 화면 사진을 보고 만지는 방식을 쓴다. 어느 쪽을 쓸지는 맡기는 상대가 정하지만, '우리 일은 브라우저인가, 설치해서 쓰는 프로그램인가'를 먼저 정리해 두면 이야기가 한 번에 끝납니다.

인터넷 화면에서 어디까지 맡길 수 있는지는, 이쪽에도 공식 설명 페이지가 있습니다. 할 수 있는 일과 할 수 없는 일의 경계를 맡기기 전에 대충 확인해 두면 안심입니다.

순서와 서류를 건넨다

우리만의 방식을 AI에게 지니게 한다. 여기가 두 번째 이야기입니다. 화면을 만질 수 있게 되어도, AI는 '우리 회사의 방식'을 모릅니다. 모르는 채로 만지게 하면, 정성껏 틀립니다. 새로 들어온 사람에게 인수인계서도 주지 않고 컴퓨터만 건네는 것과 같습니다.

방식을 한 묶음으로 맡긴다

Skills API(업무 안내서를 맡겨 두고 불러내는 방식)는 그 인수인계서를 맡겨 두는 곳입니다. 사용법은 세 단계로 되어 있습니다. 안내서를 만드는 것이 첫 번째. 새로 들어온 사람에게 건네는 인수인계서와 똑같이, 순서나 작성 방법의 본보기를 정리합니다. 맡겨서 판을 남기는 것이 두 번째. 고치면 새로운 판으로 저장되고 옛 판도 남으므로, 잘못되면 되돌릴 수 있습니다. 필요할 때만 여는 것이 세 번째. 늘 전부 읽히는 것이 아니라, 그 일을 할 때만 불러냅니다.

아래 한 장이 그 세 단계입니다. 만들고·맡기고·불러내는 흐름을 그대로 기억해 주세요.

안내서는 처음부터 완벽하게 만들지 마세요. 한번 시켜 보고, 멈춘 곳·틀린 곳을 덧붙여 쓴다. 이 반복으로 완성됩니다. 써야 할 것은, 늘 말로 설명하고 있는 암묵적인 규칙입니다. '금액은 세금 포함으로 쓴다', '담당자는 성만', '비고가 비어 있으면 「특기사항 없음」이라고 넣는다'. 이런 한 줄이 그대로 품질이 됩니다. 반대로, 사내에서 아무도 지키지 않는 낡은 규정을 정성껏 옮겨 적는 것은 시간 낭비입니다. 만드는 법과 맡기는 법은 설명 페이지에서 확인할 수 있지만, 우선은 손에 있는 인수인계서를 한 장 펼쳐 보는 쪽이 빠릅니다.

서류 보관함을 하나로

세 번째는 서류입니다. Files API(서류를 맡겨 두고 불러내는 보관함)를 쓰면 다루는 방식이 이렇게 바뀝니다.

• 한 번 맡기면, 몇 번이고 쓸 수 있다
  매번 다시 보내지 않고, 맡긴 서류를 가리키기만 하면 됩니다.
• AI가 만든 서류를 받을 수 있다
  완성된 표나 문서를 이쪽으로 꺼내 올 수 있습니다.
• 한 번에 많이 맡길 수 있다
  받아 줄 수 있는 횟수의 상한이 지금까지의 5배가 되었습니다.
• 둘 수 있는 양과 기한도 늘었다
  회사마다 1TB까지 둘 수 있습니다. 오래된 서류는 자동으로 지워집니다.

가장 실감하기 쉬운 것은 첫 번째입니다. 같은 규정집이나 양식을 매번 다시 보내는 수고가 사라집니다. 아래 한 장에서는, 맡긴 하나의 서류가 몇 번이고 돌려 쓰이는 모습으로 되어 있습니다.

여기서 주의할 점은 두 가지입니다. 무엇을 두어도 되는지를 먼저 정할 것. 개인정보나 거래처의 민감한 서류는 사내 규정을 확인한 뒤에 해 주세요. 그리고 오래된 서류는 자동으로 지워진다는 것. 지워지면 곤란한 것은 반드시 원본을 사내에 남겨 두세요. 보관함은 작업대이지, 금고가 아닙니다. 맡기는 법과 꺼내는 법의 설명 페이지도 있지만, 내용을 외울 필요는 없습니다. '한 번 두면 돌려 쓸 수 있고, 만든 것도 꺼내 올 수 있다'. 그것만 알고 있으면 이야기는 통합니다.

세 가지가 이어지면, 이렇게 된다

화면을 만지는 능력, 업무 안내서, 서류 보관함. 이 세 가지는 따로따로도 쓸 수 있지만, 이으면 일의 모습이 바뀝니다. 예를 들어, 보험 청구를 맡기는 경우는 이렇게 됩니다.

• 맡겨 둔 신청서를 읽는다
  보관함에 맡긴 서류를 AI가 그대로 열어 내용을 읽습니다.
• 자기 회사의 순서대로 진행한다
  맡겨 둔 인수인계서에 따라, 쓸 내용을 짜 맞춥니다.
• 상대의 인터넷 화면에서 제출한다
  사람과 똑같이 칸을 채우고, 전송까지 마칩니다.
• 사본을 서류로 남긴다
  접수 사본을 저장해, 이쪽에서 꺼내 올 수 있게 합니다.

읽고·짜 맞추고·제출하고·남긴다. 사람이 혼자서 하고 있는 일련의 흐름이 그대로 한 줄로 이어집니다. 아래 한 장에서 그 네 가지 배치를 확인해 주세요.

현장에서 나온 변화

실제로 시험해 본 결과도 나와 있습니다.

32분 걸리던 작업이, 13분으로

• 부탁하는 방식은 바꾸지 않고, 도구만 새것으로 바꾼 결과입니다.
• 드는 비용은, 시험해 본 어느 일에서도 대략 3할 내려갔습니다.
• 도중에 멈추지 않고 끝까지 마친 비율은 100%였습니다.

'부탁하는 방식은 바꾸지 않았다'는 부분이 중요합니다. 특별한 궁리를 해서 줄어든 것이 아니라, 도구가 바뀌어서 줄어든 것입니다. 다만 이것은 순서가 정해져 있는 일에서의 결과입니다. 상대의 사정을 헤아려 판단이 필요한 일은 아직 사람의 몫이라고 생각해 주세요.

오늘의 정리

기억해서 돌아가실 것은 이 다섯 가지입니다.

• AI는 화면을 보고 그대로 조작할 수 있게 되었다
• 인터넷 화면은 칸 자체를 겨냥하므로 실패가 줄어든다
• 자기 회사의 방식은 인수인계서로 맡겨 두고, 필요할 때 부른다
• 서류는 한곳에 맡기고, 만든 것도 꺼내 올 수 있다
• 순서가 정해진 일을 하나 골라, 맡길 수 있을지 생각해 본다

그 위에서, 내일 할 일을 세 가지로 좁힙니다. 첫째, 매주 하고 있는 정해진 순서의 일을 딱 하나만 골라 이름을 적어 본다. 시간이 오래 걸리고 판단이 거의 필요 없는 것이 적합합니다. 둘째, 그 일의 순서를 새로 들어온 사람에게 건넨다는 마음으로 항목별로 적는다. 열 줄이면 충분합니다. 셋째, 그 종이를 들고 사내의 잘 아는 사람이나 외부 상담 상대에게 '이거, 맡길 수 있나요?' 하고 물어본다. 기술 이야기는 그다음에 해도 늦지 않습니다.

마지막으로

AI 도서관

팔로우와 좋아요, 부탁드립니다

• AI를 일에 쓰는 이야기를, 쉽게 한 편씩 올리고 있습니다
• 다음 회에도 여기서 만나요