GPT-6와 Fable 비교

이번에 비교한 방법

들어가며

이번에는 두 개의 AI(글로 부탁하면 그대로 문장이나 화면을 만들어 주는 도구)를 나란히 놓고 시험해 봤습니다. GPT-6 Astra와 Fable 5.1입니다. 둘 다 "말로 부탁한다"는 사용법은 같기 때문에, 같은 방식으로 부탁하면 그대로 비교할 수 있습니다.

비교 방법에는 먼저 세 가지 약속을 정했습니다. 이 약속이 없으면 나중에 "그건 부탁하는 방식이 나빴던 것 아닐까" 하고 알 수 없게 됩니다.

딱 한 번만

다시 말하지 않습니다. 처음에 건넨 글만으로, 나온 결과를 그대로 봅니다. 새로 들어온 사람에게 한 번만 지시를 하고, 돌아온 결과물을 그대로 받는 상황에 가깝습니다.

실제 일에서는 물론 여러 번 다시 말합니다. 다만 다시 말하기를 허용하면 "끈질기게 고치게 한 사람이 이긴다"는 이야기가 될 뿐입니다. 그러면 도구의 차이가 보이지 않습니다. 그래서 이번에는 일부러 한 번에 멈췄습니다.

같은 글로

양쪽에 완전히 똑같은 부탁을 건넵니다. 글이 다르면, 부탁하는 방식의 차이가 되어 버립니다.

여기가 가장 걸려 넘어지기 쉬운 곳입니다. 한쪽에는 정성껏 조건을 쓰고, 다른 쪽에는 "알아서 잘 만들어 줘"라고만 씁니다. 이렇게 하면 나온 결과의 차이는 도구가 아니라 자기 글쓰기의 차이가 됩니다. 부탁하는 글은 일단 메모장에 쓰고, 거기서 양쪽에 붙여 넣습니다. 이것만으로 막을 수 있습니다.

네 가지 일

놀 수 있는 화면, 여행 안내 페이지, 짧은 설명 영상, 지구본 화면. 성격을 다르게 해서 건넵니다.

성격을 다르게 하는 이유는 잘하는 분야가 서로 다르기 때문입니다. 글쓰기만 네 번 시험해도, "글을 잘하는 쪽"이 네 번 이기고 끝날 뿐입니다. 오래 걸리는 일, 겉모습이 생명인 일, 바깥 도구를 불러오는 일. 종류를 흩어 놓으면 어디서 차이가 나는지 보이기 시작합니다.

점수표를 읽는 법

숫자는 참고용. 전부 갖춰져 있지는 않습니다. 새로운 AI가 나오면 반드시 점수표가 돌아다닙니다. 그것을 그대로 "이쪽이 강하다"고 읽으면 대개 판단을 그르칩니다.

갖춰져 있지 않다

한쪽은 숫자를 거의 전부 냈고, 다른 쪽은 상당수를 내지 않았습니다. 같은 조건이 아닙니다. 시험을 열 종류 본 사람과, 세 종류만 본 사람의 성적표를 나란히 놓은 것과 같습니다. 비어 있는 칸은 "0점"이 아니라 "보지 않았다"일 뿐입니다.

작은 차이

1점이나 2점의 차이를 그대로 실력 차이로 읽는 것은 무리가 있습니다. 다시 재면 뒤바뀔 정도의 폭입니다. 여기서 고민할 시간이 있다면, 자기 일로 한 번 시험해 보는 편이 답이 빨리 나옵니다.

읽을 수 있는 부분

이전 세대에서 얼마나 늘었는지는 알 수 있습니다. 양쪽 다 확실히 늘어 있었습니다. 즉 "어느 쪽을 골라도 작년보다는 확실히 낫다". 이것은 점수표에서 읽어도 되는 부분입니다.

숫자는 직접 다시 늘어놓는다

점수를 나란히 붙여 놓고, 어디가 같고 어디가 다른지 자기 눈으로 봅니다. 남이 만든 비교 그림은 대개 보여 주고 싶은 곳만 강조되어 있습니다. 직접 다시 늘어놓으면 비어 있는 칸이나, 갖춰지지 않은 조건이 금방 보입니다.

같은 점수라도, 내는 돈은 다르다

점수는 호각. 비용은 약 2배.

어떤 공통 시험에서 55.8%와 56.7%. 거의 같은 점수였습니다. 그런데 같은 회차에 들어간 돈은 19.50달러와 10.35달러. 두 배 가까운 차이입니다. 점수만 보고 있으면 이 차이는 전혀 보이지 않습니다.

매일 쓰는 도구에서 이런 차이가 나면, 월말에는 크게 다가옵니다. 점수표를 볼 때는 반드시 "그 점수를 얻는 데 얼마가 들었는가"를 옆에 놓아 주세요.

요금 페이지를 본다

쓰기 전에, 한 달에 얼마짜리 단계가 있는지를 요금 페이지에서 확인합니다. 많은 서비스는 "싼 단계", "중간 단계", "비싼 단계"로 나뉘어 있습니다. 이름만 훑어보지 말고, 월 요금과 그 단계에서 어디까지 쓸 수 있는지를 함께 봅니다.

그리고 다른 쪽의 요금도 똑같이 열어 봅니다. 같은 잣대로, 양쪽의 단계와 가격을 나란히 놓고 비교해 둡니다. 한쪽만 보고 "생각보다 비싸다"고 정해 버리는 것이 가장 아까운 판단입니다.

네 가지 시험

실제로 만들게 해서, 나온 것을 봅니다. 건넨 것은 다음 네 가지입니다.

• 놀 수 있는 화면을 통째로: 99명의 상대가 움직이는 대전 화면. 다 만들기까지의 시간도 쟀습니다.
• 여행 안내 페이지: 목적지를 넣으면 일정이 나오는 첫 페이지. 겉모습만 봅니다.
• 15초짜리 설명 영상: 입력한 글이 상대에게 닿기까지를 그림과 소리로 설명하는 짧은 영상입니다.
• 지구본 화면: 자유롭게 만들어도 된다고 전하고, 어디까지 밀어붙이는지를 봤습니다.

다 만들기까지의 시간

첫 번째, 놀 수 있는 화면. 시간은 GPT-6 Astra가 45분. Fable 5.1이 1시간 반이었습니다. 다만 중요한 것은 여기서부터인데, 둘 다 한 번에 다 만들어 냈습니다. 도중에 멈춰서 다시 만드는 일은 없었습니다.

두 배의 시간이 걸린 쪽이 못하다고 볼 수는 없습니다. 만드는 동안 이쪽은 기다리기만 하면 됩니다. 아침에 부탁하고 점심에 보는 사용법이라면, 45분이든 1시간 반이든 마찬가지입니다. 서둘러 결과를 보고 싶을 때만 이 차이가 크게 다가옵니다.

실제 화면에서 움직여 본다

시험할 때는 글로 부탁하는 도구의 화면을 썼습니다. 여기에 부탁을 입력하면, 그다음은 저쪽에서 순서대로 만들어 갑니다. 어려운 설정은 없습니다. 부탁하는 글을 붙여 넣고 기다리기만 하면 됩니다.

봐야 할 것은 완성물만이 아닙니다. 부탁한 뒤에 무엇을 어떻게 고쳤는지를 보여 주는가 하는 점. 여기가 갈림길입니다. 중간 과정이 보이면, 이상해졌을 때 "어디서 어긋났는지"를 따라갈 수 있습니다.

다른 쪽에서도 비슷한 방식으로 부탁해서 움직여 봅니다. 같은 방식으로 부탁해도, 진행 상황을 보여 주는 방식이 다릅니다. 묵묵히 만들어서 마지막에 내놓는지, 중간중간 자세히 알려 주는지. 취향이 갈리는 부분이라 양쪽을 한 번씩 봐 둘 가치가 있습니다.

겉모습의 차이는 어디서 오는가

두 번째, 여행 안내 페이지. 차이가 뚜렷하게 나온 것은 겉모습이었습니다. 이유는 세 가지로 나눌 수 있습니다.

사진. 한쪽은 그림을 스스로 준비할 수 있었습니다. 다른 쪽은 글자와 도형만으로 짜 맞췄습니다. 사진이 한 장 있고 없고에 따라 인상이 완전히 달라집니다.

색 사용. 옅은 파랑에서 진한 파랑으로, 라는 흔한 조합. 한눈에 만들어 낸 티가 납니다.

움직임. 손가락을 올려도 아무 일도 일어나지 않습니다. 멈춰 있는 종이 같은 화면이 되었습니다.

부탁하는 사람의 솜씨로, 차이는 줄어든다.

본보기 그림을 건네고, 고치고 싶은 곳을 자세히 전합니다. 솜씨가 있는 사람일수록 차이는 작아집니다. 다만 많은 사람은 "만들어 줘"로 끝냅니다. 그 한 번의 결과가 그대로 차이가 됩니다. 자신이 어느 쪽인지에 따라 고를 AI도 달라집니다.

15초짜리 설명 영상

세 번째는 영상입니다. 여기는 무승부였습니다. 왜냐하면 둘 다 스스로 영상을 만들지는 않았기 때문입니다. 영상 만들기는 바깥 도구에 맡기고, AI는 그것을 불러오는 역할을 맡습니다. 부탁받은 쪽은 외주처에 발주하는 담당자 같은 위치가 됩니다.

즉 영상의 완성도는 불려 간 쪽 도구에 달려 있습니다. 여기서 "어느 쪽이 영상에 강한가"를 판단해도 별 의미가 없습니다.

지구본 화면의 완성도

네 번째는 조건을 거의 붙이지 않고 "자유롭게 만들어도 된다"고 전했습니다. Astra의 결과는 정돈되어 있고 읽을 수 있음. Fable의 결과는 화려하지만 읽기 어려움. 결정타가 된 것은 거기서 고치는 수고가 적다는 점이었습니다.

화려한 것은 보여 주는 순간에는 좋아합니다. 다만 거기서 "글자가 안 읽히니 차분하게 해 줘"라고 고쳐 가는 수고가 듭니다. 정돈된 것은 그대로 남에게 보여 줄 수 있습니다. 일에 쓴다면 후자가 결국 더 빨리 끝납니다.

참고로, 계약해 두면 같은 화면에서 그날의 일에 맞는 쪽을 다시 고를 수 있습니다. 한쪽으로 못 박을 필요는 없습니다.

그래서 내일 무엇을 할까

갈아타기를 정하기 전에 할 일이 있습니다. 먼저, 돈을 내도 못 쓰는 경우가 있다는 이야기부터.

주간 상한

계약을 해도 그 주에 쓸 수 있는 양에는 상한이 있습니다. 도중에 멈춥니다. 금요일 오후에 급한 일을 부탁하려다가 거기서 멈춘다. 이것이 가장 곤란한 형태입니다.

20배라는 표기

20배라고 쓰여 있어도, 그대로 20배 쓸 수 있는 것은 아니었습니다. 광고 문구와 실제로 쓸 수 있는 양은 별개입니다. 숫자를 보면 반드시 자세한 조건 쪽을 읽어 주세요.

되돌아오는 간격

며칠마다 쓸 수 있는 양이 되돌아오는 구조도 있습니다. 여기도 비교해 볼 부분입니다. 멈춘 뒤에 다음에 언제 움직일 수 있게 되는가. 그것을 알고 있으면 일의 순서를 다시 짤 수 있습니다.

내일 할 일

• 자기 일로 하나 시험한다: 지금 안고 있는 일을 하나 골라, 같은 글을 양쪽에 건네고 비교합니다. 남의 점수표보다, 자기 일에서의 한 번이 더 정확합니다.
• 비싼 계약 하나보다, 작은 계약 둘: 위 단계를 하나 갖기보다, 아래 단계를 둘 갖는 편이 고를 수 있습니다. 내는 돈은 거의 같습니다. 한쪽이 상한에 걸려 멈춰도, 다른 쪽이 남습니다.
• 나눠 쓰는 방식을 정한다: 겉모습을 다듬는 일과 오래 걸리는 일에, 잘하는 쪽을 배정합니다. 한 번 정해서 종이에 적어 두면 매번 헤매지 않아도 됩니다.

정리

네 가지 시험에서 남는 것은 이 다섯 가지입니다.

• 점수표는 참고용. 갖춰지지 않은 숫자도 있다
• 점수가 같아도, 비용은 두 배 가까이 달랐다
• 네 가지 중 셋은 GPT-6, 영상은 무승부
• 겉모습은 부탁하는 사람의 솜씨로도 달라진다
• 작은 계약을 둘. 자기 일로 확인한다

팔로우와 좋아요, 부탁드립니다

AI를 일에 쓰는 이야기를 쉽게 하나씩 내고 있습니다. 다음 회에도 여기서 만나요.