Kimi K3 검증

먼저 결론

강하다. 하지만 최강이라고 단정할 단계는 아니다

Kimi K3(글이나 화면 시안을 만드는 AI)는 적어도 상위권에 들어갈 만큼 강합니다. 화면 모양을 만드는 과제에서도, 수정 작업에서도, 약하다는 느낌은 없었습니다.

다만 어떤 일에서나 항상 1등이 되는 것은 아닙니다. 과제가 바뀌면 승패도 바뀝니다. 그래서 이번 검증에서 말할 수 있는 것은, "꽤 강하다. 하지만 조건 없이 최강이라고 정하기에는 이르다"입니다.

결론

먼저 한마디

Kimi K3는 상위권급에 닿는다

여기서 중요한 점은, "공개된 높은 점수가 그저 보여주기용은 아니었다"는 것입니다. 숫자만 번듯하고, 실제로 써 보면 불편한 도구도 있습니다. 하지만 Kimi K3는 실제 작업에서도 분명히 강점이 보였습니다.

• 먼저 한마디

그렇다고 상위권급에 닿는 것과, 언제나 1위인 것은 다릅니다. 내일 바로 일에 쓴다면, "매우 유력한 후보"로 보는 것이 안전합니다.

숫자만으로 정하지 않는다

보는 순서가 중요하다

공개 점수

점수가 높아도 실제 일에서는 쓰기 불편할 수 있습니다. 시험 점수는 높아도 현장에서는 설명이 너무 길거나, 화면 모양이 흐트러지거나, 기다리는 시간이 길 수 있기 때문입니다.

예를 들어 새로 들어온 사람의 이력서가 좋아 보여도, 실제로 자료 만들기를 맡겨 보면 수정이 많이 필요할 때가 있습니다. AI도 똑같아서, 먼저 숫자를 보고 그다음에는 꼭 결과물을 봅니다.

실제 작업

같은 방식으로 시켜 보면 진짜 차이가 보입니다. 다시 말해, 같은 일을 같은 조건으로 맡겼을 때 어디까지 결과를 만들어 내는지를 보는 것입니다.

여기서 조건이 어긋나면 공정한 비교가 되지 않습니다. 한쪽에는 자세히 설명하고, 다른 쪽에는 짧게만 부탁한다면, 만드는 힘이 아니라 부탁한 방식의 차이를 보게 됩니다.

기다리는 시간

결과물뿐 아니라 몇 분이 걸리는지도 고를 때 중요한 기준이 됩니다. 아무리 잘해도 매번 기다리는 시간이 너무 길면, 급한 일에는 쓰기 어렵기 때문입니다.

반대로 차이가 조금이라면, 더 빠른 쪽이 실제 현장에서는 더 도움이 될 때도 있습니다. 그래서 "깔끔한가"만이 아니라, "언제 나오는가"도 함께 봅니다.

비교하는 방법

같은 과제를 이름을 가리고 봤다

유명한 이름이 붙어 있다는 이유만으로 더 좋아 보일 때가 있습니다. 사람은 어쩔 수 없이 선입견에 끌립니다. 그래서 이번에는 어떤 것이 어떤 AI인지 숨긴 채 비교하는 방식을 중심으로 했습니다.

일에서도 누가 만들었는지 모른 채 시안만 나란히 놓고 보면 더 공정하게 고르기 쉬워집니다. 그것과 같습니다. 이름이 아니라 나온 결과물 자체를 보기 위한 방법입니다.

매번 완전히 새로 시작한다

조건을 맞춘다

이전 내용을 지우고 다음 비교를 시작한다

AI는 바로 전까지의 대화를 끌고 갈 때가 있습니다. 앞에서 부탁한 내용이 남아 있으면, 다음 비교에서 유리해지거나 불리해질 수 있습니다. 이러면 올바른 승부가 되지 않습니다.

회의실 화이트보드를 지우지 않고 다음 회의를 시작하면, 앞선 이야기가 섞여 버립니다. 이를 막기 위해 매번 완전히 깨끗한 상태에서 시작할 필요가 있습니다.

목적은 조건을 맞추는 것입니다. 이 부분을 대충 하면, 나중에 결과를 다시 봐도 "정말 이 차이였나"를 알기 어려워집니다.

같은 과제를 준다

만드는 도구를 맞춘다

같은 부탁 방식으로 작업 차이를 비교한다

비교할 때는 내는 과제를 같게 맞춥니다. 한쪽에는 "보기 쉬운 화면을 만들어 줘"라고 하고, 다른 쪽에는 "이 예시에 가깝게, 색도 정리해서"라고 자세히 부탁하면 결과가 흔들립니다.

인수인계에서도 어떤 사람에게는 자세한 설명서를 주고, 다른 사람에게는 말로만 설명하면, 결과 차이가 그 사람의 실력 때문인지 자료 차이 때문인지 알 수 없습니다. AI도 완전히 같습니다.

만드는 도구를 맞춘다는 것은 이런 뜻입니다. 부탁하는 방식을 같게 해야 비로소 작업 차이를 비교할 수 있습니다.

채점하는 방법

선입견을 줄인다

이름을 가린다

A·B·C로 보고, 어느 것이 어떤 모델인지 모른 채 고릅니다. 이렇게 하면 "유명하니까 더 높게 보인다"는 왜곡을 줄일 수 있습니다.

눈으로 고른다

보기 쉬운지와 전체 정돈감을 사람의 눈으로 판단합니다. 특히 화면의 겉모습은 점수만으로 정하기 어렵습니다. 글자가 빽빽한 정도, 색의 강함, 시선이 흐르는 방향은 실제로 봐야 비로소 알 수 있는 경우가 있습니다.

여기서 흔히 걸리는 점은, 화려한 시안을 더 높게 평가해 버리는 것입니다. 색이 많다, 장식이 많다, 움직임이 많다. 이런 요소는 얼핏 좋아 보여도, 일에서는 오히려 보기 쉬움을 떨어뜨릴 수 있습니다.

자동으로도 본다

사람의 느낌만이 아니라 자동 채점과 시간도 함께 나란히 봅니다. 사람 눈으로만 보면 취향이 들어가고, 자동 점수만 보면 실제 쓰임새 차이를 놓치게 됩니다.

둘 다 함께 놓고 보면, "겉모습은 좋지만 느리다", "점수는 높지만 읽기 어렵다" 같은 어긋남을 알아차리기 쉬워집니다. 이것이 숫자만으로 정하지 않는 이유입니다.

겉모습은 나란히 놓고 비교한다

Figma로 확인

같은 과제의 화면 모양을 가로로 놓고 고른다

Figma(화면 모양을 나란히 놓고 확인하는 도구)로 옆에 붙여 보면 작은 차이가 더 잘 보입니다. 하나만 볼 때는 괜찮아 보여도, 나란히 놓으면 글자 간격의 답답함이나 여백의 흐트러짐이 분명해집니다.

업무 자료도 한 장만 보면 평범해 보여도, 후보 3장을 나란히 놓으면 무엇이 읽기 쉬운지 금방 알 때가 있습니다. 그와 같은 방식입니다.

여기서 봐야 할 것은 화려함이 아니라, 망설이지 않고 읽을 수 있는가입니다. 시선이 어디로 먼저 가는가. 중요한 숫자가 묻혀 있지 않은가. 그래프와 설명이 너무 멀리 떨어져 있지 않은가. 그런 실제 업무에서의 보기 쉬움을 확인합니다.

대시보드 과제

겉모습 차이

이 과제는 Kimi K3가 1위

대시보드란 숫자와 그래프를 한 화면에 모아 놓은 업무 화면을 말합니다. 이 과제에서는 Kimi K3의 결과물이 가장 높은 평가를 받았습니다.

좋게 평가된 점은 그래프의 정돈감과 보기 쉬움입니다. 같은 부탁 방식이어도, 정보를 놓는 방식과 여백을 쓰는 방식에서 차이가 났습니다. 보는 사람이 "어디를 봐야 하는지" 헷갈리지 않기 쉬웠다는 점이 강점입니다.

같은 부탁 방식이어도 결과물에 차이가 났다는 점이 중요합니다. 이것은 우연이라기보다, 화면 모양을 정리하는 힘의 차이가 드러난 장면으로 보기 쉽습니다.

다만 완성까지 약 50분이 걸렸다는 점은 놓칠 수 없습니다. 시간 여유가 있는 일이라면 좋지만, 급한 상황에서는 나눠서 쓸 필요가 있습니다.

다른 화면 시안에서는

차이는 꽤 작다

최상위급이 1위. 이 과제에서 Kimi K3는 2위였습니다. 다만 겉모습 차이는 크지 않았습니다. 어느 쪽을 골라도 큰 불만이 나오기 어려운, 그런 가까운 승부였습니다.

Kimi K3는 약 5분 만에 완료. 이 과제에서는 속도에서 유리했습니다. 실제 일에서는 이 차이가 그대로 도움이 될 때가 있습니다. 예를 들어 회의 전에 초안 한 장을 빨리 내야 할 때는, 속도가 큰 가치가 됩니다.

과제에 따라 순위는 바뀐다. 한 번의 승패만으로 정하지 않는 것이 중요합니다. 자료 만들기에 강한 도구가, 수정 작업에서도 반드시 가장 좋다고는 할 수 없습니다. 그래서 여러 과제로 봅니다.

기본 힘도 높다

겉모습 외의 과제

수정 작업

문제를 고치는 과제에서는 상위권끼리 같은 점수였습니다. 즉, 겉모습뿐 아니라 고치는 힘에서도 충분히 강한 위치에 있습니다.

여기서 말하는 수정 작업은, 이미 만들어진 결과물의 흐트러짐이나 어색함을 찾아 바로잡는 힘에 가깝습니다. 실제 업무에서는 새로 만드는 일보다 수정하는 일이 더 많을 때도 있습니다. 이 부분이 약하지 않다는 점은 안심할 만합니다.

계산 문제

수학 과제에서도 둘 다 만점이었습니다. 계산이나 차근차근 답을 내는 일에서도 크게 뒤처지지 않습니다.

의미

기본 실력은 이미 꽤 높은 수준에 와 있습니다. 겉모습 만들기에만 치우친 강점이 아니라, 바탕 자체가 탄탄하다고 볼 수 있습니다.

내일 바로 쓰는 사람 입장에서는, "보기 좋은 것은 만들지만 기본이 불안하다"는 걱정이 적은 편입니다. 이것은 도입을 생각할 때 큰 장점입니다.

공개 점수와의 차이

결국 어땠나

숫자는 과장이 아니다. 공개 테스트에서 보인 강함은 실제 작업에서도 대체로 보였습니다. 점수만 앞서 나간 느낌은 아닙니다.

이기는 장면은 실제로 있다. 오셀로 검증에서도 다른 강한 모델을 이기는 경기가 나왔습니다. 이것은 우연히 한 분야만 강한 것이 아니라, 생각하는 힘에도 볼 만한 점이 있다는 뜻입니다.

하지만 종합 1위는 아니다. 최상위급에게 지는 장면도 남아 있었습니다. 이 점을 놓치고 "모든 면에서 가장 좋다"고 받아들이기에는 아직 이릅니다.

즉, 공개 점수와 실제 작업 사이에 큰 배신은 없었습니다. 다만 숫자 인상만 보고 만능이라고 생각하는 것은 위험합니다. 실제 일에 가까운 방식으로 시험해 본 뒤 정하는 것이 맞습니다.

쓰기 전 주의할 점

도입의 현실

개인 PC에서 가볍게 돌리기는 어렵다

여기는 성능과는 별개의 중요한 이야기입니다. Kimi K3는 전체 규모가 크고, 공개된 설명으로는 2.8조라고 합니다. 필요한 부분만 움직이는 구조라고 해도, 개인이 쓰기에는 무겁다는 전제로 보는 편이 좋습니다.

쉽게 말해, 자기 회사의 보통 업무용 컴퓨터에 넣고 바로 가볍게 돌릴 수 있는 것은 아닙니다. 설정에 익숙하지 않은 사람이 혼자서 어떻게 해볼 수 있는 도구는 아니라는 뜻입니다.

• 전체 규모는 2.8조로 매우 크다
• 필요한 부분만 움직이는 구조여도 개인에게는 무겁다
• 쓰려면 외부 서비스를 거치는 것이 현실적이다

내일 바로 써 본다면, 외부 서비스를 통해 시험하는 것이 현실적입니다. 먼저 "내 일에서 어디까지 쓸 수 있는가"를 작게 시험해 보고, 괜찮다면 회사 안의 잘 아는 사람과 상의하는 흐름이 안전합니다.

정리

내일 판단할 때는 이 5가지

• Kimi K3는 상위권급이다. 시험해 볼 가치가 크다
• 겉모습 과제에서는 이기는 장면이 있었다
• 다만 종합적으로는 최상위급이 더 우세하다
• 속도는 과제에 따라 달라진다. 항상 같지 않다
• 개인 PC를 전제로 하기보다, 외부 서비스로 쓴다

처음 한 번 써 보기에는, 화면 모양을 만드는 일에서 시험하는 것이 이해하기 쉽습니다. 예를 들면 사내용 화면 시안, 집계 화면 초안, 숫자를 나열한 보고용 밑그림입니다.

반대로 처음부터 회사 전체에서 한꺼번에 바꾸는 것은 이릅니다. 먼저 작은 과제로 결과물, 기다리는 시간, 수정하기 쉬운지를 보세요. 그것만으로도 충분히 판단할 수 있습니다.

마지막으로

AI 도서관

팔로우와 좋아요 부탁드립니다

AI를 일에 쓰는 이야기를, 쉽게 한 편씩 전하고 있습니다. 어려운 말을 가능한 한 쓰지 않고, "내일 어떻게 움직일지"가 보이는 형태로 계속 이어가겠습니다.

다음 글도 여기서 만나요.