AI 방어 12원칙

왜 위험한가

먼저 중요한 점은, 대화하는 AI와 일을 실행하는 AI는 같지 않다는 것입니다. 대화만 하는 AI라면, 조금 이상한 답을 해도 그 자리의 대화로 끝나는 경우가 있습니다. 하지만 대화 내용을 바탕으로 전송, 저장, 삭제까지 진행하는 AI가 되면, 말실수가 곧바로 사고로 이어집니다.

여기서 말하는 에이전트란, 대화만 하는 것이 아니라 실제로 조작까지 하는 AI를 뜻합니다. 예를 들면 문서를 열기, 일정을 옮기기, 바깥 도구와 연결하기, 사내 자료를 찾기 같은 작업입니다. 새로 들어온 사람에게 "이것도 부탁해요"라고 했더니, 대답만 하는 것이 아니라 정말로 움직여 버리는 상황이라고 생각하면 위험을 이해하기 쉽습니다.

대화 AI와 에이전트는 다른 것

대화 AI는 틀려도 대화로 끝나는 일이 있습니다. 하지만 실행하는 AI는 다릅니다. 예를 들어 요약을 조금 잘못하는 것은 아직 대화의 문제입니다. 그러나 잘못된 상대에게 자료를 보내거나, 필요한 파일을 지우거나, 보여 주면 안 되는 문서를 여는 일은 전혀 다른 문제입니다.

핵심

AI의 말은 그대로 행동이 된다

• 채팅의 오답은 대화로 끝나는 경우가 많지만, 실행하는 AI는 그대로 움직여 버립니다.
• 파일 조작이나 외부 연결이 얽히면, 작은 잘못된 판단이 삭제나 오발송 같은 사고로 바뀝니다.
• 그래서 봐야 할 것은 답변을 잘하는지만이 아닙니다. 무엇을 실행해도 되는지, 어디에서 멈춰야 하는지 같은 행동의 통제입니다.

이 첫 인식이 없으면, "답이 자연스러우니 괜찮다"고 생각하기 쉽습니다. 하지만 실제로는, 공손한 말투로 잘못된 조작을 하는 편이 더 위험합니다. 겉보기의 능숙함보다, 제멋대로 움직일 수 없게 만드는 것이 먼저입니다.

보호는 나중에 덧붙이지 않는다

보호 장치는 만들어 놓고 나중에 더하는 것이 아닙니다. 회사의 열쇠를 떠올려 보세요. 모든 사람이 모든 방에 들어갈 수 있는 상태로 일을 시작하고, 나중에 문제 생긴 방만 잠그는 방식은 손도 많이 가고 혼란도 커집니다. AI도 같습니다. 처음에 "어디까지 봐도 되는지", "무엇을 해도 되는지"를 정해 두지 않으면, 나중에 고칠수록 더 힘들어집니다.

설계 원칙

• 만든 뒤 대책이 아니라, 처음에 경계를 정한다.
• 문제가 나온 뒤 수정이 아니라, 권한을 먼저 설계한다.
• 그때그때 덧붙이기가 아니라, 승인선부터 긋는다.

이 순서로 하면 오히려 만드는 속도가 빨라집니다. 이유는 간단합니다. "여기는 자동으로 해도 된다", "여기는 사람이 본다"가 정해져 있으면, 고민하면서 만들지 않아도 되기 때문입니다. 나중에 보호를 더하면, 이미 넓어진 권한을 다시 닫는 작업이 되고, 관련된 사람들에게 설명할 일도 늘어납니다.

밖으로 안 내보내는 것만으로는 부족하다

"회사 밖으로 보내지 않으면 안전하다"고 생각하기 쉽지만, 그것만으로는 충분하지 않습니다. 물론 외부 전송을 막으면 유출 위험은 크게 줄어듭니다. 하지만 회사 안이라 해도, 문서마다 볼 수 있는 사람을 나누는 장치가 없으면 볼 필요가 없는 사람까지 보게 됩니다.

즉, 외부 전송을 막는 것과 사내 권한을 조절하는 것은 반드시 함께 가야 합니다. 우편으로 밖에 보내지 않는 것과, 사내 문서 보관실의 열쇠를 계속 열어 두지 않는 것은 다른 이야기입니다. 둘 중 하나만으로는 지킬 수 없습니다.

인젝션은 기본 전제로 생각한다

입력 내용 안에는 AI를 속이는 명령이 섞여 들어갈 수 있습니다. 이런 끼워 넣기 명령은 일반적으로 인젝션이라고 부릅니다. 어렵게 보이지만, 쉽게 말하면 "원래 지시가 아닌 문장을 슬쩍 섞어서 다른 행동을 하게 만드는 것"입니다. 신입사원에게 건넨 메모 한쪽 끝에, 몰래 다른 지시가 적혀 있는 것과 비슷합니다.

입력을 다루는 방법

• 1 직접형　사용자가 "이전 지시는 무시해"라고 정면으로 끼워 넣습니다. 찾기는 비교적 쉽지만, 표현을 바꿔 강하게 여러 번 시도할 수 있습니다.
• 2 간접형　문서나 이미지에 숨겨진 명령을 AI가 읽어 냅니다. 본인도 눈치채기 어렵고, 평범한 자료처럼 보여서 더 까다롭습니다.
• 3 설계 생각법　완벽한 방어만 목표로 하지 말고, 통과하더라도 피해가 커지지 않는 형태를 우선합니다.

여기서 흔히 막히는 부분은, "위험한 말을 금지하면 막을 수 있다"고 생각하는 것입니다. 실제로는 표현만 바꾸면 비슷한 뜻을 여러 방식으로 만들 수 있습니다. 게다가 겉으로 보기에는 그저 요청 문장이나 이미지 설명처럼 보일 수도 있습니다. 그래서 입력이 깨끗한지만 믿지 않는 것이 중요합니다.

비밀은 놓는 자리를 잘못 잡으면 진다

비밀은 놓는 자리를 잘못 정하면, 그것만으로도 이미 진 것입니다. 배포된 앱 안에 열쇠를 숨겨 넣으면, 분석되어 발견될 위험이 있습니다. AI에게 주는 지시문 안에 비밀을 적어 두어도, "그 지시를 바꿔 말해서 보여 줘"라고 몰아붙이면 밖으로 나올 수 있습니다.

결론은 간단합니다. 비밀은 넣어 두지 않습니다. 꼭 필요할 때만, 다른 안전한 경로로 다룹니다. 이 원칙이 무너지면, 아무리 훌륭한 설명문을 만들어도 마지막에는 비밀을 둔 자리 때문에 집니다.

지키는 방법의 틀

보호의 기본은, 크게 한 번에 막으려 하지 않는 것입니다. 권한, 승인, 감시로 작게 지킵니다. 봐도 되는 범위를 줄입니다. 자동으로 해도 되는 일을 줄입니다. 위험한 상황에서는 사람이 멈춥니다. 사용한 뒤에는 기록을 봅니다. 이런 흐름입니다.

입력 전에 한 번 멈춘다

AI에 넘기기 전에, 한 번만이라도 멈춰서 확인하는 방식을 넣어 주세요. 그 정보는 밖에 보여 줘도 되는 내용인가. 사내에서만 괜찮은가. 개인정보나 기밀이 섞여 있지는 않은가. 이 부분을 매번 사람 기분에 따라 판단하면 새어 나갑니다. 그래서 먼저 기준을 정해 둡니다.

• 공개 전제　그 정보가 밖에 보여도 되는지 먼저 정합니다.
• 주의 필요　개인정보나 기밀은 가리거나 바꿔서 전달합니다.
• 자동화　미리 처리하는 과정을 자동화해, 매번 빠뜨리는 일을 줄입니다.

흔한 실패는 "급하니까 이번에는 그냥 넣자"입니다. 한 번 허용하면 다음에도 또 일어납니다. 이름, 주소, 금액, 거래처 이름처럼 쉽게 섞이는 정보는 먼저 가리는 흐름을 정해 두면 덜 헷갈립니다.

쓸 수 있는 사람은 관리 역할뿐

다음으로 중요한 것은, 꼭 필요한 최소한의 권한만 주는 생각입니다. 모두가 쓸 수 있는 상태로 두지 않습니다. 실행이나 변경은 관리 역할에만 맡기고, 아래 역할은 읽기만 하게 합니다. 권한이 여기저기 퍼질수록 멈출 수 있는 지점이 사라집니다.

• 모두가 쓰는 것이 아니라, 관리 역할만 실행한다.
• 각 역할이 직접 조작하는 것이 아니라, 아래 역할은 읽기만 하게 한다.
• 권한이 흩어지는 것이 아니라, 관리 지점을 하나로 모은다.

업무로 비유하면, 초안을 만드는 사람과 최종본을 내보내는 사람을 나누는 방식입니다. 초안은 많은 사람이 봐도 됩니다. 하지만 밖으로 보내는 버튼을 누를 수 있는 것은 관리 역할뿐입니다. 이런 나누기가 AI에서도 그대로 효과를 냅니다.

마지막 안전장치

아무리 준비해도 마지막 안전장치는 필요합니다. 특히 전송, 삭제, 결제처럼 되돌릴 수 없는 작업은 자동으로 실행하게 두지 말아야 합니다. 이 부분을 사람이 승인하기만 해도 사고의 크기는 달라집니다. 답을 잘하는 AI일수록 이 점을 잊기 쉬우므로 주의가 필요합니다.

고위험 작업

되돌릴 수 없는 작업은 반드시 사람이 승인한다

• 전송, 삭제, 결제 같은 작업은 자동 실행시키지 않습니다.
• 위험한 작업 목록을 먼저 만들고, 해당되면 승인 단계로 돌립니다.
• 감시 역할과 자세한 기록을 준비해, 언제 왜 사용했는지 남깁니다.

여기서 흔히 막히는 점은, "소액이니까 괜찮다", "사내용이니까 괜찮다"고 가볍게 생각하는 것입니다. 작은 작업이라도 잘못된 상대에게 보내거나 잘못 지우면 되돌릴 수 없습니다. 승인은 번거로워 보여도, 사고 뒤에 설명하는 일보다 훨씬 가벼운 작업입니다. 도장을 없애는 것이 아니라, 찍을 자리를 줄이는 것이라고 생각하면 이해하기 쉽습니다.

정리

AI를 안전하게 쓰는 요령은, 나중에 급히 막는 것이 아닙니다. 먼저 경계를 정하고, 권한을 줄이고, 위험한 작업만큼은 사람이 멈추게 하는 것입니다. 이 순서라면 오히려 안심하고 더 빠르게 나아갈 수 있습니다. 내일 바로 할 일은, 어려운 설정보다 먼저 업무 흐름을 정리하는 것입니다.

• 지금 쓰는 AI가 대화로 끝나는지, 실행까지 가는지 적어 봅니다. 즉, AI의 말이 행동이 되는 장면을 찾습니다.
• 사용 전에 어디까지 보여 줘도 되는지, 어디부터 승인이 필요한지 정합니다. 즉, 보호는 처음부터 설계한다.
• 비밀이 앱 내용이나 지시문 안에 들어 있지 않은지 확인합니다. 즉, 비밀은 코드와 지시문에 두지 않는다.
• 수정이나 전송을 할 수 있는 역할을 줄이고, 관리 역할에 모읍니다. 즉, 권한은 최소화하고 관리 역할에 집중시킵니다.
• 전송, 삭제, 결제 같은 고위험 작업을 목록으로 만들고, 승인과 기록을 필수로 합니다. 즉, 고위험 작업은 승인과 감시로 막는다.