AI가 틀리는 이유｜업무에서 AI 답변을 어디까지 믿어야 할까
핵심 요약
- AI 답변은 검증 완료된 사실이 아니므로 숫자·최신 정보·중요한 판단은 근거를 다시 확인해야 합니다.
- AI가 제시한 계산의 가정과 과정을 점검하고 원자료나 공식 출처와 대조하세요.
- 업무에서 중요한 능력은 답을 많이 얻는 것보다 무엇을 믿고 재확인할지 판단하는 것입니다.
최근 직원이 10명도 되지 않지만 알차게 사업체를 운영하고 있는 김 대표를 만났습니다.
업계 경력만 30년 정도 된 분입니다.
식사를 하면서 이런저런 이야기를 나누다가 자연스럽게 AI 이야기가 나왔습니다. 김 대표의 관심은 AI 자체보다 “이걸 실제 회사 업무에서 어디까지 믿고 써야 하는가”에 있었습니다.
일상생활에서 AI를 써보면 상당히 편리하다고 했습니다.
어떤 지역에서 어떤 종류의 식당을 찾는다거나, 일반적인 정보를 알아보는 정도에서는 큰 오류 없이 제법 만족스러운 결과를 얻는다는 것입니다.
문제는 그다음이었습니다.
AI가 생각보다 그럴듯한 답을 내놓다 보니 주변에 일종의 ‘AI 맹신자’가 생기기 시작했다는 것입니다.
김 대표는 회사의 이 부장 이야기를 예로 들었습니다.
“제가 AI로 다 확인해 봤습니다”
회사의 신상품 도입이나 시장조사 문제를 논의할 때 이 부장은 AI를 상당히 적극적으로 사용한다고 했습니다.
새로운 상품의 시장성이 어떤지, 경쟁제품이 어떤지, 앞으로 시장이 어떻게 될지 등을 AI를 통해 조사합니다.
여기까지는 문제가 없습니다.
오히려 새로운 도구를 업무에 적극적으로 활용한다는 점에서는 긍정적으로 볼 수도 있습니다.
문제는 AI로 조사했다는 사실이 어느 순간부터 자신의 주장이 맞다는 근거처럼 사용되기 시작했다는 것입니다.
회의 중 다른 의견이 나오면 이 부장은 이런 식으로 이야기한다고 했습니다.
“제가 AI로 다 찾아봤습니다.”
“AI로 확인된 사항입니다.”
그러면 다른 참석자 입장에서는 즉시 반박하기가 쉽지 않습니다.
AI가 어떤 자료를 찾아서 어떤 방식으로 분석했는지 알 수 없는데도 마치 상당한 양의 자료를 전문적으로 조사해서 내린 결론처럼 들리기 때문입니다.
결국 회의에서 다른 사람들이 이 부장의 주장에 굴복하는 경우도 종종 있었다고 합니다.
그런데 문제가 있었습니다.
이 부장의 의견에 따라 신상품 검토나 관련 업무가 상당히 진행된 뒤에 현실과 맞지 않는 사항이 발견되는 일이 생겼습니다.
그때 이 부장은 대체로 “그 사이 상황이 바뀐 것 같다”고 설명했다고 합니다.
물론 실제로 시장상황이 바뀌었을 수도 있습니다.
하지만 이런 일이 반복된다면 한 번쯤 다른 가능성도 생각해 봐야 합니다.
처음 AI가 내놓았던 답변 자체가 충분히 검증된 것이 아니었던 것은 아닐까?
AI를 많이 사용하는 사람과 AI를 잘 사용하는 사람은 다를 수 있습니다
얼마 뒤 김 대표는 AI 관련 강연을 하나 듣고 왔다고 했습니다.
그리고 오히려 고민이 더 생겼다고 했습니다.
AI를 사용하지 말아야 한다는 것이 아니었습니다.
앞으로 회사 업무에서 AI 활용은 더 늘어날 텐데, AI가 내놓는 결과를 직원들이 그대로 믿어버리는 것도 위험하고 그렇다고 AI 사용을 막는 것도 현실적인 방법이 아니라고 생각한 것입니다.
그래서 저에게 한 가지 부탁을 했습니다.
AI를 맹신하지 않으면서도 실제 업무에서 충실한 결과를 얻으려면 어떻게 사용해야 하는지 직원들에게 실제 사용과정을 보여주면서 설명해 달라는 것이었습니다.
그렇게 해서 최근 그 회사를 방문해 직원들과 함께 AI를 실제 업무에 사용하는 과정을 살펴볼 기회가 있었습니다.
김 대표가 말했던 이 부장도 만났습니다.
알고 보니 AI 서비스 이용에 매달 상당한 금액을 지출할 정도로 적극적인 사용자였습니다.
처음에는 그 정도로 많이 사용한다면 상당히 능숙하게 활용하고 있을 것이라고 생각했습니다.
그런데 실제 사용하는 모습을 가만히 살펴보니 다른 문제가 보였습니다.
업무지시가 의외로 단순했습니다.
필요한 배경과 조건을 충분히 설명하지 않은 상태에서 시장이나 상품에 대한 판단을 요구하고, AI가 그럴듯한 결과를 내놓으면 그 결론 자체를 상당히 신뢰하는 방식이었습니다.
AI를 적게 사용하는 것이 문제가 아니었습니다.
많이 사용하지만 검증과정이 약했던 것입니다.
이 경험을 통해 다시 확인하게 된 것이 있습니다.
AI 사용량과 AI 활용능력은 같은 것이 아닙니다.
그리고 회사에서 더 위험한 것은 한 직원이 AI의 잘못된 답을 믿는 것에 그치지 않습니다.
그 사람이 회의에서 “AI로 확인했다”는 말을 근거로 다른 사람의 판단까지 누를 때 조직의 의사결정 자체가 잘못될 수 있습니다.
AI의 답변은 ‘검증 완료’ 표시가 아닙니다
AI 답변이 위험한 이유 중 하나는 틀린 내용도 상당히 그럴듯하게 표현할 수 있다는 점입니다.
시장규모와 성장률을 숫자로 제시하고, 경쟁제품을 분류하고, 향후 시장전망까지 논리적으로 설명하면 상당한 조사를 거친 보고서처럼 보일 수 있습니다.
그러나 문장이 전문적으로 보인다는 것과 사실이 정확하다는 것은 별개의 문제입니다.
AI는 사용자가 충분한 자료를 주지 않아도 답변을 완성하려는 경향을 보일 수 있습니다.
예를 들어
“이 제품을 한국에 도입하면 사업성이 있을까?”
라고 질문했다고 생각해 보겠습니다.
이 질문만으로는 제대로 된 사업성 판단을 하기 어렵습니다.
제품의 정확한 사양도 없고, 공급가격도 없고, MOQ도 없고, 인증비용도 모르고, 실제 경쟁제품의 판매량도 알 수 없습니다.
그런데도 AI는 시장전망, 목표고객, 경쟁제품, 예상가격, 마케팅방법, 위험요소까지 상당히 완성된 형태의 답변을 만들어낼 수 있습니다.
그 순간부터 사용자는 조심해야 합니다.
그 내용 가운데 어디까지가 확인된 사실이고, 어디부터가 추정인지 구분해야 하기 때문입니다.
특히 숫자가 나오면 한 번 더 의심해야 합니다
사업에서는 숫자가 중요합니다.
시장규모, 성장률, 예상판매량, 원가, 광고비, 시장점유율 같은 숫자가 들어가면 보고서의 설득력도 훨씬 높아집니다.
바로 그래서 더 조심해야 합니다.
예를 들어 AI가
국내 시장규모는 약 500억원이며 향후 연평균 15% 성장이 예상됩니다.
라고 답했다고 가정해 보겠습니다.
여기서 중요한 것은 500억원과 15%라는 숫자가 아닙니다.
먼저 물어야 할 것은 이것입니다.
그 숫자는 어디에서 나온 것인가?
공식 통계가 있는지, 실제 시장조사기관의 자료인지, 기사에 나온 추정치인지, 해외시장 자료를 한국시장에 적용한 것인지, 아니면 여러 정보를 바탕으로 AI가 추론한 것인지에 따라 숫자의 의미는 완전히 달라집니다.
출처를 확인할 수 없다면 아무리 그럴듯한 숫자라도 회사의 중요한 의사결정 근거로 사용해서는 안 됩니다.
특히 시장규모와 판매량처럼 공개자료가 부족한 분야에서는 정확한 숫자가 없는 것이 오히려 정상일 수도 있습니다.
그런데 사용자가 반드시 숫자를 요구하면 AI가 빈칸을 채운 것처럼 보이는 결과를 만들 가능성이 있습니다.
없는 숫자를 정교하게 만드는 것보다 모른다는 사실을 아는 것이 사업에서는 더 가치 있을 때가 많습니다.
AI는 사용자의 생각에 동조할 수도 있습니다
또 하나 조심해야 할 것이 질문에 들어 있는 전제입니다.
예를 들어 이렇게 질문할 수 있습니다.
이 제품은 최근 인기가 높아지고 있고 디자인도 경쟁력이 있다. 한국에 도입하면 성공 가능성이 높지 않을까?
이미 질문 안에 긍정적인 판단이 들어가 있습니다.
- 인기가 높아지고 있다.
- 디자인 경쟁력이 있다.
- 성공 가능성이 높을 것 같다.
이런 전제를 사실처럼 주고 분석을 요구하면 AI 역시 그 전제를 바탕으로 성공 가능성과 실행방법을 설명할 수 있습니다.
그 결과 사용자는 자신의 생각을 AI가 객관적으로 검증해 줬다고 느낄 수 있습니다.
하지만 실제로는 자신이 넣은 전제를 AI가 받아서 더 정교한 문장으로 되돌려 준 것일 수도 있습니다.
신상품을 도입하고 싶은 사람이 AI에게 계속 질문한 끝에 “도입할 만하다”는 결론을 얻었다고 해서 그것이 독립적인 사업성 검토가 되는 것은 아닙니다.
그래서 저는 중요한 판단에서는 자신의 생각과 반대되는 방향의 검토도 필요하다고 봅니다.
“내가 이 상품을 도입하지 말아야 할 이유를 찾아보라.”
“내 판단에서 가장 취약한 전제가 무엇인지 찾아보라.”
“현재 자료만으로 결론을 내릴 수 없는 부분이 무엇인지 구분하라.”
중요한 것은 이런 문장 자체를 외워서 사용하는 것이 아닙니다.
AI에게 내 생각을 확인받으려 하지 말고, 내 생각의 약점을 찾는 데도 사용해야 한다는 뜻입니다.
최신 정보가 필요한 업무는 더 조심해야 합니다
시장, 법률, 세금, 인증, 정부지원제도, 제품가격, 플랫폼 수수료처럼 계속 변하는 정보도 주의해야 합니다.
과거에는 맞았던 정보가 지금은 틀릴 수 있습니다.
특히 사업 실무에서는 이 차이가 중요합니다.
제품 인증기준 하나가 달라져도 신상품 출시일정과 비용이 바뀔 수 있고, 세율이나 신고기준을 잘못 이해하면 실제 금전적인 문제가 발생할 수 있습니다.
따라서 최신성이 중요한 정보는 AI 답변에서 끝내지 말고 실제 현행자료를 확인해야 합니다.
법률은 현행 법령을 확인하고, 인증은 관계기관이나 시험·인증기관을 확인하며, 정부지원사업은 현재 공고문을 보는 식입니다.
AI가 출처를 제시했다는 것과 내가 그 출처를 확인했다는 것도 다른 이야기입니다.
링크나 기관명이 있다고 해서 검증이 끝난 것이 아닙니다.
실제 원문에 AI가 말한 내용이 있는지 확인해야 합니다.
회사에서 “AI로 확인했습니다”는 근거가 되어서는 안 됩니다
김 대표와 이야기하면서 저는 이 부분이 특히 중요하다고 생각했습니다.
앞으로 회사 회의에서 이런 표현을 듣는 일이 더 많아질 가능성이 있습니다.
“AI로 조사했습니다.”
“AI가 이렇게 분석했습니다.”
“AI로 확인한 결과입니다.”
하지만 이것만으로는 아무것도 검증되지 않았습니다.
오히려 회사에서는 질문을 바꿔야 합니다.
어떤 자료를 근거로 판단했습니까?
그 자료의 출처는 무엇입니까?
확인된 사실과 추정은 어떻게 구분했습니까?
반대되는 자료는 없었습니까?
이 결론을 내리기 위해 아직 확인하지 못한 것은 무엇입니까?
AI를 사용했는지 여부보다 이 질문에 답할 수 있는지가 더 중요합니다.
예전에는 직원이 인터넷 검색을 했다고 해서 “인터넷에서 확인했으니 맞습니다”라고 보고하는 것을 충분한 근거로 인정하지 않았습니다.
AI도 마찬가지입니다.
AI는 조사와 분석을 도와주는 수단이지 그 자체가 출처는 아닙니다.
중요한 업무라면 ‘사실·추정·판단’을 분리해 봅니다
AI를 실무에서 활용할 때 저는 결과물을 세 부분으로 나누어 보는 방식이 유용하다고 생각합니다.
확인된 사실
실제 자료를 통해 확인할 수 있는 내용입니다.
제품사양, 공급업체 견적, 법령, 공식 통계, 시험성적서, 인증서, 실제 판매가격 등이 여기에 해당할 수 있습니다.
중요한 것은 원문을 확인할 수 있어야 한다는 것입니다.
아직 확인되지 않은 추정
시장성장 가능성, 예상판매량, 광고비, 시장점유율, 소비자의 반응처럼 현재 자료만으로 확정하기 어려운 내용입니다.
추정 자체가 나쁜 것은 아닙니다.
사업계획에는 반드시 가정이 필요합니다.
문제는 가정을 사실처럼 사용하는 것입니다.
최종 판단
확인된 사실과 여러 가정을 바탕으로 사람이 내리는 결론입니다.
상품을 도입할 것인지, 공급업체와 계약할 것인지, 얼마를 투자할 것인지 같은 결정입니다.
이 세 가지가 섞이면 AI가 만든 추정이 어느 순간 ‘확인된 사실’이 되고, 그 사실을 바탕으로 사업결정까지 내려지는 문제가 생길 수 있습니다.
AI 답변을 검증할 때 저는 이런 부분을 먼저 봅니다
모든 문장을 똑같은 수준으로 확인할 필요는 없습니다.
틀렸을 때 사업에 미치는 영향이 큰 것부터 보면 됩니다.
특히 다음과 같은 정보는 한 번 더 확인할 필요가 있습니다.
- 시장규모와 성장률
- 실제 판매량과 시장점유율
- 회사명과 제조사 정보
- 제품사양과 모델명
- 공급가격과 원가
- 인증대상 여부와 인증기준
- 법률·세금·정부제도
- 보고서·통계·논문 등의 출처
- 경쟁제품의 실제 가격
- 투자·발주·계약 판단에 직접 영향을 주는 숫자
반대로 문장을 정리하거나, 이미 가지고 있는 자료를 요약하거나, 여러 아이디어를 분류하는 것처럼 사실관계 오류의 위험이 상대적으로 낮은 업무에서는 훨씬 편하게 활용할 수 있습니다.
결국 업무의 위험도에 따라 검증의 강도도 달라져야 합니다.
검증 연습: 이익은 100만원인데 왜 현금은 900만원 부족할까?
아래는 독자가 직접 계산해 볼 수 있도록 만든 가상 예시입니다. 앞서 소개한 회사의 실제 거래나 특정 AI의 응답을 인용한 것이 아닙니다. AI가 만든 사업성 보고서를 검토할 때 무엇을 확인해야 하는지 연습해 보겠습니다.
제품을 개당 1만원에 2,000개 매입하고, 이 중 1,000개를 개당 1만6,000원에 판매했다고 가정합니다. 같은 기간 판매수수료 100만원, 광고비 200만원, 고객 배송비 200만원을 지출했습니다. 판매대금은 모두 회수했고 매입대금과 비용도 전액 지급했습니다. 세금·반품·고정비·기초재고는 생략하며, 남은 재고의 가치 하락도 없다고 가정합니다.
이 조건을 보고 “100만원이 남으므로 추가 자금 걱정은 없다”는 결론을 받았다면, 어디를 다시 확인해야 할까요?
| 확인 항목 | 직접 계산 |
|---|---|
| 판매 매출·회수액 | 1,000개 × 16,000원 = 1,600만원 |
| 전체 매입대금·지급액 | 2,000개 × 10,000원 = 2,000만원 |
| 판매된 제품의 매입원가 | 1,000개 × 10,000원 = 1,000만원 |
| 판매 관련 비용 | 100만원 + 200만원 + 200만원 = 500만원 |
| 예시의 손익 | 1,600만원 − 1,000만원 − 500만원 = 100만원 |
| 이 거래의 순현금흐름 | 1,600만원 − 2,000만원 − 500만원 = −900만원 |
| 남은 재고의 매입원가 | 1,000개 × 10,000원 = 1,000만원 |
손익 100만원과 순현금흐름 −900만원의 차이 1,000만원은 아직 팔리지 않은 재고에 묶인 금액입니다. 따라서 이 예시에서 손익 계산이 맞더라도 “자금 걱정이 없다”는 결론까지 맞는 것은 아닙니다. 실제 필요한 최고 자금액은 발주대금 지급일과 판매대금 회수일에 따라 달라지므로, 기간 합계만으로 확정할 수 없습니다.
AI에게 다시 요청할 때는 검증 항목을 지정합니다
“정말 맞는지 다시 확인해 줘”에서 그치지 말고, 다음과 같이 계산 대상을 나누어 요청해 볼 수 있습니다.
위 거래에서 매입수량과 판매수량을 구분해 매출, 판매된 제품의 원가, 남은 재고, 손익, 현금 유입·유출을 각각 계산해 주세요. 각 결과에 산식을 표시하고, 손익과 현금흐름의 차이가 무엇으로 설명되는지 확인해 주세요. 주어지지 않은 지급일·회수일이나 추가 비용은 임의로 채우지 말고 확인할 항목으로 남겨 주세요.
답변을 받은 뒤에는 계산기나 엑셀로 같은 산식을 독립적으로 계산합니다. 실제 거래라면 견적서·발주서에서 매입수량과 단가를, 판매·정산자료에서 판매수량과 회수액을, 청구서와 지급내역에서 비용과 지출일을 대조합니다. 검증 기록에는 확인한 주장, 원본 자료와 날짜, 재계산 결과, 아직 모르는 조건, 최종 반영 여부를 남기면 다음 담당자도 판단 과정을 따라갈 수 있습니다.
실제 수입·OEM 제품의 비용항목을 정리할 때는 수입·OEM 제품 원가분석 방법과 무료 엑셀을 함께 참고할 수 있습니다. 도구에 입력한 수량·단가·비용의 근거도 같은 방식으로 확인해야 합니다.
틀렸다고 발견한 뒤 다시 물었다고 검증이 끝나는 것도 아닙니다
AI 답변에서 오류를 발견하면 다시 질문하게 됩니다.
그러면 AI가 잘못을 인정하고 새로운 답변을 내놓기도 합니다.
여기서 또 하나의 함정이 있습니다.
두 번째 답변이 첫 번째보다 그럴듯하다고 해서 두 번째 답변이 반드시 맞는 것은 아닙니다.
AI가
“맞습니다. 제가 잘못 설명했습니다.”
라고 답했다고 해서 이제 정확한 답을 얻었다고 생각해서는 안 됩니다.
중요한 정보라면 수정된 답 역시 실제 자료와 비교해야 합니다.
결국 검증의 기준은 AI가 자신의 답을 수정했는가가 아니라 외부의 확인 가능한 자료와 일치하는가입니다.
AI를 쓰지 말자는 이야기가 아닙니다
이 글의 결론을 AI는 위험하니 사용하지 말자는 것으로 받아들일 필요는 없습니다.
저 역시 실제 업무에서 AI를 활용합니다.
자료를 정리하고, 복잡한 문제에서 검토항목을 찾고, 서로 다른 관점에서 문제를 바라보고, 문서를 구성하고, 빠뜨린 사항을 찾는 데 상당히 유용합니다.
과거라면 많은 시간이 걸렸을 작업을 훨씬 빠르게 처리할 수 있는 것도 사실입니다.
그래서 오히려 앞으로 회사에서 AI 사용은 더 늘어날 가능성이 높다고 생각합니다.
다만 사용량이 늘어날수록 검증하는 능력도 함께 커져야 합니다.
김 대표 회사의 이 부장처럼 AI를 적극적으로 사용하는 사람은 앞으로 어느 회사에나 생길 수 있습니다.
그런 사람이 조직에 필요한 사람인지 아닌지를 가르는 기준도 AI를 얼마나 많이 사용하는가만으로 결정되지는 않을 것입니다.
AI가 내놓은 결과에서 무엇이 사실이고 무엇이 추정인지 구분하고, 부족한 자료를 다시 찾고, 자신의 생각과 반대되는 가능성까지 검토해서 최종적으로 사람이 판단할 수 있어야 합니다.
“AI로 확인했다”에서 한 단계 더 나아가야 합니다
김 대표의 교육 요청은 AI 사용을 막기 위한 것이 아니라 결과를 제대로 다루기 위한 것이었습니다. 회의에서 “AI로 확인했습니다”라는 보고를 받으면 “무엇을 근거로 그렇게 판단했습니까?”, “AI가 틀렸을 가능성은 어떻게 확인했습니까?”라고 물어야 합니다.
발주와 계약, 투자와 재고의 결과는 결국 사람이 책임집니다. 앞의 계산 연습처럼 원자료와 독립적인 재계산으로 중요한 판단을 확인하는 습관을 회사 업무에 적용하는 것이 필요합니다.
글에서 틀린 내용이나 바뀐 제도를 발견하셨나요? 오류 제보하기 — 확인 후 고치고, 바뀐 내용은 수정일과 함께 표시합니다.
