AI에 업무를 맡긴 기업 다수가 결과물을 그대로 쓰지 않고 사람이 다시 손보는 것으로 나타났다. AI가 왜 그런 결론을 냈는지 설명하지 못하는 점이 가장 큰 이유다.
글로벌 데이터·AI 기업 SAS와 시장조사기관 IDC가 전 세계 의사결정권자 2,699명을 조사한 ‘데이터 및 AI 영향력 보고서’에 따르면, 응답 기업의 약 79%가 전체 의사결정 사례의 10% 이상에서 AI 결과를 직접 검토하거나 수정한다. AI 결과를 전혀 손대지 않는 비율은 0.6%에 그쳤다. 조사 대상 기업의 89%는 이미 업무 의사결정에 AI 에이전트를 어떤 형태로든 쓰고 있다.
왜 고칠까: 1위는 ‘설명 부족’
- 수정 이유 1위는 판단 근거나 설명이 부족하다는 응답(34.5%)이었다.
- 2위는 맥락을 충분히 반영하지 못한다는 응답(25.6%)으로, 두 항목을 합치면 60%를 넘는다.
- 편향·불공정성, 오류, 안전성 문제를 꼽은 비율은 상대적으로 낮았다.
AI가 맞는 답을 내놔도 근거를 확인할 수 없으면 사람이 최종 승인하기 어렵다는 뜻이다. 보고서는 AI가 어떤 데이터와 과정으로 결론에 도달했는지 추적할 수 있는 체계가 필요하다고 짚었다.
——————————————————————————————————————————————————
스스로 움직일수록 신뢰는 하락
AI를 신뢰한다는 응답은 생성형 AI가 76%, 스스로 판단해 행동하는 에이전틱 AI가 66%였다. 자율성이 커질수록 믿음은 오히려 낮아지는 셈이다.
신뢰하는 기업이 돈도 번다
신뢰할 수 있는 AI 관행을 갖춘 조직은 그렇지 않은 조직보다 높은 투자수익률을 낼 가능성이 15배 높았다. 반면 데이터 인프라를 최고 수준으로 갖춘 기업은 17.5%에 불과했다.
SAS 측은 데이터 기반과 거버넌스 같은 ‘신뢰 인프라’가 AI 성과를 가르는 요소라고 강조했다.
(출처: SAS·IDC 보고서, 뉴시스 보도 참고)
