AI 사용성 측정, 토큰 사용량만 보면 틀리는 이유

AI 사용성 측정은 토큰 사용량이 아니라 업무가 실제로 바뀌었는지로 해야 한다. 사용량은 긴 입력, 긴 답변, 다시 묻기, 길어진 대화만으로도 쉽게 늘어나기 때문에, 많이 쓴 팀이 잘 쓴 팀이라는 보장이 없다(모비인사이드, 2026년 10월 28일 기준).

토큰 사용량은 왜 부풀려지나?

이직스쿨 김영학 대표는 사용량을 키우는 요인을 네 가지로 짚었다.

요인	사용량이 늘어나는 이유
긴 입력	자료를 통째로 붙여 넣는다
긴 답변	필요 이상으로 자세한 결과를 받는다
다시 묻기	원하는 답이 안 나와 여러 번 고친다
긴 대화	한 대화창에서 주제를 이어 가며 앞 내용이 계속 쌓인다

이 중 다시 묻기와 긴 대화는 오히려 잘 못 쓰고 있다는 신호일 수 있다. 사용량 순위로 팀을 평가하면 비효율이 칭찬받는 상황이 생긴다.

그러면 무엇을 어떤 순서로 재야 하나?

측정은 아래 순서로 깊어진다.

1. 사용량: 얼마나 쓰는지 본다. 출발점일 뿐이다.
2. 주제와 빈도: 어떤 업무에 얼마나 자주 쓰는지 본다.
3. 주제별 깊이: 초안 작성에서 멈추는지, 분석·검토까지 맡기는지 본다.
4. 업무 변화: 걸리는 시간과 결과물이 실제로 달라졌는지 본다.

원문에 나온 예로, 월간 보고서 작성이 이틀에서 반나절로 줄었다면 그것이 4단계의 증거다.

역할마다 무엇을 하면 되나?

• 리더: "평가가 아니라 측정"이라고 먼저 말한다. 그래야 사용 기록이 숨지 않는다. 목표를 매출, 이익, 비용 중 무엇으로 볼지 정한다.
• 팀장: 사용량 시트 옆에 AI 도입 전후 비교표를 붙인다.
• 실무자: "여기에 썼고, 여기서 통했고, 여기서는 안 됐다"를 한 줄로 남긴다.

점검 질문은 하나다. 지난 분기 보고서에 "AI로 이 업무가 이렇게 바뀌었다"는 문장이 들어 있었는가.

실무 시사점

마케팅 조직에 옮기면 측정 단위가 분명해진다. 광고 소재 제작 시간, 리포트 작성 시간, 카피 테스트 횟수처럼 이미 재고 있는 지표에 AI 도입 전후를 나눠 붙이면 된다. 사용량 대시보드를 새로 만드는 것보다 기존 업무 지표에 열 하나를 더하는 편이 빠르다.

대행사·광고 업계가 AI를 사업 단위로 다루는 흐름은 퍼블리시스 마르셀, AI 도구에 CEO를 둔 이유에서, 운영 위험 관리는 AI 운영 리스크, 메타·그록 오류가 남긴 과제에서 함께 볼 수 있다.

원문: 모비인사이드