AI 가상 고객 설문, 어디까지 믿을까 — 퓨리서치 실험에서 평균 12%p 틀렸다, 마케터를 위한 합성 응답 사용법

상세페이지 시안 세 개를 놓고 고객 조사를 하면 몇 주가 걸리지만, AI에게 “30대 직장인 여성 30명이 돼서 골라 줘”라고 하면 10분이면 끝납니다. 이런 AI 합성 응답자(가상 고객) 설문이 빠르게 퍼지고 있습니다. 그런데 미국 여론조사 기관 퓨리서치(Pew Research Center)가 9월 30일 공개한 실험은 이 숫자를 그대로 믿으면 안 된다고 말합니다.

왜 다들 AI에게 먼저 묻나

이유는 시간과 비용입니다.

• 퀄트릭스가 2024년 말 한국 포함 14개국 시장조사 전문가 3,000여 명에게 물었을 때 **71%**가 “3년 안에 시장조사 대부분이 합성 응답으로 이뤄질 것”이라고 답했습니다. 써 본 전문가의 87%는 만족했습니다.
• 한국일보 정리에 따르면 4~6주 걸리던 소비자 조사가 합성 응답으로는 2~3일이면 끝납니다.
• 오픈서베이가 4월 웨비나 참가자에게 물었을 때 실제로 써 본 사람은 10%가 안 됐습니다. 써 본 사람은 적은데 그렇게 될 거라 믿는 사람은 많은 상황입니다.

학계 결과도 기대를 키웠습니다. 스탠퍼드 팀이 1,052명을 두 시간씩 인터뷰해 만든 AI 분신은 사회조사 질문에서 본인 재응답 일관성 대비 82~86% 정확도를 보였고, 올해 네이처에 실린 연구는 실험 70개의 메시지 효과 방향을 상관계수 0.85로 맞혔습니다.

퓨리서치는 어떻게 쟀나

퓨는 상설 패널 ‘아메리칸 트렌드 패널’ 응답자 한 명마다 AI ‘디지털 트윈’을 만들었습니다. 1월·3월·4월 조사 세 건을 각각 8,512명, 3,507명, 5,103명 규모로 복제해 300문항 가까이 돌렸습니다. 예선에서 오차가 가장 작았던 클로드 오퍼스 4.6을 본선에 썼습니다.

결과: 평균 12.4%p 오차

세 조사 평균 오차는 12.4%p였고, 전체 문항의 28%가 15%p를 넘게 틀렸습니다. 전국 여론조사의 오차 범위가 보통 ±3%p 안팎이니 그 네 배입니다.

AI 가상 고객이 틀리는 다섯 가지 패턴

1. ‘잘 모르겠다’를 고르지 않는다

사람은 ‘잘 모르겠다’를 16% 골랐지만 AI는 4%였습니다. 수정헌법 1조 상식 문제는 사람 52%, AI 98%가 맞혔습니다. 평범한 사람의 모름을 흉내 내지 못합니다.

2. 다수 의견을 전원 의견으로 만든다

마케터에게 가장 중요한 대목입니다. 미국 히스패닉 성인 중 다음 월드컵을 볼 것 같다는 사람은 42%인데 AI는 97%였습니다. 집단별 오차는 소수 집단일수록, 성향이 뚜렷한 집단일수록 컸습니다. AI는 개인이 아니라 그 집단의 고정관념으로 답합니다.

3. 최근 뉴스를 모른다

모델의 지식 기준일 이후 일에서 크게 틀렸습니다. 전기요금이 매우 걱정된다는 사람은 52%인데 AI는 23%로, 가장 큰 29%p 차이가 났습니다.

4. 모델을 바꾸면 결과가 바뀐다

같은 프로필로 GPT-5.1은 극단적인 의견을, 오퍼스는 온건한 의견을 냈습니다. 어떤 AI를 쓰느냐에 따라 ‘소비자 의견’이 달라집니다.

5. 깨끗해 보여서 더 위험하다

틀린 데이터도 표와 그래프는 멀쩡하게 나옵니다. 퓨의 결론은 “AI 모델은 전통적 여론조사의 적절한 대체물이 아니다”였습니다. 다만 주관식 답변 분류와 데이터 분석에는 쓰라고 했습니다.

국내 조사 회사들이 적어 둔 한계도 같다

• 마크로밀 엠브레인: 신제품 콘셉트·이름처럼 자극물을 평가하는 조사는 사람과 차이가 작았지만, 브랜드 인지도나 실제 소비 행동은 유의미하게 달랐습니다.
• 오픈서베이: 응답 다양성이 줄어드는 ‘분산 붕괴’, 바람직한 답이 많아지는 편향, 서구·고학력 학습 데이터 편향, 모델 업데이트에 따른 재현성 문제를 꼽았습니다. “최종 검증은 실제 고객에게” 하라고 권합니다.
• 퀄트릭스: 출시 결정, 큰 가격 결정, 규제 제출 자료에는 쓰지 말라고 안내합니다.

실무 시사점: 비교·순위에는 쓰고, 비율·예측에는 쓰지 않는다

1. 후보 좁히기에 쓴다. 시안 세 개 중 나은 것을 고르는 데는 쓸 수 있지만, “구매 의향 62%” 같은 숫자를 보고서에 넣으면 안 됩니다.
2. 분포부터 본다. 30명이 모두 “매우 만족”이거나 아무도 “모르겠다”를 고르지 않았다면 고정관념 데이터입니다.
3. 최근 이슈 반응은 사람에게 묻는다. 이번 달 가격 인상, 경쟁사 이슈, 요즘 밈은 AI가 가장 크게 틀리는 영역입니다.
4. 사람 조사를 더 잘하려고 쓴다. 질문지 사전 점검과 가설 만들기에 AI를 쓰고, 실제 판단은 실제 고객 응답으로 합니다.

소재 성과를 사전에 예측하는 다른 접근은 크로거, 광고 집행 전에 전환을 81% 정확도로 예측했다에서, AI가 마케팅 직무에 미치는 영향은 가트너 “2030년엔 AI로 신입 마케터 자리를 없앨 수 있다”에서 볼 수 있습니다.