출시하고 하루 만에 되돌린다 — 안전장치 없는 AI 기능의 반복되는 철회

AI 기능 경쟁이 심해지면서 허위조작·개인정보 침해를 막을 안전장치 없이 기능을 먼저 내놓는 관행이 반복되고 있다.

사례 1: 구글 어스, 하루 만에 롤백

구글은 지난달 30일 '구글 어스'에 AI 이미지 생성 도구 나노 바나나2를 통합해 위성·항공 사진을 몇 초 만에 재생성하는 기능을 공개했다. 곧바로 조작된 난민 이미지, 폭발구 등 허위 위성 이미지 유포 논란이 불거졌고, 구글은 31일 해당 기능을 롤백했다.

사례 2: 메타, 사흘 만에 중단

메타도 인스타그램의 뮤즈 이미지 기능을 사흘 만에 중단했다. 서비스를 내놓은 뒤 논란이 커지면 보완하는 패턴이 반복되면서, 전문가들은 안전장치 개발이 후순위로 밀린다고 지적한다.

왜 위성 이미지가 특히 문제인가

일반적인 생성 이미지와 위성·항공 이미지는 신뢰의 성격이 다르다. 지도와 위성 사진은 사실 확인의 근거로 쓰이는 자료다. 뉴스 검증, 재난 대응, 분쟁 지역 보도에서 위성 이미지는 "실제로 무슨 일이 있었는가"를 판정하는 데 동원된다. 그 자료가 몇 초 만에 그럴듯하게 재생성될 수 있게 되면, 진짜 이미지의 증거 능력까지 함께 흔들린다.

브랜드가 준비할 것

첫째, 출시 후 철회는 브랜드 비용이 크다. 기능 자체보다 "검토 없이 냈다"는 인상이 남는다. AI 기능을 붙일 때는 오남용 시나리오를 먼저 적고, 그 시나리오를 막을 수 없다면 범위를 좁혀 내는 편이 낫다.

둘째, 생성물 표시 정책을 미리 정해야 한다. 어떤 산출물에 AI 표기를 붙일지, 어디까지 편집을 허용할지의 기준은 사후에 만들면 늦는다. 워터마크·출처 표기를 둘러싼 최근 논의는 구글 제미나이, 생성 이미지 워터마크 끄는 기능 테스트 — SynthID는 유지될 듯에서 볼 수 있다.

셋째, AI 기능이 새로운 공격 표면을 만든다는 점이다. 관련 사례는 프롬프트 인젝션이 브랜드를 위협하는 방식 — 헬프센터가 피싱 도구가 된다에서 다뤘다.