성능은 비슷한데 청구서가 300배 차이 난다 — 오픈웨이트 모델을 나눠 쓰는 법

같은 일을 서로 다른 AI 모델에 시켰다. 문서를 요약하고, 코드를 고치고, 메일 초안을 잡는 일이었다. 결과물은 눈에 띄게 다르지 않았는데 청구서가 달랐다. 한쪽은 50달러, 다른 쪽은 14센트. 300배다.

이 이야기를 꺼내면 열에 아홉은 되묻는다. "싼 게 비지떡 아니냐." 합리적인 의심이다. 결론부터 말하면 300배를 아끼는 게 늘 이득은 아니다. 다만 어떤 일에는 확실히 이득이다. 그 경계선이 이 글의 전부다.

'무료'는 어디까지 무료인가

오픈웨이트(open-weight)는 모델의 가중치를 공개한 것을 말한다. 가중치는 모델이 학습으로 얻어낸 숫자 뭉치다. 요리로 치면 레시피가 아니라 완성된 육수다. 비법 노트를 받은 게 아니라 결과물을 받은 것이다.

여기서 중요한 게 있다. 육수를 공짜로 받았다고 요리가 공짜가 되진 않는다. 불도 때야 하고 주방도 있어야 한다. 모델을 돌릴 컴퓨터 값은 여전히 든다. 14센트는 그 불값이다. 모델값이 0원인 것이지 운영이 0원인 게 아니다.

메타의 라마가 이 흐름을 열었고, 딥시크와 알리바바 큐원이 뒤를 이었다. 국내에서도 경량화 모델로 기업 도입 비용을 낮추려는 시도가 나오고 있다.

숫자로 보면 더 분명하다

공개 가격 집계 기준이다.

• 오픈웨이트 모델 중간 가격: 100만 토큰당 0.53달러
• 폐쇄형 모델 중간 가격: 100만 토큰당 2.63달러

개별로 내려가면 격차는 더 벌어진다.

• 라마 4 스카우트: 입력 100만 토큰당 0.18달러
• 클로드 소네트 4.6: 입력 100만 토큰당 3달러

입력 기준 16배, 출력 기준 25배 차이다.

그럼 왜 아직 유료를 쓰나

세 가지가 다르다. 이건 인정하고 가야 한다.

첫째, 어려운 문제에서 갈린다. 쉬운 일은 비슷하다. 요약, 번역, 형식 맞추기는 차이를 느끼기 어렵다. 여러 단계를 거쳐야 답이 나오는 문제, 중간에 판단이 끼는 문제에서 벌어진다.

둘째, 손이 덜 간다. 유료는 열면 바로 쓴다. 오픈웨이트는 깔고, 맞추고, 손봐야 한다. 내 시간이 시간당 얼마인지 계산해 보면 그 설치 시간이 300배 절감을 다 까먹을 수도 있다.

셋째, 책임질 곳이 있다. 문제가 생겼을 때 전화 걸 데가 있느냐 없느냐. 회사 데이터가 걸린 일에서는 이게 가격보다 크다.

오픈웨이트가 모든 업무에서 대등하다는 말은 사실이 아니다. 어려운 추론, 도구를 여러 개 물려 쓰는 작업, 최상급 코딩에서는 아직 밀린다. 업계 분석도 성능 격차가 좁혀졌다고 할 뿐 사라졌다고 하진 않는다. 대략 12~16개월 정도로 본다.

그런데 그 셋이 다 필요한 일은 적다

회사에서 하루에 도는 일을 종이에 적어 보면 금방 보인다. 대부분은 정해진 걸 반복하는 일이다.

• 메일 초안 잡기
• 회의록 정리
• 상품 설명 문구 다듬기
• 문서에서 숫자만 뽑아내기
• 고객 문의 1차 분류

이런 일에 최고 성능이 필요한가. 필요 없다. 그런데 이런 일이 양이 제일 많다. 어려운 일은 하루에 몇 건이지만 쉬운 일은 하루에 수백 건이다. 비용은 건수에 곱해진다. 300배가 무서운 게 아니라 300배 곱하기 수백 건이 무섭다.

그래서 답은 둘 중 하나를 고르는 게 아니라 나누는 것이다. 양 많고 쉬운 일은 싼 쪽으로, 드물고 어려운 일은 비싼 쪽으로.

계산해 보면 체감이 온다

하루 300건짜리 반복 업무가 있다고 하자. 건당 토큰이 얼마 안 되더라도 한 달이면 9,000건이다. 여기에 16배를 곱하면 월 몇십만 원이 몇만 원으로 내려간다.

반대로 하루 다섯 건짜리 어려운 판단은 비싼 쪽으로 다 돌려도 월 몇만 원이다. 비싼 걸 아끼려다 정작 아껴야 할 데를 놓치는 구조가 여기서 나온다.

그리고 이건 둘 중 하나를 버리는 결정이 아니다. 업무마다 다른 도구를 붙이는 것뿐이다. 문서 하나 만들 때도 워드로 쓰다 숫자는 엑셀로 넘기지 않나. 그것과 같다.

데이터가 밖으로 안 나간다

값보다 중요할 수 있는 게 하나 더 있다. 오픈웨이트는 내 컴퓨터에서 돌릴 수 있다. 회사 문서가 밖으로 안 나간다는 뜻이다. 계약서, 인사 자료, 미공개 실적. 이런 걸 남의 서버에 올리는 게 내내 꺼림칙했다면 이쪽은 그 걱정이 구조적으로 없다. 안 올리니까.

그런데 여기에도 뒤집기가 있다. 내 컴퓨터에서 돌린다는 건 보안을 내가 책임진다는 뜻이기도 하다. 남의 서버가 안전하지 않다고 느꼈다면 내 서버는 정말 더 안전한지 물어야 한다. 관리할 사람이 없으면 오히려 더 위험하다.

막는 것까지는 쉽다. 문제는 대안을 안 주면 직원들이 결국 개인 계정으로 쓴다는 것이다. 그게 더 위험하다. 회사가 통제할 수 없는 곳으로 자료가 나가는데 기록조차 안 남는다.

사내 직접 구축이 대안으로 거론되는 이유가 여기 있다. 다만 이것도 공짜가 아니다. 장비를 사야 하고, 돌볼 사람이 있어야 하고, 모델이 바뀔 때마다 다시 손봐야 한다. 규모가 작으면 배보다 배꼽이 크다.

판단 기준은 하나다. 지금 남의 서버로 나가고 있는 문서 중에, 나가면 안 되는 게 실제로 있는가. 있으면 그 일부터 안으로 들이면 되고, 없으면 굳이 서두를 이유가 없다.

오늘 당장 해 볼 수 있는 것

거창하게 시작하지 말고 이 순서로 하면 된다.

1. 지난달 청구서를 열어 어디에 돈이 제일 많이 나갔는지 본다. 대개 한두 가지가 대부분을 먹고 있다.
2. 그 한두 가지가 정말 어려운 일인지 본다. 어렵지 않은데 양만 많다면 그게 옮길 후보다.
3. 그 일 하나만 싼 쪽으로 옮겨 일주일 돌린다. 전부 옮기지 말고 하나만. 결과가 나빠지면 되돌리면 된다.
4. 일주일 뒤 두 가지를 비교한다. 값이 얼마나 줄었나, 그리고 사람 손이 얼마나 더 갔나. 두 번째를 빼먹으면 계산이 틀린다.

"직접 서버까지 깔아야 하느냐"는 질문이 나온다. 첫 단계에서는 그럴 필요가 없다. 오픈웨이트를 대신 돌려주고 쓴 만큼만 받는 서비스가 이미 여럿이다. 기존에 쓰던 것과 연동 방식이 거의 같아서 주소 하나 바꾸는 수준으로 시작할 수 있다.

장비를 들이는 건 그다음 문제다. 옮겨 본 결과가 쓸 만하고, 양이 충분히 많고, 데이터를 밖에 안 내보내야 할 이유가 생겼을 때. 순서를 거꾸로 하면 장비만 사놓고 안 쓰게 된다.

싼 걸 쓰자는 얘기가 아니다

핵심은 값을 깎자는 게 아니라 값을 아는 채로 쓰자는 것이다. 지금까지는 선택지가 하나뿐이라 비교할 것도 없었다. 이제는 300배 차이 나는 선택지가 나란히 있다. 그런데도 전부 비싼 쪽으로 돌리고 있다면, 그건 성능 판단이 아니라 한 번도 나눠 본 적이 없어서일 가능성이 크다.

나눠 보는 데 드는 건 일주일이다.

덧붙이면 이 격차가 영원하지도 않다. 폐쇄형도 값을 내리고 있고 오픈웨이트도 성능을 올리고 있다. 지금 내린 결론이 반년 뒤에도 맞으리란 보장은 없다. 한 번 정하고 끝낼 게 아니라 분기에 한 번씩 다시 재는 것이 맞다.

함께 볼 것

AI 비용은 계약과 약정 구조까지 봐야 전체 그림이 보인다. 메타의 실제 AI 비용 중 상당 부분이 장부 밖 미반영 약정에 있다는 분석은 플랫폼 단가가 어떻게 형성되는지를 보여 준다. 그리고 저렴한 모델로 옮길 때 반드시 따라와야 하는 것이 검증 절차다. 작업 결과가 '됐다'는 것을 증명 가능하게 만드는 방법이 그 틀을 제공한다.

정리

어디까지 싼 쪽으로 옮길지는 각자의 판단이다. 다만 판단하려면 숫자를 먼저 봐야 한다. 지난달 청구서를 여는 것이 시작이다.