AI API 비용은 왜 예상보다 커질까: 토큰·캐싱·검색비용 계산 실전

반복 프롬프트 캐싱, 외부 검색, 입력·출력 토큰과 검수비를 나눠 AI 자동화의 실제 작업당 비용을 계산하는 방법을 정리합니다.

AI 서비스의 원가는 모델 호출료 한 줄이 아니다

비용을 계산할 때는 입력 토큰, 출력 토큰, 추가 검색·도구 사용량, 저장공간, 실패한 요청의 재시도 비용을 나누는 편이 유용합니다. OpenAI의 파일 검색 설명에는 벡터 저장소 등 별도 구성요소가 등장하고, Google Gemini API의 비용 최적화 안내에는 캐싱과 배치 처리 등 별도 경로가 제시됩니다. 서로 다른 제품의 가격표를 비교할 때 기본 단위부터 맞춰야 합니다. [1] [2]

블로그 글 1편이 얼마인지 계산하려면 글 한 편에 평균 검색 요청 몇 번, 본문 생성을 몇 번, 품질 검수와 수정 생성을 몇 번 수행하는지를 먼저 알아야 합니다. 모델 호출만 한 번이라고 적어도 실제 파이프라인에서는 요약·출처 검증·출력 포맷 정리 등의 여러 단계가 붙을 수 있습니다.

입력과 출력, 캐시 적중률을 따로 볼 것

같은 긴 지시문과 자료를 여러 차례 전달한다면 반복된 입력 내용이 캐시될 수 있습니다. OpenAI의 프롬프트 캐싱 문서와 Google의 컨텍스트 캐싱 문서는 지원 모델과 API에 따라 캐시 조건과 절감 구조가 달라진다고 안내합니다. 따라서 “항상 몇 퍼센트 절감”이라는 일괄 주장은 적절하지 않습니다. [3] [4]

캐시는 같은 내용을 충분히 재사용할 때 유리합니다. 매번 오늘 날짜·개인화 정보가 프롬프트 맨 앞에 들어가면 동일한 접두부를 재활용하기 어려울 수 있습니다. 반면 고정 지침을 앞에 두고 변화하는 자료를 뒤에 놓는 방식은 캐시 활용 가능성을 높이는 설계가 될 수 있습니다. 실제 절감액은 제공자의 과금·유효기간·모델 조건을 확인해야 합니다.

가상의 토큰 비용표로 작업당 원가 계산하기

설명을 위해 1백만 입력 토큰당 2달러, 출력 토큰당 8달러라는 가상 단가를 놓겠습니다. 글 한 편에 입력 15,000토큰, 출력 5,000토큰을 쓰면 단순 호출료는 입력 0.03달러와 출력 0.04달러, 합계 0.07달러입니다. 이 가격과 사용량은 실제 공급자 요금이 아닌 계산을 위한 예시입니다.

여기에 글 한 편당 외부 검색 3회, 검수 호출 2회, 오류 수정 재시도, 사람이 출처를 대조하는 시간이 붙으면 실질 비용은 더 커집니다. 반대로 캐시가 적용된다면 일부 입력 비용을 줄일 수 있습니다. 실제 단가는 사용 시점의 각 공식 가격표와 청구 기록으로 다시 계산해야 합니다. 예상 비용과 실제 청구 비용을 함께 기록하는 것이 중요합니다.

캐싱과 배치 처리를 비교하는 실험

동일한 글 10편을 ① 일반 요청 ② 고정 프롬프트의 캐싱 활용 ③ 제공자가 허용하는 배치 처리 방식으로 각각 시험한다고 가정하겠습니다. 품질을 유지하기 위해 동일한 원고 조건과 같은 검수 규칙을 적용합니다. 각 방법의 총 청구 금액, 글당 처리시간, 재시도 횟수, 출처 누락률을 계산하면 비용 절감이 품질 손실을 동반하는지 확인할 수 있습니다.

배치는 대체로 실시간 응답이 중요하지 않은 작업을 묶어 처리할 때 고려할 수 있는 선택지지만 적용 모델과 처리시간, 할인 조건은 제공자의 최신 안내를 확인해야 합니다. 당일 오전 정시에 기사를 올려야 하는 작업은 배치 지연이 수익이나 품질에 영향을 줄 수도 있습니다. 가격만 보고 배치 처리로 바꾸는 것은 좋은 전략이 아닙니다.

운영자의 최종 비용표에는 품질도 포함된다

한 달의 총원가를 계산할 때 모델 호출료와 호스팅 비용뿐 아니라 잘못된 숫자를 정정하는 시간, 저작권과 출처 확인, 게시 후 수정까지 넣어야 합니다. 특히 광고 수익을 노리는 콘텐츠는 부정확한 정보를 대량 게시하는 것이 사이트의 신뢰도와 검색 품질에 불리할 수 있습니다. Google 검색 센터는 독창적이고 이용자에게 실제 도움이 되는 글을 강조합니다. [5]