AI API 비용 줄이는 5가지 방법과 토큰 계산
AI API 비용은 요청 수가 아니라 토큰 수로 매겨진다. 같은 작업이라도 프롬프트를 줄이고 모델을 나눠 쓰면 비용이 크게 달라진다. 2026년 들어 저가 모델의 성능이 올라오면서, 모든 작업에 최상위 모델을 쓰는 방식이 가장 비싼 선택이 됐다.
목차
- 비용은 무엇으로 계산되나?
- 1. 모델을 작업별로 나눈다
- 2. 프롬프트에서 불필요한 문맥을 뺀다
- 3. 출력 길이를 제한한다
- 4. 캐싱을 활용한다
- 5. 배치로 묶는다
- 어디부터 손대야 하나?
- 자주 묻는 질문
- 정리
비용은 무엇으로 계산되나?
입력 토큰과 출력 토큰을 따로 센다. 대개 출력이 입력보다 단가가 높다.
토큰은 글자 수가 아니다. 영어는 단어 하나가 1~2토큰, 한국어는 글자 하나가 여러 토큰이 되기도 한다. 같은 내용을 한국어로 보내면 영어보다 토큰이 많이 든다.
| 항목 | 성격 |
|---|---|
| 입력 토큰 | 프롬프트 + 첨부 문서 + 이전 대화 |
| 출력 토큰 | 모델이 생성한 답변 |
| 과금 단위 | 보통 100만 토큰 기준 |
핵심은 이전 대화가 매번 입력에 포함된다는 점이다. 대화가 길어질수록 매 요청의 입력 토큰이 누적으로 늘어난다.
1. 모델을 작업별로 나눈다
가장 효과가 큰 항목이다. 분류나 추출처럼 단순한 작업에 최상위 모델을 쓸 이유가 없다.
작업을 세 등급으로 나누면 정리가 된다.
- 단순 처리 — 분류, 추출, 형식 변환 → 저가 모델
- 일반 생성 — 요약, 초안 작성 → 중간 모델
- 복잡한 추론 — 다단계 판단, 코드 설계 → 상위 모델
세 등급을 섞어 쓰면 전체 비용이 내려간다. 2026년 들어 저가 모델의 성능이 올라오면서 1번 구간이 넓어졌다.
2. 프롬프트에서 불필요한 문맥을 뺀다
첨부 문서 전체를 매번 보내는 것이 가장 흔한 낭비다. 필요한 부분만 잘라 보내면 입력 토큰이 줄어든다.
줄일 수 있는 것은 세 가지다.
- 이전 대화 — 필요한 부분만 요약해 넘긴다
- 첨부 문서 — 관련 구간만 발췌한다
- 반복 지시문 — 매번 같은 규칙을 길게 쓰지 않는다
3. 출력 길이를 제한한다
출력 단가가 입력보다 높으므로 효과가 직접적이다. "3문장 이내", "표로만" 같은 제약을 지시문에 넣는다.
길게 받아 사람이 다시 줄이는 방식은 비용과 시간을 함께 쓴다. 처음부터 필요한 형식으로 받는 편이 낫다.
4. 캐싱을 활용한다
같은 입력을 반복해 보내는 구간이 있다면 캐싱이 적용되는지 확인한다. 제공사에 따라 반복되는 앞부분 입력에 할인이 적용된다.
시스템 프롬프트처럼 매 요청에 동일하게 들어가는 부분이 대상이다. 자주 바뀌는 내용을 앞쪽에 두면 캐시가 깨지므로, 고정 내용을 앞, 변하는 내용을 뒤에 배치한다.
5. 배치로 묶는다
즉시 응답이 필요 없는 작업은 배치 처리로 넘긴다. 제공사에 따라 배치 요청에 낮은 단가가 적용된다.
야간에 도는 정기 작업, 대량 분류, 문서 일괄 요약이 대상이다.
어디부터 손대야 하나?
비용의 어느 부분이 큰지 먼저 본다. 짐작으로 줄이면 효과가 없는 곳을 손대게 된다.
점검 순서는 세 단계다.
- 요청별 토큰 사용량 확인 — 입력과 출력 중 어느 쪽이 큰지
- 가장 비싼 작업 식별 — 호출 횟수 × 평균 토큰
- 그 작업부터 모델·길이 조정
입력이 크면 문맥을 줄이고, 출력이 크면 길이를 제한한다. 둘 다 크면 모델부터 나눈다.
지시문을 다듬는 방법은 AI 프롬프트 구체화 4단계 작성법과 재사용 템플릿에 정리했다. 도구 선택 기준은 AI 도구 고르는 기준 5가지 실전 체크리스트에서 다뤘다.
워크플로우로 엮으면 반복 호출이 늘어난다. 구조는 AI 업무 자동화 워크플로우 4단계 만드는 법을 참고한다.
모델별 단가는 OpenAI 공식 문서 같은 제공사 자료에서 확인한다.
자주 묻는 질문
한국어가 영어보다 비싼가?
같은 내용이라도 한국어가 토큰을 더 쓰는 경우가 많다. 다만 번역 단계를 추가하면 그 자체로 호출이 늘어나므로 전체 비용을 함께 봐야 한다.
저가 모델은 품질이 많이 떨어지나?
작업에 따라 다르다. 분류나 추출처럼 정답 범위가 좁은 작업은 차이가 작고, 다단계 추론에서는 차이가 크다.
캐싱은 자동으로 되나?
제공사와 조건에 따라 다르다. 적용 요건과 할인율은 공식 문서에서 확인해야 한다.
무료 사용량만으로 충분한가?
개인이 가끔 쓰는 수준이면 충분한 경우가 많다. 자동화로 반복 호출이 생기면 유료 구간에 들어간다.
정리
- 과금 단위는 요청 수가 아니라 입력·출력 토큰
- 모델을 작업별로 나누는 것이 효과가 가장 크다
- 이전 대화가 매번 입력에 포함되므로 문맥을 잘라낸다
- 출력 길이 제한은 단가가 높은 쪽을 직접 줄인다
- 고정 내용은 앞, 변하는 내용은 뒤에 둬야 캐시가 산다
다음 행동은 요청별 토큰 사용량을 확인하는 것이다. 입력이 큰지 출력이 큰지에 따라 손댈 곳이 갈린다.
글쓴이 션잇 · IT 전문가. 업무 자동화와 AI 도구를 다룬다
댓글