오늘은 AI 서비스를 기획할 때 절대 놓쳐서는 안 되는 LLM 토큰 비용 최적화와 이를 위한 UX 설계에 대해 이야기해볼게. 많은 주니어 기획자들이 "비용은 개발자가 알아서 최적화하겠지"라고 생각하곤 하는데, 사실 토큰을 가장 많이 아낄 수 있는 열쇠는 화면을 설계하는 우리 기획자들의 UX 설계에 달려있거든. 7년 동안 기획자로 일하면서 뼈저리게 느낀 실무 팁들을 오늘 아낌없이 풀어볼 테니 집중해서 읽어봐.
1. 입력 단계부터 토큰 폭탄 막기: 글자 수 제한과 플레이스홀더
사용자가 AI에게 보내는 입력값(Input Token)은 그대로 비용이 돼. 아무런 제한 없이 넓은 텍스트 영역을 주면, 사용자는 수만 자의 텍스트를 복사해서 붙여넣기 일쑤거든.
이걸 막으려면 UX 차원에서 글자 수 제한을 명확히 걸어두어야 해. 예를 들어, 자소서 분석 AI라면 최대 1,000자 내외로 작성해주세요라는 가이드와 함께 실시간 글자 수 카운터를 보여주는 거지. 또한, 플레이스홀더(Placeholder)를 활용해 구체적이고 명확한 질문 템플릿을 예시로 제공하면 사용자가 불필요한 미사여구를 줄이고 핵심만 입력하도록 유도할 수 있어. 입력값이 정제될수록 우리가 지불해야 할 Input Token 비용은 극적으로 줄어들게 된단다.
2. 프롬프트 캐싱을 고려한 UI 시나리오 설계
최근 OpenAI나 Anthropic 같은 API 제공사들은 이전에 보낸 프롬프트와 동일한 맥락을 재사용할 때 비용을 크게 깎아주는 Prompt Caching(프롬프트 캐싱) 기능을 제공하고 있어. 이를 UX에 영리하게 녹여내야 해.
예를 들어, 사용자가 한 대화방 안에서 계속해서 질문을 이어가는 시나리오를 설계할 때, 매번 완전히 새로운 세션을 시작하게 만들기보다 기존 대화의 맥락을 유지하는 UI를 제공하는 것이 유리해. 다만, 무한정 이전 대화를 다 보내면 비용이 감당 안 되니까 최근 대화 5개만 기억하기 같은 규칙을 UX 정책서에 명시해 두는 거지. 캐싱을 잘 활용하면 토큰 비용을 최대 30~40%까지 아낄 수 있으니 기획 단계에서 반드시 개발팀과 이 캐싱 시나리오를 논의해봐.
3. 기능별 모델 라우팅을 위한 UX 세분화
모든 AI 기능에 가장 비싼 GPT-4o나 Claude 3.5 Sonnet을 쓸 필요는 없어. 단순 요약이나 맞춤법 검사 같은 가벼운 작업은 훨씬 저렴한 소형 언어 모델(SLM)이나 이전 세대 모델로도 충분히 처리할 수 있거든.
기획자는 서비스의 기능을 단순 작업과 고난도 추론 작업으로 명확히 구분해 줘야 해. 예를 들어, '제목 추천받기'는 가벼운 모델로 빠르게 처리하고, '전체 보고서 심층 분석'은 고성능 모델로 처리하도록 화면 흐름을 나누는 거지. 사용자는 인지하지 못하지만, 뒤에서는 기획자가 설계한 UX 흐름에 따라 **모델 라우팅(Routing)**이 일어나며 비용이 최적화되는 구조를 만드는 게 진짜 시니어의 기획력이야.
💡 핵심 정리
- 입력 제어: 글자 수 제한과 구체적인 플레이스홀더로 무분별한
Input Token낭비 막기- 프롬프트 캐싱: 대화 맥락을 유지하는 UX 시나리오를 설계해 캐싱 할인 혜택 극대화하기
- 모델 라우팅: 기능의 복잡도에 따라 UX 단에서 가벼운 모델과 무거운 모델의 호출 흐름 분리하기 결국 좋은 AI 서비스 기획자는 단순히 "화면을 예쁘게 그리는 사람"이 아니라, 비즈니스의 지속 가능성 즉 적정 비용을 고민하는 사람이야. 오늘 알려준 UX 장치들을 다음 기획서에 슬쩍 녹여내 봐. 개발팀에서 너를 보는 눈빛이 완전히 달라질 테니까 말이야. 궁금한 점이 있다면 언제든 댓글 남겨줘!