요약
학습(training)이 헤드라인을 만들지만, 돈은 추론(inference)에서 돕니다. AI 컴퓨트 지출에서 추론의 비중은 2023년 3분의 1에서 2025년 절반, 2026년 3분의 2로 늘었고, Bloomberg Intelligence는 2032년 추론 시장이 1.3조 달러로 학습 시장의 2배가 될 것으로 전망합니다. 학습이 일회성 자본 지출이라면 추론은 반복되는 운영 지출 — 즉 경상 수익입니다. 이 보고서는 추론 시장의 계층 구조, 전용 칩 도전자들의 실체, 그리고 추론 비용이 AI 비즈니스 모델 전체를 규정하는 메커니즘을 분석합니다.
1. 왜 지금 추론인가: 세 가지 수요 폭발
첫째, 추론(reasoning) 모델의 토큰 폭식입니다. 답을 내기 전에 긴 풀이 과정을 거치는 모델들은 같은 질문에 수배~수십 배의 토큰을 소모합니다. 둘째, 에이전트입니다. 하나의 과업을 위해 수십 번의 모델 호출과 도구 사용을 반복하는 에이전트 워크로드는 추론 수요를 곱셈으로 키웁니다. 셋째, 오픈웨이트 모델의 확산입니다. 모델이 무료로 풀릴수록 그것을 실행할 컴퓨트 수요가 커집니다 — 오픈웨이트가 좋아질수록 커지는 것은 모델 시장이 아니라 컴퓨트 시장입니다.
시장 규모 전망은 기관별로 편차가 있으나 방향은 일치합니다: 추론 인프라 시장 2025년 약 1,060억 달러 → 2030년 2,550억 달러(19.2% CAGR), 그리고 2032년 1.3조 달러(BI)까지. 학습 대비 10~50배라는 추정도 있습니다.
2. 시장 계층 구조: 누가 어디서 마진을 가져가나
| 계층 | 주요 플레이어 | 경쟁 포인트 |
|---|---|---|
| 범용 GPU | NVIDIA (지배적), AMD | 학습·추론 겸용의 유연성, CUDA 생태계, 공급망 장악 |
| 추론 전용 칩 | Cerebras(웨이퍼스케일), Groq(LPU) | 속도(토큰/초)와 단가 — Cerebras는 처리량 3~8배, Groq는 백만 토큰당 단가 우위 (모델별 상이) |
| 하이퍼스케일러 자체 칩 | AWS(Inferentia·Trainium), Google(TPU) | 자사 클라우드 내 가격·공급 통제, NVIDIA 의존도 헤지 |
| 추론 클라우드/API | 하이퍼스케일러, Together·Fireworks 등 전문 사업자 | 오픈웨이트 호스팅, 활용률 극대화, 서빙 최적화(vLLM 등) |
| 서빙 소프트웨어 | vLLM, TensorRT-LLM 등 | 동일 하드웨어에서 토큰당 비용을 가르는 소프트웨어 계층 |
출처: 각사 발표, Spheron 벤치마크(2026.8), Forbes. 성능·단가 비교는 모델과 워크로드에 따라 크게 달라짐.
Cerebras IPO — 추론 베팅의 상징
2026년 최대 IPO 중 하나인 Cerebras는 220~250억 달러로 상장해 약 500억 달러까지 올랐습니다. 2026년 매출 가이던스 8.85억 달러 대비 50배가 넘는 배수 — 시장이 "추론 전용 아키텍처가 NVIDIA 범용 GPU의 마진을 잠식한다"는 시나리오에 지불하는 프리미엄입니다. 기술적 근거는 있습니다. 메모리 이동이 지배하는 추론 워크로드에서 웨이퍼스케일 칩은 Llama 4 Maverick 기준 사용자당 초당 약 2,500토큰으로 NVIDIA DGX B200(약 1,000토큰)을 크게 앞섭니다. 관건은 고객 집중도와 마진의 지속성이며, "Cerebras 대 NVIDIA"가 아니라 "학습 대 추론"의 자본 배분 문제로 읽는 것이 정확합니다.
3. 토큰 경제학: 추론 비용이 비즈니스 모델을 규정한다
단가가 아니라 과업당 총비용(TCO)
토큰 단가가 절반이어도 풀이 토큰을 2배 쓰면 최종 비용은 같습니다. 모델 선택의 기준은 백만 토큰당 가격이 아니라 "과업 하나를 끝내는 데 드는 비용"으로 이동했습니다.
활용률이 곧 마진
GPU는 노는 시간에도 돈을 씁니다. 수많은 고객의 요청으로 GPU를 꽉 채우는 대규모 사업자와, 자체 호스팅으로 고정비를 홀로 부담하는 개별 기업 사이의 단가 격차가 전문 추론 사업자의 사업 공간을 만듭니다.
소프트웨어가 하드웨어 격차를 좁힌다
KV 캐시 압축, 배칭, 스페큘레이티브 디코딩 같은 서빙 최적화는 동일 하드웨어에서 토큰당 비용을 수배 개선합니다. 칩 경쟁의 이면에서 서빙 소프트웨어 계층이 실질적 승부처가 되고 있습니다.
전략적 시사점
도입 기업에게 — 추론 비용은 이제 AI 서비스의 매출원가(COGS)입니다. 워크로드별로 모델 계층화(저비용 모델이 다수 처리, 고성능 모델은 에스컬레이션), 캐싱 전략, API 대 자체 호스팅의 손익분기 계산이 재무 설계의 일부가 되어야 합니다.
산업 관점에서 — 추론은 학습과 달리 지연시간·지역·규제(데이터 주권)에 민감한 분산된 시장이라 단일 승자가 나오기 어렵습니다. NVIDIA의 지배력은 당분간 유지되겠지만, 전용 칩(속도), 하이퍼스케일러 자체 칩(비용 통제), 서빙 소프트웨어(효율)의 세 방향에서 마진 압박이 동시에 진행됩니다. 추론의 단가 하락은 위기가 아니라 — 전기 요금 하락이 전기 사용을 늘렸듯 — 수요 폭발의 조건입니다.