데이터센터가 'AI 토큰 공장'으로 진화했다

엔비디아(NVIDIA)가 기업들의 인공지능(AI) 인프라 비용 평가 방식을 근본적으로 바꿔야 한다고 주장했다. 엔비디아 공식 블로그를 통해 제시된 이 주장의 핵심은 단 하나다. 토큰당 비용(cost per token) 이 AI 인프라의 총소유비용(TCO, Total Cost of Ownership)을 따지는 유일하게 의미 있는 지표라는 것이다.

엔비디아는 전통적인 데이터센터가 단순히 데이터를 저장하고 처리하던 시설에서, 생성형 AI와 에이전틱(agentic) AI 시대를 맞아 '지능을 토큰 형태로 제조하는 공장'으로 전환됐다고 설명했다. AI 추론(inference)이 데이터센터의 핵심 워크로드가 된 지금, 인프라 경제성 평가 기준 역시 같은 방향으로 전환되어야 한다는 논리다.

기업들이 여전히 틀린 지표를 보고 있다

AI 인프라를 평가할 때 기업들이 흔히 참조하는 지표는 크게 세 가지다.

• 컴퓨팅 비용(compute cost): 클라우드에서 임차하거나 온프레미스로 소유한 AI 인프라에 지불하는 비용
• FLOPS/달러(FLOPS per dollar): 1달러당 확보할 수 있는 원시 연산 능력
• 토큰당 비용(cost per token): 실제로 생성된 토큰 100만 개당 소요되는 총비용

엔비디아는 처음 두 지표를 '입력 지표(input metrics)'로 규정하며 비판한다. 기업의 AI 사업이 실제로 창출하는 가치는 토큰이라는 '출력(output)'에서 나오는데, 입력 최적화에만 집중하는 것은 근본적인 불일치라는 것이다.

'추론의 빙산' — 보이는 것과 실제 비용은 다르다

엔비디아는 이 구조를 '추론 빙산(inference iceberg)'에 비유했다. 토큰 비용 계산식에서 분자(numerator)에 해당하는 GPU 시간당 비용은 수면 위에 드러나 있어 쉽게 비교할 수 있다. 그러나 실제 단가를 결정하는 것은 수면 아래에 숨어 있는 분모(denominator), 즉 실제 토큰 처리량이다.

분모를 극대화하면 두 가지 비즈니스 효과가 동시에 발생한다.

1. 토큰 비용 최소화: 단위 시간당 토큰 처리량이 늘면 토큰당 비용이 내려가고, 모든 AI 상호작용에서 수익 마진이 높아진다.
2. 수익 극대화: 메가와트당 더 많은 토큰을 생성한다는 것은 동일한 인프라 투자에서 더 많은 AI 기반 서비스를 제공할 수 있다는 의미다.

진짜 질문은 무엇인가 — 표면과 심층 비교

실질 토큰 비용을 낮추는 기술 요소들

엔비디아가 제시한 심층 분석 항목들은 현재 대규모 AI 추론 환경에서 실제 성능을 좌우하는 요소들이다.

MoE(Mixture-of-Experts) 모델 대응: 현재 가장 널리 배포되는 AI 모델 유형인 MoE 추론 모델은 'all-to-all' 통신 패턴을 생성한다. 이를 소화하지 못하는 스케일업 인터커넥트는 병목이 된다.

FP4 정밀도 지원: 낮은 정밀도 포맷인 FP4는 메모리 사용량과 연산 비용을 줄이지만, 정확도 손실 없이 이를 활용할 수 있는 추론 스택이 필요하다.

투기적 디코딩(speculative decoding) 및 다중 토큰 예측(multi-token prediction): 사용자 응답성을 높이는 핵심 최적화 기법이다.

서빙 레이어 최적화: 분리형 서빙(disaggregated serving), KV-인식 라우팅(KV-aware routing), KV-캐시 오프로딩(KV-cache offloading) 등이 실질 처리량을 결정한다.

에이전틱 AI 워크로드: 단순 쿼리-응답을 넘어선 복잡한 에이전트 작업의 고유한 요구사항을 플랫폼이 처리할 수 있는지도 평가 대상이다.

엔비디아는 이 모든 요소를 고려했을 때 자사가 업계 최저 수준의 토큰당 비용을 제공한다고 주장했다.

이 흐름은 언제부터? — 추론 경제학의 역사적 맥락

AI 인프라 비용 논쟁은 하루아침에 시작된 것이 아니다. 2022년 챗GPT(ChatGPT) 등장 이후 기업들의 AI 채택이 폭발적으로 늘면서, 2023년에는 클라우드 기반 AI API 비용이 주요 관심사로 부상했다. 오픈AI(OpenAI), 앤스로픽(Anthropic), 구글(Google) 등 주요 AI 기업들이 앞다퉈 모델 성능을 높이면서 동시에 API 가격을 인하하는 경쟁이 이어졌다.

2024~2025년에 들어서면서 대규모 언어 모델(LLM, Large Language Model)의 추론 워크로드가 전체 데이터센터 전력 소비의 핵심 항목으로 자리 잡았다. 동시에 MoE 아키텍처와 추론 특화 모델(reasoning model)이 주류가 되며, 단순한 GPU 연산 성능 비교만으로는 실제 비용을 가늠하기 어렵게 됐다.

2026년 현재, '토큰 경제학(token economics)'은 AI 인프라 구매 결정의 핵심 언어로 떠올랐다. 이번 엔비디아의 TCO 재정의 주장은 이 흐름의 연장선에 있으며, 동시에 경쟁사 칩(AMD, 인텔, 커스텀 TPU 등)과의 차별화를 위한 전략적 내러티브이기도 하다.

[전문가 분석] 토큰 경제학이 기업 AI 전략을 재편할 가능성

엔비디아의 이번 주장은 기술 문서인 동시에 시장 프레이밍 전략이다. '토큰당 비용'이라는 지표를 업계 표준으로 정착시킬 경우, 자사의 소프트웨어 생태계(CUDA, TensorRT-LLM, NIM 등)와 하드웨어 최적화가 경쟁 우위로 직결되기 때문이다.

기업 AI 인프라 담당자 입장에서는 이 프레임이 설득력이 있다. 클라우드 청구서의 GPU 비용이 아니라, 실제로 고객에게 제공하는 AI 응답 1백만 건당 비용을 기준으로 인프라를 선택하는 것이 비즈니스 수익성과 직결되기 때문이다.

다만 이 지표는 벤더 중립적인 방식으로 측정하기 어렵다는 한계가 있다. 특정 모델, 특정 워크로드, 특정 배치 설정에 따라 토큰당 비용은 크게 달라질 수 있다. 기업들이 실제 구매 결정에 이 지표를 활용하려면, 자사의 실제 워크로드를 기반으로 한 독립적인 벤치마크를 요구할 가능성이 높다.

장기적으로 AI 인프라 시장은 '하드웨어 스펙 경쟁'에서 '소프트웨어 최적화 경쟁'으로 무게 중심이 이동할 가능성이 높다. 동일한 하드웨어에서도 추론 스택의 품질에 따라 토큰 처리량이 수배 차이날 수 있기 때문이다. 이는 엔비디아뿐 아니라 AI 소프트웨어 생태계 전반의 경쟁 지형을 바꿀 수 있는 구조적 변화다.