저자 주: Menlo Ventures의 2026년 기업 AI 보고서를 바탕으로, Agent가 모델 소비 방식을 ‘사람의 질문’에서 ‘기계의 지속적인 작업 수행’으로 어떻게 바꾸는지 살펴봐요. 이 변화가 API 호출, 동시성, 구매 구조에 미치는 영향도 짚어봅니다.
Menlo Ventures는 2026년 11월 3일 《The State of Enterprise AI》 보고서를 발표했어요. 보고서는 2026년 기업의 AI 지출을 약 1,770억 달러(보고서 원 수치 1,768억 달러)로 추산했는데, 이는 2025년 330억 달러의 약 5.4배예요. 더 눈여겨볼 점은 기업의 실제 지출이 당초 계획보다 평균 약 2.5배 많았다는 거예요.
이 보고서는 단순히 ‘AI 시장이 크다’는 이야기를 반복하지 않아요. 미국 기업 의사결정권자 약 400명을 대상으로 한 조사와 OpenRouter의 토큰 데이터를 바탕으로, 지출 증가의 주요 원인이 ‘더 많은 사람이 AI에 질문하는 것’에서 ‘Agent가 사람을 대신해 지속적으로 일하는 것’으로 바뀌고 있다고 설명해요.
핵심 내용: 기업 AI 지출과 Agent의 주요 데이터를 정리하고, Agent가 토큰 소비와 API 호출 방식을 바꾸는 이유를 설명해요. API 개발자와 구매 담당자가 미리 준비할 사항도 살펴봅니다.

2026년 기업 AI 지출 핵심 정보 한눈에 보기
먼저 데이터를 살펴볼게요. 아래 수치는 모두 Menlo Ventures의 시장 추정치예요. 감사를 거친 기업 지출 총액이나 특정 모델 업체의 매출이 아닙니다.
| 정보 항목 | 내용 |
|---|---|
| 발표 기관 / 시기 | Menlo Ventures, 2026년 11월 3일 |
| 2026년 기업 AI 지출 | 약 1,768억 달러(2025년 330억 달러의 약 5.4배) |
| 지출 구성 | AI 인프라 약 995억 달러, AI 애플리케이션 약 773억 달러 |
| 사용 vs 구축 | AI 사용 지출은 모델 구축 지출(1,025억 달러)의 약 1.7배 |
| 기업 API 지출 점유율 | Anthropic 55%, OpenAI 31%, Google 9%, 오픈소스 모델 4% |
| 에이전트 토큰 비중 | OpenRouter 전체 토큰 소비량의 약 80% |
| 조사 방법 | 미국 기업 의사결정자 약 400명을 대상으로 2026년 9월 8~26일 조사 |
‘AI 사용 지출이 모델 구축 지출을 넘어섰다’는 것은 전환점이 될 만한 신호예요. 그동안 AI 산업을 논할 때는 학습과 컴퓨팅 자원에 초점이 맞춰져 있었어요. 이제는 기업이 모델로 업무를 수행하기 위해 지불하는 서비스 비용이 더 큰 비중을 차지해요. 다만 여기서 ‘사용 지출’에는 인프라, 애플리케이션 구독, API 등 여러 항목이 포함되므로 API 시장 매출로 바로 간주할 수는 없어요.
같은 시기인 11월 4일, OpenAI의 사장 Greg Brockman은 WSJ 기술 콘퍼런스에서 OpenAI 매출의 절반 이상이 기업 사업에서 발생한다고 밝혔어요. 이는 OpenAI 자체의 매출 구조를 나타내는 수치예요. Menlo가 집계한 ‘기업 API 지출에서 OpenAI가 차지하는 비중 31%’와는 기준이 다르므로 혼동해서 비교하면 안 돼요.
기업 AI 지출이 예산을 크게 초과한 이유: 사용자 수보다 사용 깊이가 중요해요
기업 AI 지출의 예산 오차
보고서에서 가장 의외인 데이터는 예산 오차예요. 기업들은 연초에 AI 지출이 늘어나는 속도를 대체로 과소평가했어요.
| 지표 | 기존 계획(전년 대비) | 실제(전년 대비) |
|---|---|---|
| 평균 AI 지출 | 1.9배 | 4.7배 |
| AI 지출 중앙값 | 1.8배 | 2.2배 |
| 기업 AI 도입률 | — | 55% → 65% |
평균이 중앙값의 두 배 이상이라는 것은 AI를 집중적으로 사용하는 일부 기업이 전체 지출을 끌어올렸다는 뜻이에요. 도입률은 10%포인트 상승하는 데 그쳤지만, 기업당 평균 지출은 전년의 5배에 가까워졌어요. 더 많은 기업이 AI를 도입한 것보다 이미 사용하던 기업이 더 깊이 활용한 것이 지출 증가의 주요 원인인 셈이에요.
기업 AI 지출을 위한 새 예산이 생기고 있어요
Menlo의 추정에 따르면 늘어난 AI 지출의 약 55%는 신규 예산에서, 약 22%는 기존 소프트웨어 예산에서 나왔어요. AI가 기존 SaaS를 대체할 뿐 아니라 이전에는 없던 구매 항목도 만들어내고 있는 거예요. 구매 담당자에게 AI는 이제 ‘IT 도구 비용’에서 분리해 별도로 관리해야 하는 운영 비용이 됐어요.
Agent는 API 사용 방식을 어떻게 바꾸나: 질문에서 실행으로
챗봇과 Agent의 호출 방식 차이
예산이 통제 범위를 벗어난 직접적인 원인은 호출 방식의 변화예요. 일반 챗봇은 기본적으로 “한 번 묻고 한 번 답하는” 방식이에요. 사용자가 메시지를 보내면 모델이 한 번 응답하므로, Token 소비량은 대체로 질문 횟수에 비례해요. 반면 Agent는 “목표 설정, 작업 분할, 도구 호출, 결과 확인, 반복” 순서로 작동해요. 하나의 작업에 수십 번의 모델 호출이 필요할 수도 있어요.
| 구분 | 챗봇 | AI Agent |
|---|---|---|
| 실행 방식 | 사람이 직접 질문 | 목표 중심, 일정 또는 이벤트로 실행 가능 |
| 작업당 호출 횟수 | 보통 1회 | 계획, 실행, 검증을 여러 차례 반복 |
| 동시 실행 특성 | 접속자 수에 비례 | 여러 하위 작업과 Agent가 병렬 실행 |
| 컨텍스트 | 대화 기록 | 문서, 코드베이스, 도구 반환 결과 |
| 실행 시간 | 사용자가 떠나면 중단 | 백그라운드에서 계속 실행 가능 |
| 소비량 결정 요인 | 사용자 수 × 질문 빈도 | 작업량 × 병렬 실행 정도 × 실행 시간 |

📊 그림 설명: 오른쪽의 멀티 모델 Agent 흐름에서는 계획, 실행, 검증 단계마다 다른 모델을 사용할 수 있어요. 이 호출 구조를 직접 확인하고 싶다면 APIYI apiyi.com에서 하나의 Key로 여러 회사의 모델을 전환하며 비교할 수 있어요.
Token 소비량은 작업 실행량에 따라 달라져요
Menlo가 OpenRouter 데이터를 분석한 결과, Agent는 이미 이 플랫폼의 전체 Token 소비량 중 약 80%를 차지하며 매주 약 130.9조 Token을 사용해요. 2026년 2월 Agent 트래픽이 사람 주도의 트래픽을 넘어선 이후, Agent 트래픽은 약 37배 증가했어요. 같은 기간 사람 주도의 트래픽은 약 5배 증가하는 데 그쳤어요.
OpenRouter의 사용자는 주로 개발자와 스타트업이므로 이 데이터가 업계 전체를 대표할 수는 없어요. 하지만 다른 지표와도 추세가 일치해요. OpenAI의 2025년 기업 보고서에 따르면 기업 API의 조직당 평균 추론 Token 소비량은 전년 대비 약 320배 증가했어요. Axios의 Codex 관련 보도에서도 사용자 중 60% 이상이 하루 중 특정 시간대에 여러 작업을 동시에 실행한다고 언급했어요. 이 데이터는 Token 소비가 “사람을 따라가는” 방식에서 “작업을 따라가는” 방식으로 바뀌고 있음을 보여줘요.
기업 AI 지출의 향방: 코딩과 기업용 챗봇이 앞서가는 이유
AI 애플리케이션 시장의 자금 분포
약 773억 달러 규모의 AI 애플리케이션 시장에서 자금은 일부 분야에 집중되어 있어요.
| 애플리케이션 분야 | 2026년 추정 규모 | 전년 대비 변화 |
|---|---|---|
| AI 코딩 애플리케이션 | 340억 달러 | 약 7.7배 |
| 기업용 AI 챗봇 | 250억 달러 | 약 3배 |
| 의료 AI 애플리케이션 | 37억 달러 | — |
| 코딩 + 챗봇 합계 비중 | 약 76% | — |
코딩 분야의 집중도는 더 높아요. Menlo의 추정에 따르면 Claude Code와 Codex의 시장 규모는 합쳐서 약 240억 달러로, 코딩 애플리케이션 시장의 약 70%에 달해요. 코딩 분야에서 Agent 방식이 가장 먼저 자리 잡은 데에는 다음 세 가지 조건이 직접적인 영향을 미쳤어요.
Agent가 성공적으로 활용되기 위한 세 가지 조건
- 실제 작업을 수행할 수 있는 환경: Agent는 GitHub, 이메일, 캘린더, Slack, 기업 문서와 데이터베이스에 접근할 수 있어야 해요. 추론 능력만 있고 도구가 없다면 실제 업무를 완수할 수 없어요.
- 완전한 작업 맥락: 사용자의 질문뿐 아니라 기업 규정, 업무 프로세스, 프로젝트 이력, 작업 제약과 성공 기준도 필요해요.
- 검증할 수 있는 결과: 컴파일러로 코드가 빌드되는지 확인하고, 테스트로 기능이 정상적으로 작동하는지 판단할 수 있어요. 이것이 코딩 Agent가 앞서가는 핵심 이유예요. 반면 조사나 검색 작업의 결과는 객관적으로 검증하기가 더 어려워요.
세 번째 조건은 Agent의 비용 위험도 설명해 줘요. 결과를 검증하기 어려운 분야에서는 Agent가 대량의 토큰을 소비하고도 잘못된 결론을 내놓을 수 있어요. Axios는 스탠퍼드대 교수 Andrew Hall이 Claude Code로 오래된 논문을 업데이트한 사례를 보도했는데, 이후 사람이 검토한 결과 데이터 수집과 코드 처리 모두에서 오류가 발견됐어요.
Agent가 API 소비 시장에 미치는 영향 분석
API 개발자에게 미치는 영향
- 비용 모델을 다시 계산해야 해요: 더 이상 ‘사용자 수 × 단가’로 API 예산을 추정하기는 어려워요. 대신 ‘작업 수 × 평균 호출 횟수 × 컨텍스트 길이’를 기준으로 계산해야 해요.
- 예산 안전장치가 필요해요: 백그라운드에서 계속 실행되는 Agent에는 작업별 Token 상한, 최대 반복 횟수, 실패 시 중단 조건을 설정해야 해요. 그렇지 않으면 기업 예산 지출이 1.9배에서 4.7배로 늘어나는 상황이 발생할 수 있어요.
- 여러 모델을 조합하는 방식이 보편화돼요: 계획에는 성능이 뛰어난 모델을, 대량 실행에는 저렴한 모델을 사용하고, 검증에는 다른 회사의 모델로 교차 확인하면 작업당 비용을 크게 낮출 수 있어요.
API 서비스 제공업체에 미치는 영향
Agent가 가져온 수요 변화는 다섯 가지로 나눌 수 있어요. 각각의 변화에 대응하려면 서비스 제공업체에도 다음과 같은 역량이 필요해요.
| 수요 변화 | 발생 원인 | 서비스 제공업체에 필요한 역량 |
|---|---|---|
| 호출 빈도 증가 | 작업 하나에 여러 차례 호출 필요 | 낮은 지연 시간, 실패 시 재시도 |
| 병렬 호출 증가 | 여러 Agent가 하위 작업을 동시에 처리 | 동시 처리 능력, 호출 제한 정책 |
| 컨텍스트 사용량 증가 | 문서와 도구 반환 결과를 함께 전달 | 긴 컨텍스트 지원, 캐시 과금 |
| 지속 실행 증가 | 사용자가 자리를 떠난 뒤에도 작업 계속 | 안정적인 호출, 사용량 모니터링 |
| 모델 조합 증가 | 계획, 실행, 검증 역할 분담 | 여러 모델의 통합 연동 및 전환 |
💡 선택 팁: Agent 워크플로에서 여러 회사의 모델을 조합해야 한다면, 먼저 APIYI apiyi.com의 OpenAI 호환 인터페이스로 프로토타입을 실행해 볼 수 있어요. 사용량에 따라 과금되므로 각 단계의 실제 비용을 파악하기 편해요.
냉정하게 보기: 기업의 AI 지출이 곧 API 매출은 아니에요
‘Agent가 많아질수록 API 서비스 제공업체의 매출도 반드시 늘어난다’는 추론은 성립하지 않아요. 이유는 세 가지예요.
- 1,768억 달러 중 상당 부분은 API 호출 비용이 아닌 인프라와 애플리케이션 구독 비용이에요.
- 가격이 계속 하락하고 있어요. 오픈소스 모델의 Token 사용 비중은 19%까지 올랐지만, 지출 비중은 약 4%에 불과해요. Token 사용량이 늘어도 매출이 같은 비율로 증가하지는 않는다는 뜻이에요.
- 캐싱, 일괄 처리, 모델 라우팅은 단위 비용을 낮춰요. 결국 경쟁의 핵심은 Token 판매량뿐 아니라 안정성과 작업 성공률이에요.

API로 멀티모델 에이전트 워크플로 구축하기
최소 예제
다음 코드는 에이전트의 가장 기본적인 ‘계획 → 실행’ 두 단계 호출을 보여줘요. 모델 이름은 플랫폼 콘솔에서 사용할 수 있는 모델로 바꿔주세요.
from openai import OpenAI
client = OpenAI(api_key="YOUR_API_KEY", base_url="https://api.apiyi.com/v1")
plan = client.chat.completions.create(
model="YOUR_PLANNER_MODEL",
messages=[{"role": "user", "content": "把“整理本周销售周报”拆成 3 个步骤"}]
).choices[0].message.content
result = client.chat.completions.create(
model="YOUR_EXECUTOR_MODEL",
messages=[{"role": "user", "content": f"按以下步骤执行并输出结果:\n{plan}"}]
)
print(result.choices[0].message.content, result.usage.total_tokens)
전체 구현 코드 보기(검증, 재시도, 토큰 예산 포함)
import time
from openai import OpenAI
client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.apiyi.com/v1",
)
MODELS = {
"planner": "YOUR_PLANNER_MODEL", # 추론 능력이 뛰어난 모델로 작업 분해 담당
"executor": "YOUR_EXECUTOR_MODEL", # 저렴한 모델로 대량 실행 담당
"checker": "YOUR_CHECKER_MODEL", # 다른 회사의 모델로 교차 검증
}
TOKEN_BUDGET = 50_000 # 작업당 토큰 상한
MAX_ROUNDS = 3 # 최대 반복 횟수
used_tokens = 0
def call(role: str, prompt: str, retries: int = 3) -> str:
global used_tokens
if used_tokens >= TOKEN_BUDGET:
raise RuntimeError("超出单任务 Token 预算,熔断")
for i in range(retries):
try:
resp = client.chat.completions.create(
model=MODELS[role],
messages=[{"role": "user", "content": prompt}],
)
used_tokens += resp.usage.total_tokens
return resp.choices[0].message.content
except Exception as e:
time.sleep(2 ** i) # 지수 백오프
last_err = e
raise last_err
def run_agent(goal: str) -> str:
plan = call("planner", f"将目标拆成可执行步骤:{goal}")
output = call("executor", f"按步骤执行:\n{plan}")
for _ in range(MAX_ROUNDS):
verdict = call("checker", f"检查结果是否满足目标“{goal}”,"
f"合格只回复 PASS,否则指出问题:\n{output}")
if verdict.strip().startswith("PASS"):
break
output = call("executor", f"根据反馈修正:\n{verdict}\n原结果:\n{output}")
print(f"本任务共消耗 Token:{used_tokens}")
return output
print(run_agent("整理本周销售数据并写一份 300 字摘要"))
이 코드는 앞서 살펴본 핵심 사항을 보여줘요. 작업 하나에 최소 3번 호출하고, 세 역할에 서로 다른 모델을 사용하며, 토큰 예산과 반복 횟수 상한으로 비용이 과도하게 늘어나는 것을 방지해요.
🚀 빠른 시작: 먼저 APIYI apiyi.com에서 무료 테스트 크레딧을 받아 세 역할에 각각 다른 모델을 적용해 보세요.
usage데이터를 기록한 뒤 운영 환경에 사용할 모델 조합을 결정하면 돼요.
자주 묻는 질문 FAQ
Q1: 2026년 기업 AI 지출 1,770억 달러는 어떤 기준으로 산정한 수치인가요?
Menlo Ventures가 2026년 기업의 AI 사용 지출을 상향식으로 추정한 수치예요. 원래 추정치는 1,768억 달러로, 인프라 약 995억 달러와 애플리케이션 약 773억 달러를 포함해요. 감사된 실제 지급 총액이나 API 시장 매출이 아닌 시장 추정치예요.
Q2: 기업의 AI 사용 지출과 모델 개발 지출은 어떻게 다른가요?
모델 개발 지출은 모델을 구축하고 학습하는 데 드는 비용으로, Menlo는 약 1,025억 달러로 추정해요. 사용 지출은 기업이 업무 수행을 위해 AI 서비스를 구매하는 비용이에요. 개발 지출은 사용 지출의 약 60%로, 사업화의 중심이 ‘사용’으로 옮겨가고 있음을 보여줘요.
Q3: Agent 때문에 기업 AI 지출이 예산을 초과하는 이유는 무엇인가요?
Agent의 사용량은 작업량, 병렬 실행 수준, 실행 시간에 따라 달라져요. 한 작업에 여러 차례 호출이 필요하고, 여러 Agent가 병렬로 실행되거나 백그라운드에서 계속 작업할 수도 있어요. 기존처럼 인원수에 따라 추정하면 실제 사용량을 과소평가하기 쉬워요.
Q4: OpenRouter에서 Agent가 차지하는 비중 80%는 업계 전체를 대표하나요?
아니요. OpenRouter의 사용자는 주로 개발자와 스타트업이므로, 이 데이터는 추세의 방향만 보여줘요. 기업 내부의 프라이빗 배포나 클라우드 플랫폼 직접 구매 등은 구성에 큰 차이가 있을 수 있으므로, 인용할 때 표본 출처를 밝혀야 해요.
Q5: 개발자는 멀티 모델 Agent 방식을 저렴하게 검증하려면 어떻게 해야 하나요?
통합 인터페이스를 제공하는 집계 플랫폼으로 프로토타입을 만들어 보세요.
1. APIYI apiyi.com에 접속해 가입하고 API 키와 무료 테스트 크레딧을 받아요
2. 위 예제의 base_url과 모델명을 콘솔의 설정으로 바꿔요
3. 계획, 실행, 검증 단계별 Token 사용량을 기록한 뒤 모델 조합을 최적화해요
Q6: 현재 알려진 Agent의 한계는 무엇인가요?
크게 세 가지예요. 첫째, 결과를 검증하기 어려운 작업에서는 오류가 발생하기 쉬워 전문가의 검토가 필요해요. 둘째, 여러 Agent를 병렬로 실행하면 감독 부담이 커져 정신적 피로를 느끼는 사용자도 있어요. 셋째, 백그라운드 실행 비용을 예측하기 어려워요. 실무에서는 먼저 APIYI apiyi.com에서 소액으로 전체 과정을 검증하고, 예산 한도를 설정한 뒤 규모를 늘려 보세요.
기업 AI 지출과 Agent 핵심 요약 Key Takeaways
- 규모: Menlo는 2026년 기업 AI 사용 지출을 약 1,768억 달러로 추산했어요. 전년의 약 5.4배예요.
- 예산과 실제 지출의 차이: 기업의 평균 실제 지출은 전년의 4.7배로, 당초 계획한 1.9배를 크게 웃돌았어요.
- 성장 요인: 도입률 상승보다 이미 도입한 기업의 사용량 증가가 성장을 이끌었어요.
- 호출 방식: Agent에서는 토큰 소비량이 작업량, 병렬 처리 수준, 실행 시간에 따라 달라져요.
- 도입 조건: 실행 환경과 완전한 컨텍스트, 검증 가능한 결과가 필요해요. 이런 조건을 갖추기 쉬운 프로그래밍 분야가 앞서가고 있어요.
- 합리적인 판단: 기업 AI 지출이 곧 API 매출을 뜻하지는 않으며, 토큰 사용량 증가가 전년 대비 매출 증가를 의미하는 것도 아니에요.
- 시작하는 방법: APIYI apiyi.com에서 하나의 키로 여러 모델을 조합해 실제 작업 비용을 측정할 수 있어요.
정리
2026년 기업 AI 지출의 핵심 변화는 세 가지예요.
- 사람 중심에서 작업 중심으로: 모델 사용 방식이 ‘사람의 질문’에서 ‘Agent의 지속적인 작업 수행’으로 바뀌고 있어요.
- 도구 비용에서 별도 예산으로: 증가한 지출의 절반 이상이 새로 편성된 예산에서 나왔어요. AI가 별도로 관리하는 운영 비용이 되고 있어요.
- 토큰 판매에서 신뢰성 제공으로: API 서비스의 경쟁 초점은 안정성, 동시 처리, 멀티모델 전환, 사용량 모니터링으로 옮겨갈 거예요.
개발자와 구매 담당자라면 인원수로 예산을 추정하기보다 실제 작업을 기준으로 ‘작업당 비용’을 측정하는 것이 중요해요. APIYI apiyi.com에서 멀티모델 Agent 프로토타입을 빠르게 구축하고, 실제 usage 데이터를 다음 해 AI 예산의 근거로 활용해 보세요.
📚 참고 자료
- Menlo Ventures – 2026 The State of Enterprise AI: 이 글의 주요 데이터 출처
- 링크:
menlovc.com/perspective/2026-the-state-of-enterprise-ai -
설명: 기업 AI 지출, API 점유율, OpenRouter Agent 데이터와 조사 방법을 다뤄요.
-
Reuters – OpenAI 기업 매출에 관한 Brockman의 발언: OpenAI 기업 매출 비중이 절반 이상
- 링크:
reuters.com/legal/transactional -
설명: 2026년 11월 5일 보도로, Menlo의 API 점유율과는 집계 기준이 달라요.
-
OpenAI – The State of Enterprise AI 2025: 기업 사용 현황의 기준 데이터
- 링크:
openai.com/business/guides-and-resources/the-state-of-enterprise-ai-2025-report -
설명: 조직당 추론 토큰 소비량이 전년 대비 약 320배 증가한 수치 등 과거 데이터를 담고 있어요.
-
Axios – Office workers drive OpenAI’s Codex growth: Agent의 병렬 작업과 감독 문제
- 링크:
axios.com/2026/06/02/openai-codex-knowledge-workers - 설명: 2026년 6월 데이터로, 지식 근로자의 Agent 활용 현황을 파악하는 데 도움이 돼요.
작성자: APIYI 기술팀
기술 교류: Agent 워크플로와 다중 모델 호출에 관한 실무 질문이 있다면 APIYI apiyi.com 홈페이지를 통해 문의해 주세요.
