ai-orchestration
CHAPTER 12 / 49
읽기 약 2분
SYNTAX
스트리밍 응답 구현
핵심 개념
LLM API의 스트리밍 기능을 활용해 ChatGPT처럼 실시간으로 텍스트가 나타나는 UX를 구현합니다.
코드 분석
STEP·19 / AI ORCHESTRATION / CHAPTER 8 — 스트리밍 구현
# Claude 스트리밍 (Node.js)
import Anthropic from '@anthropic-ai/sdk';
const stream = client.messages.stream({
model: 'claude-sonnet-4-6',
max_tokens: 1024,
messages: [{ role: 'user', content: userMessage }]
});
// 실시간 출력
for await (const event of stream) {
if (event.type === 'content_block_delta') {
process.stdout.write(event.delta.text);
}
}
# Next.js API Route 스트리밍
// app/api/chat/route.ts
export async function POST(req: Request) {
const { message } = await req.json();
const stream = new ReadableStream({
async start(controller) {
const s = client.messages.stream({...});
for await (const event of s) {
if (event.type === 'content_block_delta') {
controller.enqueue(event.delta.text);
}
}
controller.close();
}
});
return new Response(stream);
}
# AI 프롬프트 활용
"이 스트리밍 API를 React에서 받아서
타이핑 효과로 표시하는 컴포넌트를 만들어줘"AI 프롬프트
🤖 AI에게 잘 물어보는 법 — 모델·전략별 프롬프트
무료 모델
Gemini 2.5 Flash(무료) + Claude Sonnet 4.6(무료) + Grok 4.1(무료)
'스트리밍 응답'를 무료 도구로 실습하고 싶어. HuggingFace(무료 모델) + n8n(셀프호스팅) + Dify(오픈소스)로 간단한 AI 파이프라인을 0원 안에 만드는 단계별 가이드를 짜줘.
소자본 모델
Claude API + Cursor $20/mo + Make.com — 월 10~30만원
'스트리밍 응답'에 월 20만원을 투자할 수 있어. Claude API(체인) + Pinecone(벡터DB) + Make.com(워크플로우) 조합으로 RAG 기반 서비스를 구축해줘. 예상 월 비용 분배도 함께.
프로덕션 모델
Claude Opus + CrewAI + LangGraph — 월 100만원+
'스트리밍 응답'를 엔터프라이즈로 스케일업해줘. CrewAI(멀티에이전트) + LangGraph(상태관리) + Claude Opus(추론) + LangSmith(모니터링) 자율 협업 AI 팀 아키텍처를 월 100만원 예산 기준으로 설계해줘.
스택 프롬프트
0원→$20/mo→$100/mo 단계별 스택 비교
'스트리밍 응답'를 1인 AI 창업가가 구현할 때 3단계 오케스트레이션 스택을 비교해줘. Level 1(0원, Dify+n8n+HF) → Level 2(20만원, LangChain+OpenAI+Pinecone) → Level 3(100만원, CrewAI+LangGraph+GPU) 각 레벨의 만들 수 있는 서비스와 한계 포함.
⭐ 이것만 기억하세요
스트리밍 응답 구현은 이 3가지만 확실히 잡으세요
1.전체 응답을 기다리면 긴 텍스트 생성 시 사용자가 수십 초간 빈 화면을 봅니다
2.stream: true로 토큰 단위 스트리밍을 활성화하고, SSE/ReadableStream으로 실시간 표시합니다
3.다음 챕터에서 프롬프트 엔지니어링 심화 기법을 배웁니다
공유하기
진행도 12 / 49