파인튜닝: 도메인 특화 모델

[필요 시]
- 일반 LLM이 도메인 약함
- 특정 형식·톤·구조 필요
- 비용 절감 (작은 모델 + tuning)
- 응답 시간 단축

[불필요]
- Prompt engineering으로 충분
- RAG로 해결 가능
- 데이터 1000개 미만
- 빠른 변경 필요

[필수 데이터]
- 1000~10000 examples
- 입력 + 정답 출력 쌍
- 다양성 + 균일

[형식]
{
  "messages": [
    { "role": "system", "content": "You are a Korean grammar tutor" },
    { "role": "user", "content": "I am agree with you" },
    { "role": "assistant", "content": "❌ \"I am agree\" → ✅ \"I agree\". 'agree'는 동사라서 be동사 불필요해요." }
  ]
}


[수집 방법]
- 본인 사용자 데이터 (익명화)
- ChatGPT로 합성
- 인간 검수 후 정제

# JSONL 파일 준비
# train.jsonl
{"messages": [...]}
{"messages": [...]}
...


# 업로드
openai files create -p fine-tune -f train.jsonl


# Tuning 시작
openai fine_tuning.jobs create \
  -t file-xxx \
  -m gpt-4o-mini-2024-07-18


# 비용
# - Training: $3 per 1M tokens
# - Inference: $0.30 input / $1.20 output (기본 + 50%)

import OpenAI from 'openai';
const openai = new OpenAI();

const result = await openai.chat.completions.create({
  model: 'ft:gpt-4o-mini:my-org:korean-tutor:abc123',
  messages: [{ role: 'user', content: 'I am agree' }],
});


// Fine-tuned 모델 ID로 호출
// 다른 점: 일관된 출력 + 빠른 응답

[LoRA 장점]
- 전체 fine-tuning vs LoRA = 1/100 비용
- 작은 파일 (수백 MB)
- 빠른 학습

[도구]
- Together.ai
- Replicate
- Modal
- 자체 GPU


[모델]
- Llama 3 70B + LoRA = $50~200
- 결과: 특정 task 우수

// 적은 진짜 데이터로 합성 데이터 생성
async function generateSyntheticExamples(seed: any[], count: number) {
  const examples = [];

  for (let i = 0; i < count; i++) {
    const result = await generateText({
      model: anthropic('claude-opus-4-7'),
      system: 'You are a synthetic data generator',
      prompt: `Based on these examples:
${seed.map(e => JSON.stringify(e)).join('\n')}

Generate a NEW similar example. Be creative but consistent in format.`,
    });
    examples.push(JSON.parse(result.text));
  }

  return examples;
}


// 100 진짜 → 1000 합성 → 1100 학습

[Evaluation]
- Test set 분리 (학습 X)
- 정확도·BLEU·ROUGE
- 인간 평가 (10~50 sample)

[비교]
- 기본 GPT-4o-mini: 60% 정확도
- Fine-tuned: 85% 정확도
- 비용: 50% 절감 (작은 모델 + tuning)

[Fine-tuning 한계]
- 일반 지식 추가 못 함
- 큰 데이터 필요
- 규칙적 변경 어려움

[대안]
- RAG (지식)
- Prompt engineering (지시)
- Function calling (도구)


→ Fine-tuning은 형식·톤 학습용
→ 지식은 RAG가 정답