Requests 라이브러리 완전 정복

# ⚠️ 이 코드는 허가된 환경에서만 사용하세요.
import requests

# GET — 쿼리 파라미터 자동 인코딩
r = requests.get(
    'https://httpbin.org/get',
    params={'q': 'security', 'page': 1},
    headers={'User-Agent': 'WhiteHat/1.0'},
    timeout=5,
)
print(r.url)         # https://httpbin.org/get?q=security&page=1
print(r.status_code) # 200
print(r.json())      # 자동 JSON 파싱

# POST — 폼 데이터
r = requests.post(
    'https://httpbin.org/post',
    data={'username': 'test', 'password': 'p@ssw0rd'},
)

# POST — JSON 본문
r = requests.post(
    'https://httpbin.org/post',
    json={'username': 'test', 'role': 'user'},
)

# 보안 점검에서 자주 쓰는 헤더 변조
HEADERS = {
    'User-Agent': 'Mozilla/5.0',
    'X-Forwarded-For': '127.0.0.1',  # WAF 우회 시도 — 허가 환경에서만
    'Referer': 'https://internal.example.com',
}

# SSL 검증 — 운영에서는 절대 verify=False 금지
r = requests.get('https://expired.badssl.com', verify=True, timeout=5)

# 인증서 직접 지정 (사내 CA)
r = requests.get('https://internal.com', verify='/path/to/internal-ca.pem')

# (connect_timeout, read_timeout)
r = requests.get(url, timeout=(3, 10))

# 단일 timeout=5는 연결+읽기 모두에 5초

# 보안 분석 도구 Burp Suite를 통해 트래픽 캡처
proxies = {
    'http':  'http://127.0.0.1:8080',
    'https': 'http://127.0.0.1:8080',
}

r = requests.get(
    'https://example.com',
    proxies=proxies,
    verify=False,  # Burp의 자체 서명 인증서 → 학습용만
    timeout=5,
)

def check_security_headers(url: str) -> dict:
    """웹사이트의 보안 헤더 5대장 점검."""
    expected = {
        'Content-Security-Policy':  'CSP',
        'Strict-Transport-Security': 'HSTS',
        'X-Frame-Options':           'Clickjacking',
        'X-Content-Type-Options':    'MIME-Sniff',
        'Referrer-Policy':           'Referer',
    }
    try:
        r = requests.get(url, timeout=5, allow_redirects=True)
    except requests.exceptions.RequestException as e:
        return {'error': str(e)}

    result = {'url': r.url, 'status': r.status_code, 'headers': {}}
    for hdr, label in expected.items():
        present = hdr in r.headers
        result['headers'][label] = {
            'present': present,
            'value': r.headers.get(hdr) if present else None,
        }
    score = sum(1 for h in result['headers'].values() if h['present'])
    result['score'] = f'{score}/{len(expected)}'
    return result

# 실행
import json
report = check_security_headers('https://github.com')
print(json.dumps(report, indent=2, ensure_ascii=False))

r = requests.get('https://api.github.com/users/octocat')

# 기본 속성
r.status_code      # 200
r.headers          # CaseInsensitiveDict
r.cookies          # RequestsCookieJar
r.url              # 최종 URL (리다이렉트 후)
r.elapsed          # timedelta — 응답 시간
r.history          # 리다이렉트 체인

# 본문 접근 (3가지)
r.text             # 문자열
r.content          # bytes
r.json()           # dict (실패 시 ValueError)

# 안전한 JSON 파싱
try:
    data = r.json()
except ValueError:
    data = None
    log.warning('JSON 파싱 실패')