Building LLM systems
that actually work.

진로 상담 교사가 학생 한 명을 위해 교육부 포털·대학알리미·졸업생 블로그를 수동 탐색·요약하는 데 인당 30분 이상을 소비한다는 현장 관찰에서 시작했습니다. 문제의 본질은 소스마다 로그인 방식·동적 로딩 구조·데이터 포맷이 달라 단일 스크래퍼로 통합 불가하다는 이질성이었습니다. RPA로 소스 이질성을 흡수하고, T5 모델로 수집된 비정형 텍스트를 일관된 요약으로 압축한 뒤, 학생 가치관 설문 기반 5개 시나리오로 개인화 추천까지 연결했습니다.

• ›UiPath RPA로 로그인·동적 로딩 포함 3개 이질적 소스에서 학과 정보·졸업생 후기 평균 200건 자동 수집
• ›TF-IDF 대비 문장 자연도 23% 향상, 학과 100개 처리 시간 8h→3h — T5의 추상 요약이 핵심 차이
• ›설문 기반 '안정성 중시형·성장 지향형' 등 5가지 시나리오로 개인화 추천, 전체 자동화율 95%+

Naive RAG의 구조적 한계—단일 벡터 검색은 전문 의학 용어의 Recall 상한이 낮고, 검색된 문서 전부를 컨텍스트에 넣으면 LLM이 노이즈에 흔들린다—를 2단계 아키텍처로 정밀 해소했습니다. BM25가 용어 매칭 정확도를, FAISS가 의미적 유사성을 보완하고, bge-reranker가 최종 후보를 질문-문서 정합성 기준으로 Top-5로 압축해 LLM이 받는 컨텍스트 품질을 최대화했습니다. 5.5만 건 전문 의학 JSON(약 2.2억 토큰)을 처리한 코퍼스 기반 시스템입니다.

• ›하이브리드 검색 설계: BM25(k=20, 용어 매칭) + FAISS(k=20, 의미 검색) 병렬 수행으로 Recall 상한 제거
• ›BAAI/bge-reranker-v2-m3 재순위: 40개 후보→Top-5 압축으로 LLM 컨텍스트 노이즈 최소화
• ›ReRanker 전후 비교: 객관식 정확도 +0.04, 서술형 BERTScore +0.16 — 단일 벡터 RAG 대비 명확한 개선

야민정음(시각 유사도 기반 변형: '머 → 뫄')과 음운 오류(발음 유사 변형: '됩니다 → 됩니당')는 복원 방향이 근본적으로 다릅니다. 전자는 자모 그래픽 매핑 규칙이, 후자는 음성 전사 역변환이 필요합니다. 단일 모델은 두 방향 사이에서 최적점을 찾지 못해 출력이 불안정해집니다. 문제를 '모델 성능 부족'이 아닌 '태스크 정의 오류'로 재진단하고, 유형 분류 → 전용 복원 분기로 구조 자체를 바꿨습니다.

• ›KoELECTRA Noise Classifier로 입력 유형 판별 후 야민정음·음운오류 전용 KoBART 모델로 분기 처리
• ›핵심 선행 과제: BPE 토크나이저가 야민정음 자모를 분해 실패 → JAMO(초·중·종성) 전처리로 토큰 손상 원천 차단
• ›BERTScore 0.9812 · CER 0.0426 달성 — 분기 설계 도입 전 베이스라인 대비 +5.6%p

'블랙 컨슈머', 'after 신청'처럼 한국인 특화 콩글리쉬는 GPT 학습 분포에서 극히 희소해 교정 품질이 불안정합니다. 온디바이스 목표를 설정하자 두 번째 제약이 즉시 발생했습니다: 14GB 모델을 스마트폰 CPU에서 실시간 추론해야 한다는 것. 모델 압축과 지식 분리를 동시에 설계해 해결했습니다—LLM은 문법·문맥 판단만, 콩글리쉬 용례 검색은 전용 벡터 DB가 담당하는 역할 분업입니다.

• ›모델 압축: LoRA + 4-bit NF4 양자화 + 멀티링구얼 토큰 Pruning(~10%) 조합으로 14GB→3.0GB(76%), CPU 추론 0.3s
• ›지식 분리: FAISS(IVF) + SQLite LRU 캐시 하이브리드로 630개 콩글리쉬 패턴 DB를 0.02초 내 검색하는 개인화 메모리
• ›응답 지연 2.3s→0.47s(5배 단축), 모바일 일관성 92%+ — 모델과 DB의 역할 분업이 만든 속도·정확도 동시 달성

LLM에게 '삼성전자의 부채비율이 높은가?'를 직접 물으면 환각이 발생합니다. 수치 계산 책임을 LLM에 주는 것 자체가 설계 오류입니다. 역할을 명확히 분리했습니다: XGBoost가 500개 상장사 재무지표를 A~D 등급으로 분류하고, KMeans가 유사 기업을 군집화합니다. GPT-4는 이미 통계 모델이 계산·태깅한 결과를 받아 서사적 해설만 생성합니다. 수치 연산을 LLM 바깥으로 완전히 빼낸 아키텍처입니다.

• ›ETL 파이프라인: DART API(500개 상장사 재무제표) + 네이버 뉴스 200건 자동 수집 → XGBoost 신용 등급 분류(91%) + KMeans 군집화
• ›환각 차단 설계: 군집 평균 패턴·리스크 태깅을 GPT-4 컨텍스트에 주입, LLM은 해설 전담 → 환각 80% 개선
• ›리포트 생성 5분→30초(10배), 사용자 문장 이해도 만족도 4.4/5.0 — 수치와 언어의 역할 분리가 핵심

압사 사고의 공통 선행 조건은 '군중이 대안을 인지하지 못한 채 단일 지점에 집중된다'는 것입니다. 경고만으로는 부족하고, 사람들이 실제로 이동할 구체적인 대안 장소를 즉시 제시해야 합니다. FP-Growth로 10만 건 이동 로그에서 잠재 이동 패턴을 추출하고, 혼잡도·거리·장소 유사도·시간대 4개 가중치로 개인화 추천을 설계했습니다. 재난 상황의 네트워크 불안정을 고려해 오프라인 SQLite 캐시 아키텍처를 반드시 포함시켰습니다.

• ›FP-Growth로 10만 건 이동 로그 패턴 분석 → '홍대 방문객 70%는 이태원으로 이동' 등 잠재 이동 연관 규칙 추출
• ›추천 점수 엔진: 혼잡도(40%)·거리(30%)·장소 유사도(20%)·시간대(10%) 정규화 가중치 설계
• ›오프라인 내성: SQLite 기기 내 캐시로 히트맵·추천 오프라인 동작 보장 — 실시간 밀집도 예측 84%, 혼잡 회피율 87%

자영업자 15명 현장 인터뷰에서 반복적으로 나온 말은 '예측 정확도보다 내 매장 조건이 바뀌면 어떻게 되는지 미리 보고 싶다'였습니다. 예측 모델이 아닌 시뮬레이션 엔진이 필요했습니다. GPT-4.1을 단일 호출하면 창의성과 신뢰성을 동시에 얻을 수 없어 Temperature를 분리한 2-Stage 구조를 설계했고, 다양한 실제 고객 유형을 재현하기 위해 160개 AI 페르소나가 5단계 Agent 의사결정으로 시나리오를 독립 검증하는 구조를 구축했습니다.

• ›2-Stage GPT: Temp 0.1 '분석가' 모듈(신뢰성)→ Temp 0.7 '전략가' 모듈(창의성) 순차 처리로 신뢰+창의 동시 확보
• ›160 페르소나 시뮬레이션: 방문 목적 4유형 × 세대 5종 × 성별·인원 구성으로 실제 고객 분포 재현, Agent 5단계 의사결정
• ›Before/After 11지표 검증 리포트 — '조건 변경 시나리오'를 정량화, 자영업자 사용 의향 80%