삼성카드 임직원용 Agentic RAG 어시스턴트 구축

제논 소속으로 삼성카드 AI 플랫폼 구축 프로젝트에 참여해, 플랫폼 내 여러 챗봇 중 삼성카드 임직원의 상담 업무를 지원하는 사내 전용 챗봇을 담당했습니다. 7명 팀에서 선임의 지속적인 설계 검토와 피드백을 받으며 담당 영역의 개발을 주도했습니다.

담당 범위는 프롬프트와 대화 흐름 설계, 검색어 증강, 병렬 검색과 RRF 융합, LLM-as-a-Judge 평가 자동화, 현업 피드백 반영, 운영 배포와 모니터링까지였습니다.

문서 적재와 파싱·임베딩·청크 검색을 서로 다른 협력 업체가 담당하는 구조였습니다. 어시스턴트가 검색 시스템에 전달할 수 있는 값은 검색어와 일부 청크 관련 설정으로 제한돼, 특정 키워드 부스팅이나 검색엔진 내부 리랭킹처럼 일반적인 검색 품질 개선 방식을 직접 적용하기 어려웠습니다.

이 제약을 외부 시스템 변경 요청에만 의존하지 않고, 어시스턴트가 제어할 수 있는 애플리케이션 계층에서 보완하는 것을 핵심 문제로 정의했습니다.

사용자 질문을 분석해 관점이 다른 복수의 검색어를 생성하고 각 검색을 병렬로 실행했습니다. 이후 개별 검색 결과의 점수 체계가 달라도 안정적으로 결합할 수 있도록 Reciprocal Rank Fusion(RRF)을 적용해 상위 근거 문서를 선별했습니다.

이 방식은 단일 검색어가 놓칠 수 있는 표현 차이와 상담 용어를 보완했습니다. 동시에 검색 결과 증가가 곧 품질 향상을 의미하지는 않으므로, 근거의 양과 후속 처리 비용을 함께 관리하도록 흐름을 설계했습니다.

병렬 검색을 도입하자 더 많은 문서가 유입되면서 입력 토큰 한도를 초과하거나, 로그 비식별화 시스템의 처리 부하가 증가해 응답 경로에 병목이 생기는 새로운 문제가 나타났습니다. 검색 재현율뿐 아니라 전체 요청 경로의 지연과 안정성을 함께 관찰하며 근거 수와 처리 흐름을 조정했습니다.

평균 응답 시간과 TTFT를 함께 추적해 어느 구간에서 사용자 체감 지연이 발생하는지 확인하고, 운영 로그와 모니터링 결과를 다음 개선 실험으로 연결했습니다.

일부 근거 문서는 반복적인 색상·글자 크기 스타일 값 때문에 내용에 비해 HTML이 비정상적으로 커져 약 26만 토큰을 초과했습니다. 원문 HTML을 그대로 모델에 전달하는 대신, 상담 답변에 필요한 텍스트 구조를 보존하면서 Markdown으로 정규화해 입력 크기를 줄였습니다.

변환 과정에서는 색상이나 글자 크기처럼 시각적 의미를 가진 정보가 제외될 수 있어, 상담 답변에 필요한 제목·문단·목록과 본문 텍스트를 우선 보존했습니다. 이 방식으로 입력 크기를 줄여 토큰 한도 초과 문제를 처리했습니다.

검색 전략과 프롬프트 변경을 동일한 기준으로 비교할 수 있도록 LLM-as-a-Judge 기반 평가 흐름을 자동화했습니다. 평균 응답 시간과 TTFT도 함께 측정해 답변 품질만 높고 사용성이 떨어지는 변경을 구분했습니다.

평가 결과뿐 아니라 삼성카드 임직원의 현업 피드백, 운영 모니터링, 배포 후 발견된 예외를 다음 실험에 반영했습니다. 이를 통해 개발 환경의 단발성 성능이 아니라 실제 업무 환경에서 지속적으로 개선 가능한 체계를 만드는 데 집중했습니다.