Chain-of-Thought 추론을 통한 전자상거래 챗봇 정확도 향상
복잡한 고객 문의를 처리하고 온라인 소매에서 만족도를 높이기 위해 단계별 AI 추론 활용
사업 개요
클라이언트는 제품 문의, 반품 및 문제 해결을 처리하는 AI 챗봇을 개선하여 플랫폼에서 고객 경험을 개선하고자 했습니다. 챗봇은 복잡한 고객 질문에 어려움을 겪었고, 특히 여러 문제나 제품이 단일 문의에 관련된 경우 더욱 그렇습니다. 예를 들어, 고객은 종종 서로 다른 조건에서 구매한 두 가지 다른 제품의 반품 정책에 대해 문의했습니다.
우리는 챗봇이 복잡한 질문을 분석하고 단계별 추론을 안내하여 더 정확하고 포괄적인 답변을 제공할 수 있도록 돕기 위해 Chain-of-Thought(CoT) 프롬핑을 도입했습니다.
주요 통계
CoT 기반 추론을 사용하여 처리된 고객 상호작용.
100,000+
다양한 제품과 문제 해결에 대한 질의에 대한 응답 시간이 단축되었습니다.
27%
문제 해결 능력이 향상되어 고객 만족도가 향상됩니다.
30%
프로젝트 범위
이 프로젝트는 전자 제품, 패션, 가전 제품과 같은 다양한 제품 범주에 걸쳐 100,000개 이상의 고유한 상호작용에 대한 다중 부분 고객 문의를 처리하도록 챗봇을 훈련하는 데 중점을 두었습니다. CoT 접근 방식을 통해 AI는 다음을 처리할 수 있었습니다.
- 다중 제품 문의: 동일한 상호작용에서 여러 품목과 관련된 질문을 처리합니다.
- 단계별 문제 해결: 자세한 솔루션을 안내하여 고객이 제품 문제를 해결하도록 돕습니다.
도전
복잡한 쿼리
고객은 종종 여러 문제를 동시에 해결해야 하는 여러 부분으로 구성된 질문을 했습니다.
일관되지 않은 답변
이전에 챗봇은 단일 대화에서 제품 반품 및 기술적 문제를 처리할 때 일관되지 않은 답변을 제공했습니다.
확장 성 문제
고객 상호작용이 늘어나면서 다양한 제품군에서 챗봇의 성능을 유지하는 것이 어려워졌습니다.
해법
- CoT 프롬프트 엔지니어링: 우리는 AI가 여러 부분으로 구성된 질문에 답하는 논리를 안내하는 프롬프트를 만들었습니다. 예를 들어, 챗봇은 결론을 내리기 전에 명확히 하는 질문을 하도록 훈련되었습니다.
- 사용자 피드백 루프: 고객 피드백을 반영하여 CoT 프롬프트를 개선하고, 챗봇이 실제 상호작용으로부터 학습할 수 있도록 했습니다.
- 예시 생각의 사슬을 촉구하기 위해
고객 문의:
"스마트폰과 헤드폰을 주문했습니다. 스마트폰 화면이 깨졌고, 헤드폰이 내 기기와 페어링되지 않습니다. 어제 새로 주문한 배송 주소도 업데이트해야 하는데, 내 계정에서 업데이트할 수 없습니다. 이 문제를 해결하는 데 도움을 주실 수 있나요?"
1단계: 문제 식별 및 분류
"귀하는 세 가지 별도의 문제를 다루고 있는 것 같습니다. (1) 스마트폰 손상, (2) 헤드폰 페어링 문제, (3) 최근 주문에 대한 배송 주소 업데이트. 하나씩 살펴보겠습니다."
2단계: 손상된 스마트폰 처리
"스마트폰의 경우 화면이 깨졌으므로 보증 상태에 따라 교체 또는 수리를 받을 수 있습니다. 연장 보증 범위를 구매했는지 또는 30일 반품 기간 내에 발생한 일인지 확인해 주시겠습니까?"
- 지점 1: 보증 기간 또는 반품 기간 내인 경우:“좋습니다! 그렇다면 교체 요청을 시작하는 데 도움을 드리겠습니다. 확인해 주시겠습니까? 배송 날짜와 교체를 원하시는지 환불을 원하시는지 알려주세요.”
- 지점 2: 반품 기간이 지났거나 보증이 제공되지 않는 경우:“휴대전화는 반품 기간이 지났고 연장 보증도 제공되지 않으므로, 당신은 여전히 유료 수리를 받을 자격이 있을 수 있습니다. 수리를 설정하는 데 도움을 드릴까요? 요구?"
3단계: 헤드폰 페어링 문제 진단
"헤드폰의 경우, 먼저 문제 해결 단계를 시도해 보겠습니다. 전원 버튼을 10초 동안 누르고 다시 페어링을 시도하여 헤드폰을 재설정해 보셨습니까?"
- 지점 1: 고객이 문제 해결이 효과가 없다고 확인하는 경우:"그걸 시도해 주셔서 감사합니다. 문제가 지속되면 헤드폰이 여전히 반품 또는 보증 기간 내에 구매 날짜를 알려주시면 수리나 교체를 진행하시겠습니까?”
- 지점 2: 문제 해결이 성공하면:"문제 해결이 잘 되어서 다행이에요! 헤드폰과 관련해서 다른 도움이 필요하면 언제든지 알려주세요."
4단계: 배송 주소 업데이트 도움말
"새로 주문하신 상품에 대해 배송 주소를 아직 업데이트할 수 있는지 확인해 보겠습니다. 주문 상태를 확인하는 동안 잠시 기다려 주세요."
- 지점 1: 주문이 아직 배송되지 않은 경우:“좋은 소식이에요! 주문이 아직 발송되지 않았으니 배송지 주소를 업데이트하도록 도와드리겠습니다. 바로요. 정확한 주소를 알려주시겠어요?”
- 지점 2: 주문이 이미 발송된 경우:“주문이 이미 발송되어 업데이트할 수 없는 것 같습니다. 그러나 여전히 배송업체에 직접 연락하여 주소 변경을 요청하세요. 주문에 대한 추적 세부 정보를 알려주세요?”
5단계: 요약 및 다음 단계 제공
“다음은 우리가 수행한 작업의 간략한 요약입니다. (1) 우리는 귀하를 위한 프로세스를 시작했습니다. 스마트폰 교체/수리, (2) 헤드폰 문제 해결, (3) 배송 주소를 업데이트하려고 했습니다. 또한 최근 추적 세부 정보를 공유했습니다. 주문하세요. 오늘 제가 도와드릴 수 있는 다른 일이 있나요?”
이론적 해석:
이 CoT 프롬프트는 여러 가지 고유한 문제(제품 반품, 기술적 문제 해결, 계정 관리)를 처리하고 챗봇을 논리적 순서로 각 단계로 안내하기 때문에 더 복잡합니다. 고객 응답에 따라 결정 분기(예: 보증이 스마트폰을 포함하는지, 문제 해결이 헤드폰 문제를 해결하는지)를 통합하고 상황에 따라 동적으로 작업 과정을 업데이트합니다. 이를 통해 챗봇이 다층 고객 문의를 높은 정확도와 효율성으로 관리하는 능력이 향상됩니다.
결과
- 100,000개의 주석이 달린 고객 프로젝트 일정에 따라 제공되는 상호작용
- 응답 시간 27% 감소: CoT 프롬프트를 통해 챗봇은 각 질문을 더욱 효율적으로 처리하여 더 빠른 답변을 제공했습니다.
- 고객 만족도 30% 증가: 고객들은 특히 문제 해결과 여러 제품에 대한 문의에 있어서 복잡한 문의를 처리하는 챗봇의 능력에 대해 더 높은 만족도를 보였습니다.
- 부서 간 확장성: CoT 기반 챗봇 로직은 고객 지원, 주문 추적, 결제 해결로 쉽게 확장되어 전반적인 챗봇 효율성이 향상되었습니다.
Chain-of-Thought 추론을 구현함으로써 챗봇이 고객 문의에 대처하는 방식이 바뀌었습니다. 단계별 논리 덕분에 가장 복잡한 문제도 처리할 수 있었고, 속도와 정확도가 모두 획기적으로 향상되었습니다.
— 고객 경험 책임자
