생성형 AI를 활용한 의미기반 상품정보 제공 사례 Example - plus 교훈

생성형 AI를 활용한 의미기반 상품정보 제공 사례 Example - plus 교훈

 

이제 생성형 AI를 업무 전반에 본격 적용하겠다는 시도가 늘어가고 있다. 그러나, 업무유형에 따라서는 상당히 높은 완성도를 만족해야만 본격 적용이 가능한 경우들이 있다. 특히 온라인 쇼핑몰의 검색기능과 같은 경우 매우 중요한 역할을 담당하는 동시에 상당히 높은 수준의 완성도가 요구되는 것이다. 관련된 국내 사례를 하나 살펴보고 어떤 교훈을 얻을 수 있을지 생각해보자.

 

 

국내 사례 개요: 

한 온라인 쇼핑몰에서는 생성형 AI를 활용해 고객의 검색에 자연어 기반의 설명을 제공하는 시스템 기능을 추가했다. 기본 검색기능에 고객이 검색하면 상품과 관련된 정보를 풀어서 설명하는 방식이다.

그러나 이 사례는 대표적으로 완성도 낮은 생성형 AI가 얼마나 엉성하고 잘못된 정보를 고객에게 제공할 수 있는가를 단적으로 보여준다.

 

이 쇼핑몰에서 판매하는 부대찌개의 "성분"을 문의한 고객에게 "AI가 자세히 알려드릴게요" 기능을 통해 제공한 결과를 보자. 크게 신경쓰지 않고 살펴본다면 눈치채지 못하는 고객들도 있겠지만 자세히 들여다보면 한두가지가 아닌 많은 문제가 드러난다.

 

1. 소시지 성분은 햄과 소시지? .......... 내용과 별개로 언어적으로 성립되지 않는 응답을 하고 있다.
2. 상품이 아니라 성분에 대한 설명? ..... 고객이 요구한것은 성분이었다.
3. 부대찌개는 한 개 상품만 판매중? ...... 실제 이 쇼핑몰은 여러 부대찌개 상품을 판매하고 있으나 한 상품만 언급한다. 그렇게 응답하는 이유에 대한 설명 조차 없다.
4. 가격은 정가? 할인중인 가격이 아니라? .... 언급한 상품에 대해 정가를 제시했으나 현재 이 쇼핑몰에서는 50% 할인 행사를 하고 있다.
5. 평점은 5점? 4.7이 아니라? .... 어느 시점 기준인지 알 수 없으나 최소한 현재 기준으로 정확하지 않은 평점 집계를 보여준다.

 

 

사례의 교훈 ::

 

1. 생성형 AI를 본격적으로 업무에 적용하기 위해서는 정확성이 필수적이다. 사실이 아닌 정보를 제공하면 고객의 클레임을 유발할 수 있으며 클레임까지 가지 않더라도 고객경험을 헤치게 된다. 본격 적용 이전에 정확한 응답을 제공하는지에 대한 충분한 테스트가 필요했다.

2. 생성형 AI가 질문의 이해하지 못한다. 구축 과정에서 테스트 단계가 있었겠지만 테스트에서 이해 수준에 대한 충분한 테스트가 필요했다. 충분한 테스트가 되려면 고객이 할 수 있는 질문에 대해 거의 모든 경우의 수가 테스트 되었어야 했다. (고객은 품질에 대해서도, 성분에 대해서도, 할인 행사가 언제 시행될지도 궁금할 수 있다)

3. RAG(검색증강생성)를 활용해서 상품과 속성에 대한 정보를 투입하는 것은 매우 유용한 기능이지만, 데이터는 끊임없이 변한다. 변화하는 데이터를 지속적으로 업데이트하는 기능까지를 커버할 수 있어야 실제 업무에 적용할 수 있다.

4. 이 프로젝트에는 전세계 최고 수준의 서비스 공급자가 제공한 기술이 적용된 것으로 보인다. 하지만 기술 공급자들은 이런 실제 발생할 문제들에 대해 충분한 경험과 이해를 가지고 있지 않다. 그들이 이야기하는 성공은 대부분 멈추지 않고 작동된다까지다. 기술 공급자들이 커버할 수 없는 부분에 대해 문제를 발견하고 수정할 수있는 능력을 가지고 있어야 이 새로운 기술 생성형AI를 업무에 적용해 성과를 낼 수 있다.

 

 

 

*** Note:: 사례에서 기업과 제품이 노출되지 않도록 약간의 가공을 한 것임.

 

 

 

 

 

===================

참고 :: 

 

이 글은 "디지털 마케터의 챗GPT 활용 전략 - 실전! ChatGPT 프롬프트 엔지니어링" 책을 보강 Update하기 위한 내용입니다. 책에 대한 소개는 다음을 참고하세요 

https://revisioncrm.tistory.com/596

[책] 디지털 마케터의 챗GPT 활용 전략: 어떻게 다른가?

 

 

ChatGPT로 고객응대 자동화? 가능한 것과 문제가 될 수 있는 것들에 대한 검토

https://revisioncrm.tistory.com/658

ChatGPT로 고객응대 완전 자동화가 가능할까?

 

 

본격적으로 사용하는 사람입장에서 과연 ChatGPT가 유용할까? 지금 시점에서의 활용가치에 대한 검토

https://revisioncrm.tistory.com/677

ChatGPT가 실제 전문적 업무에 도움이 될까? 주관적 검토 (2024.6.17)

 

 

 

챗GPT 실제로 쓸모있는 기능 7가지 - ChatGPT 활용 방안 (영상)

https://www.youtube.com/watch?v=V5GeenOfsFM&t=27s

 

 

명령하기 3 핵심 기법 - 챗GPT 프롬프트 엔지니어링 (영상)

https://www.youtube.com/watch?v=EMRVyxkTmOY&t=7s

 

 

 

* by promptStrategies, 전용준. 리비젼컨설팅 https://revisioncrm.tistory.com/182