[ChatGPT] 답변 정확성과 신뢰성 향상 방안 - 모르는 것을 모른다고 하게 하기

[ChatGPT] 답변 정확성과 신뢰성 향상 방안 - 모르는 것을 모른다고 하게 하기

 

A minimalist pop art style image featuring a smart AI robot making a 'I don't know' gesture. The robot is placed on the left side of the frame, with a city skyline in the background. The color palette is predominantly blue and white, with soft, natural lighting reflecting off the robot and the skyline. The structure of the image is wide and horizontal.

 

 

ChatGPT와 같은 인공지능 모델이 답변을 생성할 때, 정확성과 신뢰도를 유지하는 것이 당연히 매우 중요하다. 정확성이나 신뢰도가 낮은 답변이 나오는 이유는 크게 보면 두 가지다. [1] 정보 부족이나 [2] 무리한 답변 시도가 발생할 경우. 이를 방지 내지는 최소화하기 위해 '프롬프트 엔지니어링' 측면에서 어떤 전략을 사용할 수 있을지를 생각해보자.

정보 부족

ChatGPT는 방대한 양의 데이터를 학습한 모델이지만, 모든 데이터를 학습한 것은 아니므로 모든 주제에 대해 완벽한 지식을 가지고 있지는 않다. 특정 주제에 대한 학습 데이터가 부족하거나, 질문이 최신 정보와 관련되어 있을 때, 모델이 제공하는 답변이 부정확할 가능성이 높아진다. 예를 들어, 특정 과학 기술에 대한 질문이 있을 때, 그 기술이 최근에 발전했다면 ChatGPT는 최신 정보를 반영하지 못할 수 있다. 이 상황에서 ChatGPT가 과거의 데이터만을 기반으로 답변하려 하면, 사용자는 잘못된 정보로 인해 혼란을 겪을 수 있다.

GPT-4o가 나오면서 정보가 부족하면 자동으로 검색을 통한 조사를 거쳐 답변을 하지만, 그 역시도 모든 공개된 자료를 조사할 수 없는데다 공개되지 않은 자료가 필요한 답변이라면 그 역시 정확하게 하기 어렵다. 결국 잘못된 답변이 많이 나올 수 밖에 없다.

이 상황에서는 모르는 내용을 억지로 추측하는 대신, 솔직하게 "모른다"고 답하는 것이 필요하다. ChatGPT가 모르면 모른다고 답할 때, 그것은 답변의 정확성을 높이고 불필요한 추측을 방지하는 효과적인 방법이다. 중요한 결정을 내릴 때, 잘못된 정보를 기반으로 판단하면 큰 문제가 발생할 수 있다. 이때 ChatGPT가 "이 문제에 대해 정보가 부족하다" 혹은 "최신 정보가 파악되지 않았다"고 답한다면, 사용자는 더욱 신뢰할 수 있을 것이다. 예를 들어, 회사에서 새로운 기술을 도입하려고 할 때, ChatGPT가 확실하지 않은 정보를 제공하는 대신 명확하게 한계를 알려주는 편이 훨씬 도움 될 것이다. 잘못된 정보를 믿고 무언가를 하기 보다는 보충할 수 있는 다른 정보를 찾아보는 것이 가능하기 때문이다.

무리한 답변 시도

현재 ChatGPT의 행태를 보면 기본적으로 주어진 질문에 대해 최선의 답을 하려고 한다. 하지만, 때로는 충분한 정보가 없는 경우에도 억지로 답을 만들어내려 하는 ("과잉충성?") 태도가 오히려 위험을 불러온다. 이는 사용자에게 큰 혼란을 초래할 수 있다. 예를 들어, 회사 내에서의 중요한 업무나 의사결정 문제를 다룰 때, 모델이 무리하게 답변을 시도하면 잘못된 방향으로 이끌 수 있다. 이런 상황에서는 "모르면 모른다고" 답하는 것이 더 안전하다. 즉, 불확실한 답변을 내놓기보다는 차라리 정직하게 정보의 한계를 인정하는 것이 사용자에게 월등히 유용하다.

모르는 것을 모른다고 하는 이러한 방식은 기업 업무에서 매우 유용하다. 회사에서 중요한 결정이나 프로젝트를 진행할 때, 불확실한 정보를 바탕으로 결정을 내리는 것은 극도로 위험한 태도다. ChatGPT가 정확하지 않은 정보를 바탕으로 추측하지 않고, 모르는 것은 모른다고 명확히 밝힌다면, 이는 사용자는 다른 시각으로 접근해보거나 추가 자료를 찾아보거나 하면서 궁극적으로 더 나은, 안전한 결정을 내릴 수 있도록 돕는다. 기업에서는 매일 다양한 상황에서 정보를 바탕으로 의사 결정을 해야 한다. 이때 신뢰할 수 있는 정보를 제공하는 것이 무엇보다 중요하다. 

결론적으로, ChatGPT와 같은 AI 모델이 정보를 추측하지 않고 솔직하게 모른다고 답하는 태도는 직장인들에게 정확하고 신뢰할 수 있는 도움을 제공하는 중요한 전략이다.

 

안전한 답변 보장을 위한 프롬프트

정보부족과 무리한 답변 시도가 가져오는 문제점에 대해 이해했다면 이제 프롬프트를 조절해서 이 문제를 극복할 방안을 생각해봐야 한다. 간단하고 직접적인 방법을 시도해 보자

"만일 모르면 모른다고 답하라. 없으면 없다고 하라. 정보가 부족하면 부족하다고 하라."라는 내용을 프롬프트의 마지막에 추가하는 것이다.

 

먼저 다음과 같은 예제들을 ChatGPT에 실행해 보자

 

예제:
1. 강남역 사거리에서 도보 5분 거리 이내에 함흥냉면 전문점은?
2. chatgpt의 모든 기능을 무료로 사용하는 방법?
3. 한국 의류전문 온라인 쇼핑몰 중 매우 급격한 성장으로 1위를 위협하고 있는 곳은?

 

1번 예제만 함께 해본다.

 

Prompt:

"강남역 사거리에서 도보 5분 거리 이내에 함흥냉면 전문점은?"

 

ChatGPT 답변:

강남면옥 본점: 이곳은 강남에서 잘 알려진 함흥냉면 전문점이다. 회냉면과 물냉면이 주 메뉴로 제공되며, 특히 회냉면은 매콤새콤한 맛으로 인기가 많다. 도보로 강남역에서 쉽게 접근할 수 있고, 갈비탕과 같은 다양한 메뉴도 함께 즐길 수 있어 가족 단위나 직장인들이 즐겨 찾는 곳이다​(추천 : 네이버 블로그)​(추천 : 네이버 블로그).

 

과연 ChatGPT의 답변이 맞는지 검색을 해보자.

 

 

검색결과를 지도와 함께 살펴보니 "강남면옥"이라는 곳이 강남에 있기는 하지만 신사점이다. 강남역과는 5분은 커녕 상당히 떨어진 곳에 있는 점포다. 도보로는 갈 수 있는 거리가 아니다. ChatGPT의 답은 맞다고 볼 수 가 없다.

 

그렇다면 이번에는 프롬프트를 수정해서 다시 시도해본다.

 

Prompt:

"강남역 사거리에서 도보 5분 거리 이내에 함흥냉면 전문점은? 만일 모르면 모른다고 답하라. 없으면 없다고 하라. 정보가 부족하면 부족하다고 하라"

 

ChatGPT 답변:

"강남역 사거리에서 도보 5분 거리 이내에 함흥냉면 전문점에 대한 명확한 정보는 부족하다. 검색된 정보는 주로 강남역에서 다소 떨어진 지역에 위치한 곳들이 포함되어 있다. 함흥냉면 전문점으로 유명한 몇몇 식당은 강남역보다는 선릉역과 같은 인근 지역에 위치하고 있다.

따라서, 강남역 사거리에서 정확하게 도보 5분 거리 이내에 위치한 함흥냉면 전문점이 있다는 정보는 확인되지 않았다."

 

이런 식으로 답변이 나와야 하는 것이었다. 정보가 부족한 상황에서 억지로 답변하는 것이 문제였고, 추가한 프롬프트 덕분에 그 문제가 해결된 것이다. 생각해보면, 이럴 거면 처음부터 알아서 좀 걸러서 해주지... 꼭 시켜야만 사실을 말하나? 그런 생각이 들지만, 지금의 ChatGPT의 한계를 인정하고 넘어간다.

 

 

 

어떻게 사용할 것인가

답변의 신뢰도를 높이겠다고 항상 "모른다고 하라"를 달고 다니기는 곤란한 것이 사실이다. 상황에 따라서 포함 여부를 선택해야할 것이다. 만일 좀 의심스럽다, 확신이 없다 싶은 상황에서 선택적으로 활용하는 수 밖에 없을 것이다.

 

 

 

 

 

 

-----------

 

#챗gpt #gpt #AI #챗gpt #AI활용
#전용준 #리비젼 #리비젼컨설팅 #promptstrategies

 

 

 

[챗GPT] 모르면 모른다고 하라 - 프롬프트 사용법 예제 3가지 - Tutorial 영상

https://www.youtube.com/watch?v=qN7zGW4m_bc&t=282s

 

 

 

* 연관된 영상 :: 

 

[챗GPT] 질문 시키기 - 프롬프트 명령 사용법 - 프롬프트가 모호하다면 바로 답하는 대신 물어보게 하기
https://www.youtube.com/watch?v=6ElU56cJoYQ&t=4s

 

 

[챗GPT] 프롬프트 흐름 설계 - 프롬프트 엔지니어링 - 복잡하지만 중요한 문제에 대해 체계적으로 단계를 나누고 프롬프트의 흐름을 미리 설계하는 방법과 활용 방안
https://www.youtube.com/watch?v=tnsqznxW45Q

 

 

 

 

* by promptStrategies, 전용준. 리비젼컨설팅 https://revisioncrm.tistory.com/182 

+82-2-415-7650