[promptStrategies TIPs Series #4] ChatGPT의 틀린 응답? 그 종류는?

 

[promptStrategies TIPs Series #4] ChatGPT의 틀린 응답? 그 종류는?

 

 

 

멍청한 ChatGPT가 잘못된 응답을 한다?

 

생성AI 모델들은 당연히 그럴 수 있고, 그런 경우가 많기도 하지만, 원하는 결과가 나오지 않는 경우도 종류가 구분된다. (틀렸다고 다 같은 것이 아니다)

 

 

♣  misinformation

♣  misinterpretation

♣  misgeneration (incl. hallucination)

 

이들은 각기 다른 이유와 결과를 가진다. 종류를 구분할 수 있다면 잘못된 응답이 맞는지에 대해서 확신을 얻을 수도 있고, 해당 프롬프트를 사용하는 것을 포기할 것인지 아니면 프롬프트를 부분 수정해서 사용할 것인지등 대책을 세우기가 쉬워진다.

 

 

A distant view of a cute AI robot, resembling a toy, with visible scratches all over, making a mistake and expressing confusion with its arms spread wide. This minimalistic image should depict the robot in a simplistic, toy-like design, using a color palette of blue, white, and grey. The robot appears slightly damaged and malfunctioning, with an innocent expression of bewilderment and its hands thrown wide as if to say "I don't understand." The background is minimal and unobtrusive, focusing on the robot's small, distant figure in the wide format, emphasizing its isolated and slightly worn-out appearance.

 

 

 

ChatGPT가 잘못된 응답을 제공하는 경우, 그 원인과 결과는 다음과 같이 세 가지 주요 범주로 나눌 수 있습니다:

1. Misinformation (오정보): 이는 ChatGPT가 잘못된 정보나 사실을 제공하는 경우를 말합니다. 이러한 오류는 훈련 데이터에 포함된 잘못된 정보나 오래된 정보, 혹은 모델이 다양한 출처로부터 정보를 잘못 종합하여 발생합니다. 예를 들어, 역사적 사실에 대한 잘못된 설명이나 최신 데이터를 반영하지 못하는 경우가 여기에 속합니다.
2. Misinterpretation (오해석): 이 경우는 ChatGPT가 사용자의 질문이나 요청을 잘못 이해하는 상황입니다. 즉, 모델이 질문의 의도나 맥락을 제대로 파악하지 못하여 부적절하거나 관련 없는 응답을 하는 것입니다. 이러한 오류는 주로 질문이 모호하거나, 모델이 특정 주제나 맥락에 대한 이해가 부족할 때 발생합니다.
3. Misgeneration (오생성) / Hallucination (환각): 오생성은 모델이 사실과 다르거나 현실에 없는 내용을 '생성'하는 경우를 말합니다. 여기에는 '환각'이 포함되며, 이는 모델이 완전히 허구의 정보나 이야기를 만들어내는 것을 의미합니다. 이는 모델이 추론 과정에서 오류를 범하거나, 충분한 정보 없이 스스로 내용을 '추측'하는 경우에 발생합니다.

각 범주는 서로 다른 원인과 해결 방법을 가지며, 이를 이해하는 것은 ChatGPT의 오류를 정확히 파악하고 대처하는 데 중요합니다.

 

 

예를들어,

"나폴레온이 나이키를 사오라고 시켰다"라는 식의 잘못된 답변이 나왔다고 한다면 "Misgeneration (오생성) / Hallucination (환각)" 범주에 속합니다. 이 경우, 모델이 역사적인 인물인 나폴레온과 현대의 브랜드인 나이키를 연결시키는 완전히 허구의 상황을 만들어내고 있습니다. 현실적으로 불가능하거나 사실과 전혀 다른 이러한 내용은 모델이 정보를 잘못 결합하거나, 존재하지 않는 사건을 '창조'하는 과정에서 발생하는 오류로 볼 수 있습니다. 이는 모델이 추론 과정에서 현실적이지 않은 결론을 내리거나, 충분한 정보 없이 내용을 '추측'하는 결과입니다.

 

 

A Disney-style cartoon image of Napoleon Bonaparte wearing white Nike basketball shoes with an orange logo instead of his traditional military boots, and red socks. Napoleon is portrayed in a whimsical, exaggerated cartoon style typical of Disney, maintaining his iconic military uniform, complete with medals and his famous bicorne hat. He stands confidently, with a playful smirk, highlighting his anachronistic footwear. The background features a whimsical 19th-century European setting, perhaps a battlefield or a grand palace, drawn in a vibrant, exaggerated Disney-like manner.

 

 

 

만일 "빨간 양말을 그리라"고 했는데 파란 양말을 그렸고, "빨간 양말 그린 것 맞는가" 물어보면 맞다고 우긴다면 이때는 (빨간 양말도 파란 양말도 존재할 수 있는 것이므로) 환각은 아니지만 생성과정이 제대로 작동되지 못한 다른 유형의 misgeneration입니다.

 

한편 misinformation은 모델 학습에 사용된 데이터 자체가 잘못되어 (특히 현재 시점 기준으로) 발생된다는 점에서. 학습데이터 자체는 아무 문제가 없으나 생성 과정에서 잘못이 발생되는 misgeneration과는 차이 있습니다. 한국에서 인기 있는 국물요리로 "감자(potato)가 안들어간 감자탕"을 응답했다면 또는 경기도의 도청 소재지를 인천이라고 말했다면 이런 것들은 misinformation, 감자탕의 주재료로 "고구마"를 답했다거나 감자탕은 "얼음을 띄워먹는 중국의 요리"라고 했다면 이는 misgeneration에 해당 합니다.

 

 

 

 

Note :: 

이 글은 "디지털 마케터의 챗GPT 활용 전략" 책을 보강 Update하기 위한 내용입니다. 책에 대한 소개는 다음을 참고하세요

https://revisioncrm.tistory.com/596

[책] 디지털 마케터의 챗GPT 활용 전략: 어떻게 다른가?