[promptStrategies TIPs Series #11] ChatGPT의 이미지 인식 기능을 100% 활용하려면?

[promptStrategies TIPs Series #11] ChatGPT의 이미지 인식 기능을 100% 활용하려면?

 

 

 

................    ChatGPT는 사용자가 제공하는 이미지에 대해 파악하고 설명하는 기능(multimodal)을 가지고 있다. 하지만 그 기능을 100% 활용하려면 어떻게 해야할까? 그냥 이미지를 주고 "이 이미지 설명해봐"라고 하면 필요한 모든 것을 얻을 수 있을까?

 

 

 

멀티모달의 이미지 인식 기능이 추가된 ChatGPT는 디지털 마케팅과 콘텐츠 생성에 다음과 같은 긍정적인 영향을 줄 수 있습니다:

1. 콘텐츠 개인화: 이미지 인식을 통해 사용자의 관심사나 선호도를 파악하고 이에 맞춘 맞춤형 콘텐츠를 생성할 수 있습니다.
2. 비주얼 검색 최적화: 이미지 콘텐츠를 분석하여 그에 대한 텍스트 설명을 제공함으로써 검색 엔진 최적화(SEO)에 도움을 줄 수 있으며, 이는 비주얼 검색 결과의 정확성과 가시성을 향상시킬 수 있습니다.
3. 콘텐츠 검증과 분석: 게시된 이미지 콘텐츠를 분석하여 브랜드 이미지와 일치하는지, 저작권이나 사용 권리에 문제가 없는지 등을 신속하게 검증할 수 있습니다.
4. 대화형 광고: 이미지 인식 기능을 활용하여 사용자와의 상호작용을 기반으로 한 맞춤형 대화형 광고를 제작할 수 있습니다.
5. 소셜 미디어 분석: 소셜 미디어 플랫폼에서 공유되는 이미지를 분석하여 트렌드를 파악하고, 타겟 오디언스의 관심사에 대한 인사이트를 얻을 수 있습니다.
6. 자동화된 콘텐츠 생성: 이미지 콘텐츠를 분석하여 관련 텍스트 콘텐츠를 자동으로 생성함으로써 콘텐츠 제작의 효율성을 높일 수 있습니다.
7. 감정 분석: 이미지 내의 인물 표정이나 상황을 분석하여 소비자의 감정 반응을 파악하고, 이를 통해 더욱 공감을 불러일으키는 마케팅 전략을 개발할 수 있습니다.
8. 경쟁 분석: 경쟁사의 이미지 콘텐츠를 분석하여 그들의 마케팅 전략을 이해하고, 이를 기반으로 자사의 전략을 조정할 수 있습니다.
9. 인터랙티브 콘텐츠: 이미지 인식 기능을 활용하여 사용자가 이미지를 업로드함으로써 상호작용하는 콘텐츠를 만들어 사용자 참여를 증가시킬 수 있습니다.
10. 브랜드 모니터링: 인터넷 상의 이미지를 실시간으로 모니터링하여 브랜드 로고나 제품이 어떻게 사용되고 있는지를 파악하고, 브랜드의 온라인 이미지를 관리할 수 있습니다.

이러한 기능들은 디지털 마케팅과 콘텐츠 생성에서 창의적인 가능성을 확장하고, 브랜드의 시장 경쟁력을 강화하는 데 기여할 수 있습니다.

 

 

 

이미지에서 추출할 수 있는 정보의 유형

 

이미지를 분석하고 설명하는 기능을 통해 다음과 같은 측면을 파악할 수 있습니다:

1. 시각적 구성: 이미지의 구조와 배열, 예를 들어 인물, 물체, 배경의 위치와 그들 사이의 관계 등을 설명할 수 있습니다.
2. 색상과 조명: 색상의 사용, 채도, 명도, 대비와 함께 조명의 방향과 강도에 대한 정보를 제공할 수 있습니다.
3. 스타일과 기법: 이미지가 디지털 일러스트레이션인지, 수채화 페인팅인지, 사진인지 등 그림의 스타일과 기법을 설명할 수 있습니다.
4. 감정과 분위기: 이미지가 전달하는 감정이나 분위기, 예를 들어 밝고 경쾌한 느낌, 어두운 또는 심각한 분위기 등을 해석할 수 있습니다.
5. 텍스트의 유무와 내용: 이미지에 텍스트가 포함되어 있는 경우, 그 내용을 읽고 전달할 수 있습니다.
6. 인물의 특성: 인물의 외모, 표정, 포즈, 의상 및 액세서리에 대한 정보를 제공할 수 있습니다.
7. 물체와 소품: 이미지에 나타난 물체나 소품의 종류, 형태, 사용 목적 등을 설명할 수 있습니다.
8. 상징과 은유: 이미지 내의 상징적 요소나 은유적 표현을 식별하고 설명할 수 있습니다.

이 기능을 통해 이미지에 대한 풍부한 설명을 제공하여 시각 자료를 이해하는 데 도움을 줄 수 있습니다.

 

 

 

 

 

이제 연습용으로 다음과 같은 이미지를 제공하고 이미지에 대해 파악해보자. 실제로 해봐야 감이 올 것이다.

 

이미지 source : https://www.kdnuggets.com/what-i-learned-from-using-chatgpt-for-data-science?fbclid=IwAR3mIZP5bKxKGMM9JfRbY76BsrZ-YDHOThAUz6uRF5AzLxrV4CrfoJFyyCQ

 

 

한 여성이 노트북을 사용해서 무언가를 하고 있는 모습이다. 

ChatGPT에게 이미지를 설명하라고 해보자.

 

Prompt:

"이 이미지를 설명하라" 

 

Response:

이 이미지는 컴퓨터 앞에 앉아 있는 젊은 여성을 묘사한 디지털 카툰 스타일의 일러스트입니다. 그녀는 오렌지색 머리카락을 하고 있고, 큰 녹색 안경을 착용하고 있습니다. 귀에는 헤드폰을 끼고 있으며, 흰색 티셔츠를 입고 있는데, 티셔츠에는 하트 모양의 문신이 보입니다. 그녀의 팔에는 여러 문신이 있으며, 오른쪽 손으로 노트북을 조작하고 있습니다. 책상 위에는 커피잔과 연필 꽂이가 있어 작업 환경을 연출하고 있습니다. 이 이미지는 현대적인 작업 공간의 모습과 개성 있는 캐릭터를 표현하고 있습니다.

 

특정한 부분을 콕 찝어 요청한 것이 아니니 이미지의 다양한 측면의 특성에 대해 설명해준다. 

 

그러면 이제 이미지에 대한 설명을 ChatGPT내의 DALL-E로 생성해보자. 아마도 제공한 이미지가 얼마나 우리가 원하는 방향으로 설명된 것인지를 대략 확인해 볼 수 있을 것이다. 시도해보자.

 

The image depicts a young woman with orange hair sitting in front of a computer, captured in a digital cartoon style. She is wearing large green glasses and headphones, and is dressed in a white t-shirt adorned with a heart-shaped tattoo visible on it. Her arms are covered with various tattoos, and she is using her right hand to operate a laptop. On the desk, there is a coffee cup and a pencil holder, setting up a modern work environment. The image conveys the appearance of a contemporary workspace and a character with a distinct personality.

 

 

이런 . . . !!!  시각적으로 이미지에서 느낀 것과는 영 다른 모습이라고 생각되는 이미지가 생성되었다. 내가 생각하는 것과 ChatGPT가 이미지를 인식하면서 파악한 것이 차이가 있기 때문일 것이다.

 

 

이번에는 다른 프롬프트를 사용해 본다. " 이미지의 페인팅 스타일 특징을 상세히 설명하라 "

 

Response: 

이 이미지는 디지털 방식으로 만들어진 카툰 스타일의 일러스트레이션이다. 몇 가지 주요 특징은 다음과 같습니다:

• 라인 아트(Line Art): 깔끔하고 정교한 검은색 윤곽선이 캐릭터의 형태를 구성하고 있으며, 이는 전형적인 만화 책이나 애니메이션 스타일의 라인 아트와 유사하다.
• 채색(Coloring): 선명하고 깨끗한 평면 색상으로 채색되어 있으며, 캐릭터의 머리카락은 오렌지 색상으로, 티셔츠는 흰색으로, 피부는 자연스러운 톤으로 표현되어 있다.
• 음영과 하이라이트(Shading and Highlighting): 적당한 음영과 하이라이트가 사용되어 입체감을 부여하고 있지만, 과하지 않은 수준으로 적용되어 만화적 느낌을 유지하고 있다.
• 스타일(Style): 캐릭터의 눈은 크고 표현이 풍부하며, 이는 애니메이션 캐릭터에게 자주 볼 수 있는 특징이다. 또한, 머리카락과 옷의 스타일은 현대적인 패션 감각을 반영하고 있다.
• 액세서리(Accessories): 캐릭터는 헤드폰을 착용하고 있으며, 안경도 캐릭터의 개성을 강조하는 요소로 사용되고 있다.
• 배경과 소품(Background and Props): 캐릭터는 노트북 앞에 앉아 있으며, 데스크에는 커피잔과 연필꽂이가 있어 일하는 분위기를 연출하고 있다. 이러한 소품들은 디테일이 잘 표현되어 캐릭터의 환경을 더욱 리얼하게 만들어준다.

이러한 특징들은 모두 전체적으로 현대적이고, 캐주얼한 느낌의 디지털 아트 스타일을 만들어내고 있다.

 

 

요약해보면,

"This digital cartoon-style illustration features clean line art with precise black outlines, vibrant flat colors, moderate shading for depth without losing the comic feel, expressive large eyes, and modern fashion elements. Accessories and detailed props set a contemporary, casual scene, enhancing the character's personality."

 

 

자 이제 새로운 이미지에 이 페인팅 스타일을 적용해서 생성해 보자.

 

"A young, progressive analyst is conducting advanced data analysis on a computer at a desk. The scene is wide-shaped and minimalistic, with a cartoonish exaggeration of the character's head being disproportionately large. The analyst is casually dressed with transparent frame goggle-like glasses. The digital cartoon-style illustration has clean line art with precise black outlines, vibrant flat colors, and moderate shading to suggest depth without compromising the comic feel. The character has expressive large eyes and embodies modern fashion elements. Accessories and detailed props create a contemporary, casual setting that accentuates the character's personality."

 

 

A young, progressive analyst is conducting advanced data analysis on a computer at a desk. The scene is wide-shaped and minimalistic, with a cartoonish exaggeration of the character's head being disproportionately large. The analyst is casually dressed with transparent frame goggle-like glasses. The digital cartoon-style illustration has clean line art with precise black outlines, vibrant flat colors, and moderate shading to suggest depth without compromising the comic feel. The character has expressive large eyes and embodies modern fashion elements. Accessories and detailed props create a contemporary, casual setting that accentuates the character's personality.

 

 

얼마간은 느낌이 근처에 가는 것 같지만 흡족할 정도로 스타일이 유사하지는 않다.  분명 좀 더 발전시켜야할 것 같다.

 

이 정도 상황에서, 어떤 요소를 이미지로 부터 추출할 수 있었던 것인지에 대해 다시 생각해 보면, 페인팅 스타일과 색상 사용은 별개라는 점을 깨닫게 된다. 이번에는 그러면 색상 활용에 대해 검토해 보자.

 

 

Response:

이 이미지는 선명하고 생동감 있는 색상을 사용하여 디지털 카툰 스타일의 일러스트레이션을 만들어내고 있습니다. 주요 색상 사용 스타일은 다음과 같습니다:

• 포화된 색상: 캐릭터의 머리카락은 포화된 오렌지색으로, 피부는 부드러운 톤의 베이지색으로 표현되어 있습니다.
• 대조적인 색상: 헤드폰은 머리카락의 오렌지색과 대비되는 테일 블루 색상으로 되어 있어 눈에 띕니다.
• 중간 톤: 티셔츠는 중간 톤의 흰색을 사용하고 있으며, 목에 보이는 문신은 더 어두운 오렌지색을 사용하여 티셔츠와 구분되게 합니다.
• 하이라이트와 그림자: 이미지에는 은은한 하이라이트와 그림자가 사용되어 입체감을 더하고 있으며, 이는 캐릭터와 객체에 깊이를 부여합니다.
• 배경: 책상과 주변 소품들은 중성적인 색상을 사용하여 캐릭터를 돋보이게 하는 동시에, 분위기를 조성합니다.

이러한 색상 사용은 전체적으로 조화롭고, 캐릭터에 생동감을 주며, 전체적인 카툰 느낌을 강조합니다.

 

 

 

색상에 대한 특성을 추가해보자. 무한정 길게 넣는 것은 전체에서 밸런스를 깰 수 있을테니 다음과 같이 요약한다.

 

"The illustration uses saturated orange for the character's hair and soft beige for the skin, creating a vivid look. Contrasting teal blue headphones stand out against the hair. A white t-shirt with mid-tones and darker tattoo accents separates elements. Subtle highlights and shadows add depth, while neutral colors in the background emphasize the character and set the mood."

 

 

 

 

이제 페인팅 스타일에 색상 사용 관련된 내용까지 더한 사용자의 프롬프트는 이런 모습이 된다.

 

"책상위의 컴퓨터를 사용해 advanced data analysis를 하고 있는 젊은 progressive 분석가. 캐주얼 차림에 투명 프레임의 고글형 안경을 쓰고 있다.
wide shape. minimalistic. 만화적으로 인물의 머리가 매우 크게 표현됨.
digital cartoon-style illustration features clean line art with precise black outlines, vibrant flat colors, moderate shading for depth without losing the comic feel, expressive large eyes, and modern fashion elements. Accessories and detailed props set a contemporary, casual scene, enhancing the character's personality.
The illustration uses saturated orange for the character's hair and soft beige for the skin, creating a vivid look. Contrasting teal blue headphones stand out against the hair. A white t-shirt with mid-tones and darker tattoo accents separates elements. Subtle highlights and shadows add depth, while neutral colors in the background emphasize the character and set the mood."

 

 

 

 

A young, progressive analyst is depicted conducting advanced data analysis on a computer at a desk. The analyst is casually dressed, wearing transparent frame goggle-like glasses, and the character's head is cartoonishly large. The background is plain white. The image is wide and minimalistic. This digital cartoon-style illustration showcases clean line art with precise black outlines, vibrant flat colors, moderate shading for depth while maintaining a comic feel, expressive large eyes, and modern fashion elements. Accessories and detailed props set a contemporary, casual scene, enhancing the character's personality. The character's hair is a saturated orange, and the skin is a soft beige for a vivid appearance. Contrasting teal blue headphones stand out, and a white t-shirt with mid-tones and darker tattoo accents differentiates elements. Subtle highlights and shadows add depth, with neutral colors in the background to emphasize the character and mood.

 

 

 

 

 

여전히 처음 이미지와 완벽하게 유사하다고 할 수는 없어 보이지만 전반적인 느낌은 비슷해진 것 같다.

어떤 또 다른 측면을 파악해서 반영해야할지에 대해 고민이 더 필요해 보인다.

 

 

Recap ::

ChatGPT가 제공하는 이미지 생성 기능을 활용하기 위해서는 이미지로 부터 어떤 측면에 대한 정보를 추출할 것인지를 정하고, 테스트 해봐야 한다. 내가 원하는 것이 어떤 정보인지를 구체화하지 않는다면 알아서 ChatGPT가 내 속마음을 읽어 주지는 않을 것이다. 내가 원하는 것이 색상인지, 인물인지, 기법인지, 소품인지 대체 무엇인지를 정해야만 이미지 인식 기능을 100% (? 혹은 그 근처까지라도?) 활용할 수 있을 것이다.
단, 절대 잊으면 안될 사실은 ChatGPT의 이미지 인식 기능이 아직 완성도가 매우 높은 것은 아니라는 점이다. 그대로 믿기에는 아직은 충분하지 않다. 응답을 검토해 채택할 부분과 수정할 부분을 사용자 스스로 처리해야하는 부담이 적어도 아직은 상당히 있는듯 보인다.

 

 

 

 

Note :: 

이 글은 "디지털 마케터의 챗GPT 활용 전략" 책을 보강 Update하기 위한 내용입니다. 책에 대한 소개는 다음을 참고하세요

https://revisioncrm.tistory.com/596

[책] 디지털 마케터의 챗GPT 활용 전략: 어떻게 다른가?

 

 

 

관련 글들 ::

ChatGPT가 무엇을 주기를 바라는가? 목표가 무엇인가?

https://revisioncrm.tistory.com/626

[promptStrategies TIPs Series #7] ChatGPT가 무엇을 주기를 바라는가?

 

 

 

ChatGPT Vision을 활용한 Life Advisor?

https://revisioncrm.tistory.com/569

ChatGPT Vision으로 Life Advisor 애플리케이션을?