Thinking with AI: 프롬프트 이후를 말하기 전에

Thinking with AI: 프롬프트 이후를 말하기 전에

 

제미나이가 생성한 이미지: "Thinking with AI. Controlling AI"

 

 

 

최근 들어 AI를 잘 쓰는 방법에 대한 이야기들이 조금씩 달라지고 있다. 한동안은 “좋은 프롬프트가 무엇인가”가 거의 모든 논의의 중심이었다. 더 구체적으로 지시하고, 더 영리하게 역할을 부여하고, 더 정교하게 문장을 다듬으면 결과도 좋아진다는 믿음이 있었다. 그런데 요즘은 질문 자체가 바뀌고 있다. 사람들은 점점 덜 묻는다. 어떤 프롬프트가 좋은가를. 대신 이런 질문이 더 많이 나온다. 무엇을 물어야 하는가, 어디까지 맡겨도 되는가, 이 결과를 믿어도 되는가.

이 변화는 단순히 관심사가 옮겨간 것이 아니다. 모델이 바뀌었고, 사용하는 방식도 바뀌었고, 무엇보다 실패하는 방식이 달라졌다.

먼저 모델 자체가 예전과는 다르게 작동한다. 지금의 모델들은 과거보다 훨씬 덜 까다롭다. 예전에는 문장 하나를 어떻게 쓰느냐에 따라 결과가 크게 달라졌지만, 이제는 다소 거친 지시에도 그럴듯한 답을 내놓는다. 분명히 편해진 건 맞다. 그런데 여기서 한 가지 중요한 변화가 생긴다. 결과의 품질을 결정하는 요소가 더 이상 문장 기술에만 있지 않게 된 것이다. 무엇을 하려는지, 어떤 맥락을 주는지, 결과를 무엇으로 판단할지 같은 것들이 더 크게 작용한다.

 

사용 방식도 눈에 띄게 달라졌다. 한 번 물어보고 끝내는 경우는 점점 줄어들고, 여러 번 주고받으면서 결과를 다듬는 방식이 많아졌다. 실제로 AI를 잘 쓰는 사람일수록 한 번에 정답을 뽑으려 하지 않는다. 대신 중간 결과를 보고 다시 묻고, 방향을 수정하고, 기준을 바꾼다. 이 과정에서 중요한 건 문장을 잘 쓰는 능력이라기보다, 문제를 쪼개고, 중간 결과를 판단하고, 다음 질문을 다시 설계하는 능력이다.

가장 크게 달라진 건 실패의 양상이다. 예전에는 프롬프트를 잘못 쓰면 결과가 엉망이 되는 식의 실패가 많았다. 지금은 조금 다르다. 결과는 대체로 그럴듯하다. 문제는 그럴듯함이 정확함처럼 보인다는 데 있다. 특히 문서나 코드, 분석 결과를 만들 때 사람들은 형식과 방향은 더 또렷하게 지시하면서도, 정작 그 결과를 의심하거나 검증하는 데는 덜 신경 쓰는 경우가 많다. 결과적으로 더 빠르게 답을 얻지만, 더 쉽게 틀릴 수도 있다.

이런 흐름 속에서 “좋은 질문이 좋은 프롬프트보다 중요하다”는 말이 자주 나온다. 틀린 말은 아니다. 다만 정확히 말하면, 질문이 프롬프트를 대체한다기보다 그 위에 있는 개념에 가까워지고 있다. 프롬프트는 여전히 필요하다. 하지만 그것만 잘 만든다고 해결되는 문제는 점점 줄어들고 있다. 문제를 어떻게 정의하는지, 어떤 기준으로 결과를 볼 것인지, 그 결과를 어떻게 다시 다듬을 것인지까지 함께 설계되어야 의미가 생긴다.

소크라테스식 질문 방식에 대한 평가도 비슷하다. 질문을 통해 사고를 유도하고, 단계적으로 이해를 쌓게 만드는 방식은 분명 도움이 된다. 하지만 이걸 AI가 대신 생각해 준다는 증거로 받아들이는 건 무리가 있다. 이 방식의 핵심은 답을 대신 만들어 주는 데 있지 않다. 오히려 생각을 잠시 멈추게 하고, 흐름을 정리하게 만드는 데 있다. 잘 쓰면 사고를 돕는 도구가 되지만, 잘못 쓰면 그럴듯한 대화를 반복하는 데 그칠 수도 있다.

AI 활용 능력에 대한 얘기도 비슷한 지점에 와 있다. 요즘은 AI를 잘 다룬다는 말이 점점 더 많이 쓰이지만, 그 의미가 아직은 불분명하다. 많은 경우 그건 도구를 능숙하게 쓰는 것을 뜻한다. 하지만 실제로 더 중요한 건 다른 데 있다. 무엇을 믿고 무엇을 의심할지, 언제 멈추고 언제 더 파고들지, 결과를 어떻게 해석할지에 대한 판단이다. 문제는 이 부분이 생각만큼 빠르게 따라오지 않는다는 점이다.

여기서 지금 상황의 묘한 균형이 드러난다. 우리는 분명 더 빠르게 결과를 만들 수 있게 되었고, 겉으로 보면 더 잘 쓰고 있는 것처럼 보인다. 그런데 그 과정에서 판단을 덜 하게 되는 순간도 늘어나고 있다. 속도가 올라가면서 검증이 따라오지 못하는 것이다.

이 문제는 개인 수준을 넘어서 조직에서도 그대로 나타난다. 많은 기업이 AI를 도입하면서 생산성을 기대하지만, 실제로 막히는 지점은 모델 성능이 아니라 운영 방식이다. 어디까지 맡길 것인지, 어느 단계에서 사람이 확인할 것인지, 결과를 어떤 기준으로 볼 것인지가 정리되어 있지 않으면, 효율이 아니라 혼란이 커질 수 있다. 이때 필요한 건 더 정교한 프롬프트가 아니라, 기준과 판단의 구조다.

(예방적 부록: 이 글을 잘못 읽을 가능성을 막기 위한 조언

핵심은 프롬프트를 “많이 쓰는 기술”이 아니라 모델의 잠재능력을 올바르게 끌어내는 정렬 도구로 재정의해야 한다는 점이다. 최신 모델에서는 과도한 절차·중복 규칙·장문 맥락이 오히려 탐색 능력과 추론 유연성을 제한할 수 있다. 동시에, 프롬프트가 없거나 부정확하면 모델의 성능은 충분히 발휘되지 않는다. 따라서 중요한 것은 양이 아니라 정확한 제약과 충분한 자유의 균형이다. 프롬프트는 목표, 성공 기준, 핵심 맥락을 명확히 하는 데 집중하고, 상태 관리·추론 제어·형식 강제는 API와 시스템 계층으로 분리하는 것이 바람직하다. 성능 차이는 문장 기교가 아니라, 모델이 스스로 잘 풀 수 있는 문제 구조로 과업을 설계하는 능력에서 발생한다. 결국 좋은 프롬프트는 모델을 묶지 않고, 올바른 방향으로 최대한 잘 작동하게 만든다. )

 

 

 

결국 지금 벌어지고 있는 변화는 비교적 단순하게 정리할 수 있다. AI 활용의 중심이 문장을 다루는 기술에서, 판단을 설계하는 방식으로 옮겨가고 있다. 다만 이 변화는 아직 진행 중이다. 기술은 이미 앞서 나갔지만, 사용 방식과 사고 습관은 그 속도를 완전히 따라가지 못하고 있다.

이 상황에서 몇 가지는 분명해 보인다.

프롬프트 자체에만 집중하는 방식은 점점 한계를 드러낼 것이다. 기본적인 구조화 능력은 필요하지만, 그것만으로는 차이가 나지 않는다. 결국 중요한 건 무엇을 문제로 설정하느냐와, 결과를 어떻게 다루느냐다.

또 하나는 질문과 검증의 중요성이다. 좋은 질문은 방향을 잡아주고, 검증은 결과를 지탱해 준다. 둘 중 하나라도 빠지면 결과는 쉽게 흔들린다.

조직 입장에서도 AI는 기술이 아니라 운영의 문제에 더 가깝다. 어떤 일을 맡길 것인가보다, 그 일을 어떻게 관리할 것인가가 더 큰 영향을 미친다.

마지막으로 남는 건 꽤 단순한 사실이다. AI는 생각을 대신해 주지 않는다. 대신 우리가 가진 판단을 더 크게 드러나게 만든다. 잘 판단하는 사람은 더 빠르게 앞으로 나아가고, 그렇지 않은 경우에는 더 빠르게 잘못된 방향으로 갈 수 있다.

그래서 이제 질문을 조금 바꿔야 한다.
AI를 어떻게 잘 쓸 것인가가 아니라,
우리가 얼마나 제대로 판단하고 있는가를 먼저 물어야 할 시점이다.

 

 

 

 

 

 

              ---  실전 비즈니스 프롬프트 엔지니어링 ---

 

#실전비즈니스프롬프트엔지니어링
#비즈니스프롬프트엔지니어링
#프롬프트엔지니어링
#프롬프트

 

 

 

 

참고::
이 글은 <실전 비즈니스 프롬프트 엔지니어링> 책의 내용을 보강하기 위한 자료입니다. 
https://revisioncrm.tistory.com/815

<실전 비즈니스 프롬프트 엔지니어링 - 방법론과 적용> 책 소개 Light

 

 

관련 영상: 평범해 보여도 실제로 가장 큰 영향을 미치는 핵심적인 프롬프트의 조건들

https://www.youtube.com/watch?v=H-0uvj3gKTc

 

 

 

관련 영상: 프롬프트의 정체와 목적, 그리고 그래서 어떻게 특히 업무용 프롬프트를 작성해야 하는가에 대한 핵심적 조건 고찰

https://www.youtube.com/watch?v=VLakqQMYSZI&t=26s

 

* by promptStrategies, 전용준. 리비젼컨설팅 https://revisioncrm.tistory.com/182 
+82-2-415-7650