프롬프트 엔지니어링의 아킬레스건과 데이터 사이언스 시행착오의 교훈
프롬프트 엔지니어링의 아킬레스건과 데이터 사이언스 시행착오의 교훈
프롬프트 엔지니어링은 원래 필요 없었던 것일까
프롬프트 엔지니어도 프롬프트 엔지니어링도 필요 없어질 것이라고 하는 이야기들이 조금씩 나오기 시작한다. 프롬프트 자동 최적화라는 환상 때문일 수도 있겠지만, 어쩌면 결과의 차이를 보지 못하는 경험들이 쌓여서일 수 있을 것이다. 도메인을 모르는 사람이 가진 기술은 쓸모없다는 점에 대해서 한번 생각해 보자. 데이터 사이언티스트가 도메인을 모르면 인사이트를 만들 수 없다. 마찬가지로 프롬프트 엔지니어가 도메인을 모르면 의미 있는 프롬프트를 설계할 수 없다. 기술만 가지고는 문제를 제대로 해결할 수 없다. 기술은 목적을 달성하기 위한 수단일 뿐이고, 그 목적은 도메인이 정한다. 문제의 본질을 모른 채 도구만 휘두르면 방향은 어긋나고 결과는 왜곡된다.
데이터 사이언스는 모델을 만들고, 정확도를 높이고, 예측을 잘하는 기술의 영역처럼 보일 수 있다. 하지만 정말 중요한 건 무엇을 예측하고 왜 예측해야 하는지를 파악하는 능력이다. 병원 데이터를 분석할 때는 진단 코드의 구조, 환자의 경로, 의료 행위의 맥락을 알아야 한다. 교육 데이터를 다룰 때는 학습자의 행동, 교육과정의 구조, 평가 체계를 이해해야 한다. 도메인이 빠진 데이터 분석은 수치나 차트만 남고 의미는 사라진다. 결과는 그럴싸하지만 쓸모없는 보고서로 남는다. 아무도 다시 찾지 않는다.
프롬프트 엔지니어링도 같다. 단순히 문장을 다듬는 일이 아니다. 어떤 질문을 어떤 맥락에서, 어떤 구조로 던져야 하는지를 설계하는 일이다. LLM은 강력하다. 하지만 질문이 잘못되면 모델은 잘못된 또는 정의되지 않은 목표를 향해 빠르고 정확하게 달린다. 좋은 프롬프트는 모델을 통제하는 기술 이전에 문제를 정의하는 감각에서 시작된다. 그 감각은 도메인의 이해를 통해 만들어진다. 질문을 알아듣게 만드는 것이 아니라, 질문이 제대로 된 것이어야 한다. 그리고, 그 과정은 기술만으로 자동화될 수 있는 성격이 아니다.
도메인 지식만으로 기술을 대체하지 못한다
기술이 쓸모 있으려면 도메인이 필요하다. 하지만 도메인이 아무리 탄탄해도 기술이 부족하면 실행은 멈춘다. 데이터 사이언스는 통계, 머신러닝, 모델 해석, 실험 설계, 시각화까지 아우르는 복합 기술이다. 단순한 툴 조작만으로는 실제 문제를 풀 수 없다. 데이터가 왜곡되어 있는지, 모델이 과적합되었는지, 샘플링이 잘못되었는지를 판단하려면 깊은 기술적 이해가 필요하다. 그 때문에 용어가 등장한 초기에는 또 하나의 쓸모없는 Buzz Word가 등장했다고 치부해버리는 사람이 많았지만 십여년 지난 지금 어떤가? 어지간한 규모의 기업에는 데이터 사이언티스트가 직군인 사람들이 존재하며 팀을 구성하기도 하고 수십명씩 한 조직에 있는 경우도 있다.
프롬프트 엔지니어링도 갈수록 전문화되고 있고 기술이 발전할수록 더더욱 전문화될 수 밖에 없다. 모델마다 문법이 다르고, 컨텍스트 윈도우나 토큰 처리 방식도 다르다. 단순한 질의응답을 넘어 멀티스텝 사고를 유도하거나, 함수 호출과 연계하거나, 특정 포맷으로 출력을 강제하려면 고도의 설계 능력이 요구된다. 경험 없는 사람은 어디서 문제가 발생했는지, 무엇이 문제인지조차 파악하지 못한다. 반복적인 실험과 튜닝, 다양한 도메인과의 조합 경험이 기술의 깊이를 만든다.
도메인과 기술은 둘 다 필요하고 연결되어야 한다
문제는 하나만 있는 사람은 있어도, 둘을 연결할 수 있는 사람은 거의 없다는 데 있다. 기술자는 도메인 감각을 가져야 하고, 도메인 전문가는 기술의 제약과 가능성을 이해해야 한다. 완벽하게 까지는 이해하지 않아도 된다. 중요한 건 서로를 이해할 수 있을 만큼의 언어를 공유하고 최소한의 지식을 습득하는 일이다. 협업은 그 지점에서 시작된다.
수많은 프로젝트가 단지 기술력 부족 때문에만 실패하는 게 아니다. 대부분은 문제 정의가 잘못되었기 때문이다. 목표가 엉뚱하거나, 기준이 모호하거나, 해결하고자 하는 것이 실제로 중요하지 않은 경우가 많다. 기술자는 도메인의 질문을 올바르게 해석하지 못하고, 도메인 전문가는 기술의 한계를 무시한다. 이 간극이 문제를 키운다. 그 간극을 메우는 존재가 바로 스페셜리스트다. 수많은 데이터 사이언스 프로젝트들이 실패해왔고 또 실패해가고 있는 근본적 이유도 이 부분에 있다.
기술과 도메인을 연결해 실제 문제를 해결할 수 있는 스페셜리스트가 필요하다
AI 시대에는 누구나 기술을 사용할 수 있게 되었다. 하지만 도구를 사용할 수 있다는 것이 곧 문제를 해결할 수 있다는 뜻은 아니다. 오히려 도구가 보편화될수록 진짜 경쟁력은 문제 정의력과 해석력에 달려 있다. 그 해석은 기술과 도메인을 모두 이해하고, 연결할 수 있는 사람에게서만 나온다. 도구는 많아졌고, 정답은 흔해졌지만, 좋은 질문은 여전히 드물다.
데이터 사이언스의 확산 과정에서 겪어온 무수한 시행착오에서 교훈을 얻을 필요가 있다. 프롬프트 엔지니어링도 결국 같은 지점에 닿게될 것이다. 연결을 현실로 만들고 결과에 이르게할 사람이 있어야 진짜로 작동하는 인사이트가 나오고, 실질적인 해결책이 만들어진다. 이 시대의 경쟁력은 더 이상 한쪽 전문성에 머무르지 않는다. 연결할 수 있는 사람이 중심에 설 수 밖에 없는 구조다.
#비즈니스프롬프트엔지니어링