기업 데이터 사이언스 실패의 이유 7
writing started: 2022-10-21 .... under - writing
Yong Xune Xon 전용준 . 리비젼컨설팅 . 경영학 박사
데이터 사이언스에 대한 관심이 생겨나기 시작한지도 십년을 채워가는 시점. 데이터 사이언스에 대한 관심이 급격히 늘어나기 시작한지도 어림잡아 3년은 되어가는 시점.
그러나 자랑스레 우리 회사는 데이터 사이언스가 성공적으로 정착되었고 실질적으로 기업의 가치 증대와 목표 달성에 크게 기여하고 있다고 자랑할 수 있는 경우를 많이 찾아보기 어렵다.
그렇다면 어떤 이유들로 인해 기업들의 데이터 사이언스가 실패하는가?
무수한 이유들 중에 대표적인 일곱가지를 꼽아 본다면?
1. 데이터 사이언스와 무관한 사람이 데이터 사이언스를 관리한다
데이터 사이언티스트들은 비교적 최근에 생겨난 직군에 속한다. 그 타이틀로 인력을 확보하고 팀을 꾸리기는 했지만 막상 그 팀을 관리하거나 그 팀의 활동에 대해 직접 보고 받는 사람은 기존에 조직내에 오래 있었던, 그리고 데이터 사이언스와는 무관한 커리어를 가진 사람들인 경우가 많다.
데이터 사이언스에 대해 이해하지 못하는 관리자는 데이터 사이언스 실무자들이 진행하는 보고의 내용을 이해하지 못한다. 어떤 내용이 문제점인지 그 영향으로 어떤 파급효과가 발생할지에 대해서는 이해하지 못한다. 그럼에도 업무를 지시해야하기 때문에 중요하지 않은 일을 우선해서 수행하도록 지시하거나 잘못된 목표를 향해 방향을 수정하도록 할 수 밖에 없다. 시간이 많이 걸릴 일을 기간이 많이 걸릴 것으로 생각하지 않기도 하고, 분석을 한다고 해봐야 별 쓸모있는 것이 나오지 않을 것으로 그렇게 생각하지도 않기도 한다.
데이터 사이언티스들은 이 처럼 이해도가 낮은 관리자에게 보고하고 설명하기 위해 많은 시간과 노력을 들여야 한다. 더 중요한 일들 보다는 설명과 보고를 위해 많은 비중의 시간을 할애하게 된다. 데이터 사이언티스트들이 지쳐가면서 결국 보고에 들어가는 결과물 자체가 간단하고 쉬운 것들만으로 한정되어진다. 데이터 사이언스는 시간이 갈수록 점점 더 "보고를 위한 보고"를 위한 무언가로 바뀌어 가게 된다.
1. 초보 수준의 데이터 사이언티스트들로만 구성되어 있다
한편 당연한 상황일 수 있다. 최근의 폭증한 수요에 비해서는 준비된 공급이 많지 않기 때문에 부족한 수요를 채우기 위해서는 경력이 많지 않은 신규 인력들을 투입하게 되기 때문이다. 하지만 데이터 사이언스라는 쟝르의 특성상 열명의 신규 인력이 한 사람의 경험을 가진 인력을 대신하기가 어렵다. 그럼에도 조직을 만들기 위해 외형적인 인원수를 채운다. 그리고 외형적인 인원수에 곱해서 업무를 수행할 것이 기대된다. 만일 열명 중 한 명 정도만 경험을 가진, 독자적으로 무언가를 하기로 정하고 그 것을 완성할 수 있는 능력을 가진 사람이라면 그 사람은 자기 자신의 한명 분도 해낼 수가 없게 된다. 나머지 아홉명의 뒷바라지를 해야하기 때문이다. 독자적으로 아무 것도 할 수 없는 아홉명은 무엇을 해야할지 어떻게 해야할지 하고 있던 것이 왜 안되는지 어떻게 고쳐야 할지를 그 한 사람의 경험자에게 끊임없이 물어볼 수 밖에 없다.
결국 외형은 열명의 멋드러진 팀일지 몰라도 실제로 만들어낼 수 있는 것은 0.5명분의 결과물에도 미치지 못할 수 있다. 어쩌면 아홉명이 그래서는 안될 정도의 문제투성이인 차라리 없느니만 못한 사고들을 계속 만들어내고 있게 될수도 있다.
보통의 데이터 사이언티스트들의 능력치라고 치고 어느 정도는 독자적으로도 업무를 기획하고 수행하게 되는데 까지는 적어도 몇년의 경험이 쌓여야 한다. 박사급 이상의 지식을 가지고 있더라도 리더로서 팀원들을 코치하면서 이끌어갈 수준이 되려면 그 보다 훨씬 많은 시간의 실전 경험이 필요하다. 다양한 문제상황을 직간접으로 경험한 적이 있고 그 과정에서 해결이 되는 대책과 오히려 문제를 악화시키는 대책들을 겪어 봤어야 하기 때문이다.
많은 데이터 사이언스 팀에서 리더가 먼저 지치는 구조가 만들어질 수 밖에 없는 것이다. 물론 이 문제는 2022년 현재로부터 시간이 한 십년 정도 더 지난다면 지금 보다는 크게 나아질 성격의 문제이기는 하다.
1. 데이터 사이언스 팀이 기업내의 다른 부문들과 융합하지 못한다
전문적인 기술기업으로 대부분의 직원이 엔지니어들인 그런 유형의 기업들에서는 그나마 좀 다르지만, 보통의 기업들, 금융이든 유통이든 제조든 에서는 데이터 사이언스 팀이 오갈 수 있게 연결된 다리 같은 것이 없는 일종의 섬과도 같은 존재다. 서로가 상대를 이해하지 못한다. 아니 이해하거나 특성을 인정하려고 하지 않는다.
데이터 사이언스 팀에 속한 사람들이 처음에는 다른 부문과 매끄러운 협업을 추구하기도 한다. 그러나 무언가를 설명하고 또 반대로 설명하는 무언가를 이해하는 과정에서 소요되는 많은 노력이 점차 짐이 되어가면서 초심이 점점 사라져가게 된다. 시간이 지날수록 데이터 사이언스는 데이터 사이언스를 위한 데이터 사이언스가 되어가고 반대방향에서 그들을 바라보는 사람들은 그들이 스스로 고립을 자처하고 있으며 그저 피곤한 존재라고 여기게 되어간다. 더 이상 그들과 같이 일하고 싶지 않다고 생각하게 된다. 예산도 인력도 또다른 인력도 지원받기 점점 어려워져 간다.
물론 데이터 사이언스가 생산하는 기술과 제품이 기업의 주력제품인 경우도 일부 있을 수 있다. 그런 특수한 몇몇 경우를 제외한다면 대부분의 기업에서의 데이터 사이언스는 근본적으로 자기 자신을 위한 것이 아니다. 경영진을 포함한 다른 부문들의 활동과 의사결정을 지원하는 것이 주어진 역할이고 임무이다. 그렇다면 다른 부문들과의 융합에 있어서 주도적으로 책임을 져야한 곳은 바로 데이터 사이언스 자신이다. 먼저 문을 열고 다리를 놓아야하는 숙명을 가지고 있다. 이 때문에 데이터 사이언티스트의 역량 중 가장 중요한 역량이 바로 커뮤니케이션일 수 있다. 팀내에서 뿐 아니라 지원해야할 내부고객(즉, 경영진을 포함한 다른 부문의 사람들)과 소통해서 이해하고 이해시켜야 한다. 결국 데이터 사이언스가 성공적으로 기업에게 가치를 제공하기 위해서라면 최신버전의 머신러닝 엔진 파라미터 하나를 더 아는 것보다 수백배는 중요한 요소일 것이다.
1. 해당 기업이 감당할 수 없는 수준의 완성도를 추구한다
여기서 짚어보는 모든 문제들이 사실상 일정부분 연결된 것들이기는 하다. 인력이 부족하고 타부문의 지원도 제대로 얻지 못하고 데이터 사이언스의 책임자 부터 데이터 사이언스가 전문인 사람이 아니기 때문이니 이 모두가 복합적으로 문제를 일으키고 점점 더 악화시킬 수 있는 잠재력을 가지게 된다. 그 과정에서 데이터 사이언스 활동의 목표부터 비현실적인 수준의 완성도를 지향하게 되는 경우가 흔하다. 99.9%의 정확도를 가진 모델을 만들어내라거나 매출을 매월 10%씩 증가시키는 캠페인을 만들어내라는 식이다. 어제 출시된 신상품이 앞으로 얼마의 매출을 올릴 수 있을지를 높은 정확도로 계산하라는 것도 마찬가지다. 주어진 데이터와 데이터 사이언스 인력의 양과 질 양측면의 수준과 무관하게 꿈같은 목표를 설정하는 경우가 많다. 이런 황당한 목표를 주장하고 주도하는 사람들은 대부분 데이터 사이언스에 대한 이해도가 없는 사람들이다. 이런 경향은 결과의 완성도에만 국한되지는 않는다. 어떤 기술을 사용할 것인가에 대해서도 마찬가지이다. 무조건 딥러닝을 그것도 최신(즉, 아직 검증이 덜 된 또는 학술적으로만 시도된) 기술을 적용하기를 요구하기도 한다. 오히려 그 것이 완성도를 낮추고 시간과 비용을 기하급수적으로 더 많이 사용하게 될 것이라는 점은 전혀 이해하지 못한다.
1. 시장에 내부의 데이터 사이언티스 팀을 지원해줄 수 있는 (제대로된) 외부 공급자가 존재하지 않는다
데이터 사이언스를 표방하는 공급자가 시장에 전혀 없는 것은 아니다. 여러 솔루션들을 가지고 있다고도 하고 전문가 팀을 가지고 있다고 하기도 한다. 저마다 데이터 마이닝, 머신러닝, AI 인공지능 노하우를 가지고 있다고들 한다. 하지만 그런 기업의 사람들과 좀 더 이야기 하다보면, 그들이 성공적인 그리고 살아 움직이는 프로젝트들을 얼마나 가지고 있는지에 대해 물어보다 보면, 처음과는 말이 달라지는 것이 보통이다. 공급자가 없는 것이 아니라 <제대로된 공급자>가 없다.
순수 국내 기업이든 아니면 해외 솔루션을 공급하는 기업이든 막론하고 데이터 사이언스라는 나름 새로운 분야에 대해 많은 경험, 사례, 교훈을 구체적으로 제시하지 못한다. 팀 내에 (자칭?) 전문가라고 하는 사람들 조차 어떤 특정 분야의 기술이나 특정 산업분야의 문제 유형에 대해 여러 번의 성공적인 프로젝트 수행을 해 본 경우가 거의 없다. 그저 말 뿐인 경우가 흔하다.
때로는 양적으로 다수의 고객사들과 프로젝트들에 대해 경험을 가진 경우도 있다. 문제는 고객사들의 수준이 낮아서 자신의 프로젝트가 성공인지 아닌지를 판단할 능력이 없는 경우가 대부분이라는 것이다. 적어도 망했다는 것을 스스로 정확하게 또는 구체적으로는 인식하지는 못하기 때문에 별문제 없는(즉, 성공적인) 것이라고 여기는 수준들이기 때문이다. 고객의 수준이 낮아서 Okay를 말하면 공급자들은 신이나서 <성공한 사례>라고 생각하고 자랑할 수도 있다. 그들 역시 무엇이 자신의 고객입장에서의 성공인지를 알지 못하기 때문에.
시장의 공급자들도 수준이 낮다는 점에 대해서는 아직도 데이터 사이언스가 산업으로서 초기이기 때문이라는 점을 충분히 감안해줄 수 있다. 다만 그런 상황에서의 공급자들이 마치 성공과 가치를 담보하는 듯한 확신에 찬 Overselling을 하고 있다는 것이다. 여기에 넘어가면 또 한 번 buzz word의 소용돌이에 휘말리게 된다.
2022년 현재 적어도 이 시점에서는 시장에는 아무도 도와줄 협력자가 없다고 전제하고 문제를 풀어야 한다. 안타깝지만 현실을 인식하는 것이 오히려 빠른 대책 수립에 도움이 될 것이다. 아직은 스스로 할 수 없으면 그저 아무것도 할 수 없는 시기로 보인다.
1. 데이터 사이언스팀이 기업입장에서의 중요한 문제를 푸는데 관심을 두지 않는다
가능성과 가치를 입증하려 하지 않는다. 자신들이 즐거운 연구만 하고자 한다. 그리고 그 과정에서 중간결과 조차 만들어내고자 하지 않는다. 십년대계의 연구개발 사업을 수행하는 것으로 생각한다. 이해하지 못하는 다른 사람들을 바라보는 시선은 미개한 족속을 보듯한다.
1. 데이터가 존재하지 않거나 부족하다
데이터가 없다. 필요한 종류의 데이터가 없거나 데이터의 건수가 너무 적다.
데이터가 부족하니 멋진 결과가 나올 가능성이 줄어든다. 하지만 이 부분은 어쩌면 해당 기업의 특성이고 바뀔 수 없는 운명일수도 있다. 그 안에서의 최대 결과가 나오면 되는 것이고 그 것이 목표를 달성하는 것이다.
그러나, 우습게도, 데이터가 적으면 데이터 사이언티스트의 흥미가 떨어진다는 전혀 엉뚱한 문제가 더 심각하게 작용할 수도 있다. (단순히 재미가 없어서라는 이유로 인해) 결국 데이터 사이언스 팀에 아무도 남지 않는 상황이 벌어질 수 있기 때문이다.