[인공지능] 기업에서 인공지능/머신러닝 적용에 실패하는 이유

기업에서 인공지능/머신러닝 적용에 

실패하는 이유

전용준. 리비젼컨설팅. 2018.10.

인공지능(artificial intelligence, AI)과 머신러닝(machine learning, ML)은 최근 기업들의 초미의 관심사이다. 잘 모르지만 무언가 큰 효과를 줄 수 있을 것이라는 기대가 되기도 한다. 적용을 시도해보는 경우도 있고 시도해봐야하는지 고민까지만 하는 경우도 있다. 그러나 성공확률은 그다지 높지 않아 보인다. 물론 늘 그렇듯 우리네 스타일을 보면 시도했다면 무조건 성공으로 포장해야하니 대놓고 해보았으나 실패했고 어떤 문제가 있었으니 어떻게 고쳐가야겠다는 교훈을 얻었다는 이야기를 하는 경우는 없다. 그렇다면 실패하는 이유는 무엇일까? 인공지능이나 머신러닝을 기업이 적용해서 실패하는 경우를 유형별로 구분해 살펴본다.

1. 방향은 명확하지 않고 자원투자는 불충분하다

인공지능이나 머신러닝 처럼 새롭고 거창한 신기술을 적용하는 입장에서는 결과물에 대한 기대는 매우 크지만 그에 대응되는 투자는 매우 제한적이다. 돈도 시간도 사람도 필요한 만큼을 투자하지 않는다. 가장 중요한 투자 요소인 사람 문제가 가장 심각하다. 최소한 몇 명의 이미 인공지능, 머신러닝을 실제로 적용해본 적이 있는 경험있는 인력이 투되어야하는 것은 너무나 당연한 사항이지만 실제로는 모두가 처음 해보는 사람들로 구성된 팀이 일을 맡는다. 

성공과 실패를 판단하려면 진행된 프로젝트가 충분히 테스트 되어야 하고 기능적, 적용상의 문제점들이 어느 정도 운영 단계에서 보완되어야 한다. 그러나 여기까지에 필요한 충분한 시간이 주어지는 경우를 보기 힘들다. 완성되지 않은, 다음어지지 않은 결과물을 가지고 성공여부를 판단하는 것이다. 그리고 거기서 멈춘다. 성공했으니 끝이고 또는 성공을 못했으니 끝이고. 인공지능이나 머신러닝과 같은 데이터를 분석해서 결과물을 내는 종류의 프로젝트들은 지속적 버전업이 필요하다는 상식적인 사실을 무시한다. 오래 전부터 비디오 추천에 알고리즘을 적용해온 유튜브가 여전히 지속적으로 알고리즘을 개선하는 대규모 작업을 하고 있다는 사실을 기억해야 한다.

한편 근본적으로는 적용을 시작하기 이전에 인공지능이나 머신러닝 기술을 적용하면 그 결과로 달라질 업무의 모습에 대한 이미지를 구체화시켜 놓지 않은 상태에서 프로젝트가 시작하는 경우가 대부분이다[1]. 인공지능과 머신러닝을 이해하지 못한데다 대상 업무에 대해서도 기존의 방식을 넘어서는 새로운 방식까지를 생각할 능력이 없는 상태에서 출발한다.

"돈도 시간도 사람도 필요한 만큼을 투자하지 않는다."

"유튜브 조차도 여전히 지속적으로 알고리즘을 개선하는 

대규모 작업을 하고 있다."

2. 필요한 만큼의 데이터가 없다

인공지능이나 머신러닝에는 데이터가 원료가 된다. 문제는 양, 종류, 품질, 메타데이터 등의 측면에서 충분한 데이터가 제공되지 않는다면 제대로된 성과가 나올 수 없다는 점이다. 빅데이터 시대라고 신문에서 이야기하는 말을 그대로 믿을 일이 아니다. 실제로 당장 내 프로젝트에 필요한 데이터가 제대로 존재하는지가 중요하다. 막연하게 양이 많다는 것만으로는 품질이 보장된 것이 아니다( big data != quality data). 또 많다는 것이 필요한 만큼 많다는 것이라는 보장도 없다(big data != sufficient data). 신용카드사에서 고객행동을 분석하기 위해 수많은 승인 거래건을 사용할 수 있다. 양적으로 엄청난 데이터임에는 틀림없다. 그러나 그 많은 양이 고객행동패턴을 파악하기위해 충분한 양이라는 보장은 없다. 가맹점 분류와 변동이력이라는 메타데이터가 신뢰할 수준이되지 못한다면 분석이 좋은 결과를 내기 어려울 수 있다. 신용카드사가 보유한 자사의 거래이력이 고객의 신용카드 사용이나 고객의 소비패턴을 제대로 설명하지 못할 수 있다. 고객의 지갑(소비)에서 차지하는 신용카드사 한 곳의 점유율이 높지 않을 수 있기 때문이다.

데이터가 부족한데도 분석을 해야한다면 어쩔수 없이 추가 데이터를 구해야만 한다. 다행히 확보할 수 있는 잠재적으로 유용한 데이터가 어디엔가 존재한다면 말이다. 그러나 이런 추가 데이터 확보는 비용과 업무적 복잡성을 감당해야하는 어려움이 있다보니 이를 무시하는 경우가 많다. 추가 데이터 확보가 필요한 문제를 알고리즘 고도화로 해결하려 한다. 성공하기 어려울 수 밖에 없다.

3. 산업별 업무기능별 차이에 대한 이해가 부족하다.

모든 문제를 동일한 방식으로 풀 수 있다고 생각하는 것은 어리석음에 틀림없다. 그러나 실제 상황은 다양하다. 때로는 산업이나 업무기능이 달라도 동일한 메커니즘을 응용하는 것이 가능하다는 사실을 무조건적으로 부정하는 경우가 많다. CRM의 고객분석에서 적용하던 구조를 HR 부문에서 직원행동 분석에 응용하는 것은 매우 유용할 수 있다. 고객 대신 직원을 분석하는 것이다. 고객이탈을 분석하던 방법을 응용해서 직원이탈을 분석하는 식이다. 산업이 다르거나 업무기능이 다르다고해서 무조건 완전히 새로운 방법을 그려내야만 된다는 식의 발상이 문제를 풀 수 없게 한정한다. 

반대의 경우가 문제되기도 한다. 다른 산업이나 업무기능에 적용하는 경우에 조정이 필요한 부분을 무시하는 것이다. 

4. 정형, 비정형 데이터 분석의 성격 차이를 이해하지 못한다

인공지능과 머신러닝에 사용되는 데이터는 두 가지 유형으로 구분되며 데이터의 유형에 따라 분석할 내용도 분석하는 방법은 완전히 달라진다. 의외로 비정형 데이터에 대한 분석이 오히려 성과를 높게 평가받는 경우가 흔하다. 적용대상이 되는 업무가 생산이나 판매와 같은 핵심 업무 보다는 지원 성격의 업무인 경우가 많다는 점도 이에 영향을 미친다. 고객서비스(챗봇), 단순안내, 소셜미디어 분석 등은 핵심업무와는 거리가 있을 수 있지만 기존에는 자동화가 전혀 불가능했던 유형들이기에 상대적으로 큰 효과를 느끼는 것이다. 그러나 분석결과의 완전성이나 유용성을 평가하기가 곤란하다는 맹점도 가지고 있다. 

일례로 챗봇을 통해 고객에게 정보를 안내했지만 엉뚱하거나 유용하지 못한 답변을 제공한 경우라고 하더라도 그 정도를 계량화하기가 쉽지 않을 수 있다. 상대방인 고객 조차도 그러려니하고 넘어가 주는 경우가 흔하다. 소셜미디어를 통한 시장 내지는 소비자 분석 역시 자연어 처리가 가지는 근원적인 한계로 인해 객관적이고 측정가능한 수준의 정밀도를 가지지 못함에도 큰 고민없이 감성분석이나 내용요약 등의 작업을 업무에 반영한다. 잠재적인 위험이 크게 내포되어있는 유형임을 잊지 말아야 할 것이다. 

반면 정형 데이터만을 주로 사용하는 분석의 경우 좀 더 큰 어려움을 느낀다. 인공지능이라고 까지 부르지 않았다고 해도 이미 십여년 이상 일부 기업들은 머신러닝 방법들을 적용해왔으나 성과를 크게 보지 못했다고 느끼는 분위기이다. 마케팅, 매출예측 등 핵심업무들에 대한 적용은 그 중요도가 매우 높으나 그에 상응하는 공격적 투자는 어려웠다. 결국 완성도를 충분히 높이지 못하는 결과로 연결되는 경우가 많았다.

이 유형에 해당하는 문제들은 예측, 상품추천, 신용평가, 이상탐지 등이다. 이들 중 상품추천은 결과가 가시적인라는 측면에서 성격이 다소 다르며 최근에 적극적으로 적용하는 분위기이다. 다만, 성과에 대해 과장된 평가를 하는 경우가 많다. 전체 구매에서 추천이 이루어진 건의 비율을 성과지표로 여기다 보니 마치 추천에만 포함되면 무조건 안팔릴 상품이 팔리게 된 것 처럼 오해하는 것이다. 

정형 데이터를 주로 사용하는 분석에서 가장 큰 문제는 분석결과의 활용도 저조였다. 분석 결과를 제공해도 현장에서 반발하거나 무시하고 사용하지 않았다. 분석 자체의 이슈라기 보다는 분석 이외의 업무적인 이슈이다. 물론 분석가들의 분석 역량 부족도 컸다. 기본 알고리즘을 특정 업무의 특성에 맞도록 응용하는 능력이 부족하다보니 분석결과를 사용해야할 현장의 요구를 충족시키지 못한 것이다.  이 문제의 원인 중 일부는 분석가들이 대상 업무 도메인에 대해 충분히 이해하지 못했기 때문이기도 했다.

5. 분석가들이 개인적 관심과 욕심을 우선시 한다

적용시 업무효과가 큰 분석주제나 분석방법을 선택하기 보다는 불필요하게 복잡하거나 검증되지 않은 새로운 기법을 사용하면서 분석가 스스로의 개인적인 관심을 충족시키려는 경향이 흔하다. 예를 들면 간단한 의사결정나무(Decision Tree)로 해결하는 것이 용이한 문제에 심층신경망(Deep Neural Network)을 적용하는 것이다. 결과적으로 프로젝트 수행시간은 증가되고 결과에 대한 이해가능성은 저하되며 분석에 사용되는 컴퓨터 자원 소모는 대폭 증가하게 된다. 이러한 잘못된 선택이 벌어져도 분석가 자신 이외에는 그 문제점을 알고 통제해 줄 다른 사람이 주변에 존재하지 않는다는 것이다.

이는 한편으로는 누가 인공지능과 머신러닝을 활용한 분석을 담당하는가와 그들이 무엇을 공부해왔는가의 문제에 기인한다고도 볼 수 있다. 한 구글 엔지니어의 지적이 떠오른다. 

    "Most businesses just want to solve their business problems. The current hype and education cycle dominantly focuses on RESEARCH, instead of application."

(대부분의 기업들은 그저 자신들의 비즈니스 문제를 해결하기를 원한다. 그러나 지금의 막연한 기대와 교육 내용들은 응용이 아닌 연구에 압도적으로 촛점이 맞추어져 있다.)

        -- Cassie Kozyrkov, Chief Decision Intelligence Engineer, Google

물론 따지고 보면 근본적으로 연구 측면이 아닌 응용 측면을 가르칠 선생님이나 교육과정이 거의 존재하지 않는다는 점이 문제의 발단일 수 있다.

이 처럼 다양한 문제들이 기업의 인공지능/머신러닝 적용을 실패를 향해 몰고가고 있다. 머신러닝을 통해 비즈니스 성과를 얻고자 하는 기업이라면 이런 pitfall들에 발목잡히지 않기 위한 실용적 작전계획을 세우는데 많은 노력을 투입해야할 것이다.

참고 >>

----------------

[1] 문제를 인식했다면 방향을 구체화할 누군가가 필요하다. 하지만 사실 아무도 그 일을 잘 할 수 없다면 문제가 심각해진다. 무조건 수소문해서 용하다는 외부 컨설턴트를 구해오라는 주문이 아니다. 정 모르겠다면 직접 공부를 하든지 한정된 기간 동안 외부와 함께 작업하든지 어떤 조치든 필요하다는 점을 지적하는 것이다. 내부가 되었든 외부가 되었든 상당한 비용을 들여서라도 업무와 인공지능/머신러닝 기술을 동시에 이해하고 있는 사람을 확보해야하는 것은 분명하다. 어느 한 쪽만을 이해하고 있는 사람으로는 충분하지 않다.

   - 끝 -

YouTube 영상 바로 보기 >>

YouTube에서 보기 >>

https://youtu.be/lCskqmOS2RA