[빅데이터] 스몰 데이터의 역습 : Part 2 초고 준비중

[빅데이터] 스몰 데이터의 역습 : Part 2  (초고 준비중)

전용준 / 경영학박사 / 리비젼컨설팅 대표

( xyxonxyxon@empas.com  )

앞선 글 ( http://www.itdaily.kr//atl/view.asp?a_id=47431  )에서 2014년에는 스몰 데이터가 빅 데이터를 살릴 것이라는 황당한 전망을 내놓았다. (모든 전망은 어느 시점에서 어느 시점에 대해 하는가가 중요할 것이다. 지금은 2014년 초반이다)

이유는 거품이 꺼지기 전에 실질적이고 당장 얻을 수 있는 가치를 중심으로 분석을 하고자 하는

사람들이 늘어날 때가 된 것 같다는 것이었다. 물론 여전히 그 이름은 '스몰 데이터'가 아니라 '빅 데이터' 일 것이다. 그 실체가 무엇일지는 생각 좀 해봐야겠지만.

전편에서 이야기한대로 많은 데이터를 가지고 있고 다양한 데이터를 가지고 있어도 한번에 모두 사용해야만 하는 것은 아니다. 분석의 깊이나 질, 그 결과와 시사점이 더 중요한 경우가 많다. 분석이라고 불리우는 것의 내용과 용도는 천차만별이기 때문이다. 큰 조직, 작은 조직, 마케팅, 서비스, 물류, 생산, 백화점, 경찰, 모두 빅 데이터와 분석을 필요로 하고 분석을 수행하는 내용과 목적이 다 다르다.

스몰 데이터의 역습?

최근에 인상적으로 본 스타워즈시리즈 전편에서 영감을 얻어 붙였던 제목이다. 제국이 이기든 공화국이 이기든이 중요한 것이 아니라 이 전체의 거대한 스위트를 이루는데 하나의 필요한 구성요소로서 에피소드 하나의 이름이 제국의 역습이었다. '스몰 데이터의 역습'은 총7부작 중 두번째 이야기 정도로 생각했다. 그러니 결국 이 에피소드 즉 스몰 데이터의 역습은 '빅 데이터'라는 거대한 작품의 일부일 것이라 생각한다.

 

 

스몰 데이터는 빅 데이터와 어떻게 다른가?

이제는 누구나 아는 빅데이터의 네가지 요소, 데이터 크기, 다양성, 속도라는 3V 그리고 일부가 이야기하는 또 하나의 V 즉, 가치(즉, Value) 까지를 본다면 스몰 데이터라고 한다면 적어도 3V 측면에서는 분명 빅 데이터와 다른 것일 수 있다. 문제는 얼마나 다르며 왜 다른가가 아닐까? 

크기는 어마어마하게 큰데 다양하지 않거나, 다양하기는 한데 건수는 작은 경우, 또는 데이터가 가용해지깅도 처리하기에도 빠른 속도가 중요하거나 가능하거나 하지 않은 경우 등 경우의 수는 다양하다. 연속성을 가지 세가지 차원의 그래프에서 어느 한 지점에 위치하게 된다. 각 조직이 각각의 시점에서 처한 위치는 각각 다를 것이다. 

여기서 스몰데이터라고 한다면 그림에서 처럼 적어도 하나 이상의 측면에서 그다지 3V의 요건과는 거리가 있는 것으로 볼 수 있다. 또는 세가지 모두에서 작은 경우일 수 있다. 어디 까지를 빅이고 어디까지를 스몰이냐고 묻는 것은 어리석은 질문일지도 모른다. 교집합을 스몰 데이터로 볼 것인지 부분적인 합집합을 스몰 데이터로 볼 것인지 정도의 개념정의 차원의 이야기일 뿐이다.

<그림: 빅 데이터와 스몰 데이터의 경계> 

그림에서와 같이 분명한 것은 빅 보다는 작다는 정도를 이야기할 뿐 이전에 하던 것에 한정해서 스몰 데이터 분석이다라고 해야하는 것은 아닐 수 있다. 규모는 작지만 이전에 경험해 보지 못했던 새로운 또는 고급스러운 분석일 수 있기도 하니까.

분명 효율성 내지는 ROI도 중요. 스몰 데이터를 찾는 가장 큰 이유는 가치 즉, 네번째 V 

가치라는 네번째 V는 스몰 데이터가 빅 데이터를 살릴 것이라는 나름대로의 전망을 내 놓은 이유이다. 누구나 알고 있듯이 가치는 ROI로 대변된다. 얼마나 제한적인 투자를 통해서 얼마나 많은 결과물을 얻을 수 있는가가 바로 가치이다. 조금 더 만들기 위해 하늘과 바다를 모두 사용할 수는 없다. 

특히 작은 규모의 조직들은 스몰 데이터에 대한 분석 조차 현실적으로 못하며 할 능력이 안된다면 걷지 못하는데 달리고 싶어하는 것과 같을 것이다. 그래서 분석이라는 것 전체를 부정하게 될 것이고, 빅 데이터라는 것은 말장난에 불과하며 영원히 자신들과는 상관없는 것이라고 생각할 것이다.

<그림: 빅 Vs. 스몰 그리고 가치 Vs 낭비 >

그렇다면 빅 데이터는 잠시 잊고 있어도 될 것인가?

빅 데이터는 장편 소설 전체의 이름이다. 스타워즈라는 이름을 빼고 제국의 역습이라고 부른다고 해서 스타워즈가 아닐까? 스몰 데이터는 곧 빅 데이터이며, 빅 데이터를 위해 존재하는 것일 수 있다. 다만 다양한 측면의 관계를 가지고 있을 뿐이다.

이름을 잊고 있든 아니든은 자유일 것이다. 다만, 혼선은 피해야한다는 것이다. '빅'이라는 한 단어에만 집착하는 것은 궁극적인 목적에 어울리지 않는다. 가장 중요한 것은 큰 가치 (BIG Value)를 위한 것이니 이 모두가 어차피 빅 데이터 이다.

또 한가지 측면은 조직의 특성과 상황에 따라 빅과 스몰 중 필요한 부분이 다를 것이라는 것이다. '빅'인 조직이 스몰 데이터만 생각하는 것도 우스울 것이고 '스몰' 조직이 거창한 그림을 그리는 것도 비현실적일 것이라는 것이다.

어차피 스몰 데이터는 전체 세상의 일부이거나, 또는 요약편이라서 스몰 데이터인 것이다. 어디서 출발하는가가 문제일 뿐이고 어디까지 결과를 낼 것인가에 따라 빅으로도 스몰로도 불릴 뿐이다. 단지, 오직 '빅' 만을 중시하는 이분법적인 생각에 주의를 주고 싶을 뿐이다.

  

*** 후기:  전편을 포함해서 이 글은 산업으로서의 빅데이터에 대한 시장 전망이다. 전편에 대한 한 독자분의 의견을 우연히 읽었는데 연구분야에서 만큼은 스몰 보다는 빅 데이터가 화두가 되는 것이 옳지 않겠는가 하는 것이었다. 당연하다고 본다. 상대적으로 연구가 부족했던 분야이니 좋은 연구주제라고 생각한다. 그런 피드백들은 내가 누구를 대상으로 무엇을 이야기하고 있는지를 스스로에게 인식시켜주는 고마운 선물이라고 생각한다.

-- 작성중인 초고:: 업데이트 계속될 것임.

 

*** 아래는: 다양한 의견들... 참고할 사항  ##-----------------------------------

 

한번 읽은 사람으로서의 느낌은 <스몰 데이터의 역습>이라는 제목에서 <역습>이라는 단어에서 오는 충격이 약해 보입니다. <빅데이터>만을 생각했던 사람들에게, 지향하고 있는 사람들에게 생각지도 못했던 <스몰 데이터>가 주는 파괴력이 있어야 <역습>이란 단어가 어울리지 않을까 하네요. 

전용준 맞아요... 그러네요. 아주 약한 '역습' 일수가 있겠네요~ ^^ 감사합니다. 고견 이부일

전용준 소심한 반격 정도? .... 그럴수도 있겠군요

 

나중에 <빅데이터> 또는 <스몰 데이터> 어느 데이터든지, 특수 전문가들의 영역이 아닌, 개인의 데이터를 분석하여 개인에게 적용할 수 있는 그런 분석에 관심이 가네요.

예를 들면, 자신이 친구들과 네이트온, 페이스북, 카톡 등으로 대화를 했던, 올렸던 글들을 분석하여(텍스트 마이닝) 자신이 현재 사용하고 있는 어휘력(단어의 수), 빈도 현황을 알아서, 어휘력을 향상시키고, 표현을 향상시킬 수 있도록요....See More

 

  . 전문가용 빅데이터와 일반인이나 초보자용 빅데이터와 같은 것으로 봐야할 필요는 없으니... 분석의 대중화와 실질적 활용은 여러 각도 여러 방식에서 발전되어야 겠지요 ^^

 

교수님도 관광과 관련된 측면의 커멘트 주시면 고맙구요~

--> 우리쪽은 관광 앱. Tripadviser. 리뷰가 전세계적으로 유행 중입니다

 **  일단 오타가 있음을 알립니다. <가용해지깅도>???

어쩌면 아직도 빅데이터에 대한 정의가 불안전 하기 때문에, 스몰데이터에 대한 정의가 불명확해지는 것은 아닐까 합니다....See More

기존에는 데이터가 아니었는데 지금은 데이터로 인식되고 있는 것들.... 그 중에 하나가 텍스트 마이닝이지 않을까 합니다. 정형화된 데이터만 수집되었다면 비정형적인 고객들의 피드백을 분석할 수 있을 것 같아요(이미 하고 있는지는 모르겠어요^^)

  ·

Min Ho Chang  역습이라 하면, 빅데이터가 가진 약점(1. 데이터 접근이 어렵고, 2. 고가의 분석 프로그램과 분석가가 있어야 하고, 3. 그로인해 대중이 기억할 만한 Best practice가 없는 등)을 언급해서 개념정립에 안주하고 있을 때, 스몰 데이터의 활용 사례를 언급하면, 제목에 걸 맞는 흥미롭고 훌륭한 이슈 제기가 되겠네..
...See More

 

 

  큰 주제는 네번째 V인 가치라는 것을 말하고 싶다라는 느낌이고요..

1. 주제 : 그 주제에는 공감하지만.. 그 가치는 내부적 관점이고 전 철저히 고객에게 집중된... 이른바 고객이 구매나 소비를 통해 느끼는 플러스 알파가 좀더 큰개념이 되어야 공감대가 있지 않을까 합니다.....See More

21 February at 02:35 · Unlike · 2

전용준 데이터 소비의 Value Chain 전체에서 Small, Big, Data, Analysis, Decision making 이 어떻게 엮이는 것이 관건이겠지요?  

 그 데이터 소비에 대한 밸류 체인이라 한다면... 축적 ㅡ 분석 ㅡ 의사결정 ㅡ 아웃풋 ㅡ ROI 까지 고민되는 좀 더 큰 개념이 맞지 않을까 한 생각입니다... 큰 그림. 즉 목적의식이 명확해야 스몰이냐 빅이냐 이걸로 분석은 뭘하고 어떻게 아웃풋내서 고객은 가치를 얻고 기업은 수익을 얻을까가 전반적으로 고민되어야 한다는겁니다^^ 스몰이냐 빅이냐는 뭐에 필요하냐는 것과 최소비용 최대효과를 고민하자는 거죠^^

 

전용준 너무 소중한 의견들을 감사히 읽고 생각해보는 아침. ♥

56 minutes ago · Like · 1

+---------------------------

세상은 아직 덜 연결됐다 

( http://biz.chosun.com/site/data/html_dir/2014/03/07/2014030701926.html?weekly_s  )

 

케빈 켈리(WIRED) 인터뷰

"현재 세상이 충분히 '와이어드'된 상태라고 보는가? 10점이 만점이라면 현재 수준은 몇 점에 해당한다고 생각하는가?"라고 묻자 그의 답변은 전혀 예상 밖이었다.
"2점입니다. 이제 시작일 뿐입니다. 그것도 시작의 시작에 있을 뿐입니다. 디지털화된 수준도 2점입니다. 아직 미래에 일어날 무수한 일이 남아 있고, 우린 그것을 못 보고 있을 뿐입니다."

+

[관련 추가 참고자료 :: ] 3월 25일 예정된 세미나 강연 >> http://www.datasolution.kr/imgs_job/marketing/2014/bigdata_03.html 

"  데이터 다양성, 복잡성, 빅 데이터 그리고 스몰 데이터 (리비젼컨설팅 전용준 대표) " 

         >> 본 세션에서는 빅 데이터의 요소 중 하나인 데이터 다양성과 그 다양성 증가에 따른 전체 데이터 분석간의 관계에 대해 검토해 봅니다. 데이터는 다양하다고 해도 다른 측면 즉 사이즈나 속도는 그다지 Big 하지 않은 경우 무엇을 고민해야 하는가를 빅데이터와 스몰 데이터의 관계라는 측면에서 설명합니다. 한 대표적인 예로 소셜미디어로 부터 입수된 데이터를 사용한 예측모델링 분석의 사례를 통해 총체적 복잡성 관리(Total Complexity Management) 라는 실제 데이터 사이언스 수행과정에서의 핵심과제를 제시합니다."