[빅데이터와 데이터 사이언스] : 컬럼 collection

빅 데이터와 데이터 사이언스: 흐름과 과제에 대한 컬럼들

 

2013년 하반기 부터 IT데일리( http://itdaily.kr )에 연재 비슷하게 쓰고 있는 컬럼들을 모아 본다.

빅데이터의 단순한 기술적인 요소들을 설명한다기 보다는 흐름이나 필요한 준비와 같은 부분들을

파헤쳐 본다는 거창한 각오로 틈틈이 써가고 있는 글들의 목록을 한눈에 보기 위해

이곳에 모아 두는 것도 좋을 듯 싶다.

 

스스로도 다음 컬럼에는 어떤 내용이 좋을지를 생각해 보기 위해서도 좋을 듯,

누군가 읽고 싶은 사람이 있다면 그 선택을 돕는데도 도움이 되면 좋을 것 같다.

 

 

[전용준의 IT마당] 빅 데이터 전망 2014 : 스몰 데이터의 역습 ( http://itdaily.kr/news/articleView.html?idxno=47431 )  2014년 1월 22일 (수) 11:03:54

 

빅데이터, 더 이상 새롭지만은 않다  - 지난 몇년간 높아져만 왔던 빅 데이터에 대한 관심도 이제는 정점에 다다른 것 같다는 징후들이 나타나고 있다.

 

빅 데이터의 바람직한 다음 단계는 무엇일까?  - 거품이 빠져야 한다는 것은 분명하지만, 거품이 빠진 자리가 생산적인 활동의 개시로 이어져야 한다. 구체적인 기술적 이슈에 대한 해결방안 모색, 데이터 분석가와 사이언티스트들의 다양한 학습 열풍, 데이터량이나 종류 자체 보다는 비지니스 가치에 집중하는 적용이 필요한 시점이다.

 

스몰 데이터가 빅 데이터를 살릴 것이다  - 주어진 분석 문제의 성격에 따라서 데이터의 양 보다는 분석의 깊이나 질이 더 중요한 경우가 허다하다.성공적이고 업무에 가치를 주는 본격적 적용사례들의 실체는 분명 스몰 데이터에 대한 스마트한 활용에서 나올 것을 기대한다.

 

 

          전용준 리비젼컨설팅 대표. 경영학박사. xyxonxyxon@empal.com 

 

 

[전용준의 IT마당] 어떤 데이터 사이언티스트를 선택할 것인가  ( http://itdaily.kr/news/articleView.html?idxno=46132 )  2013년 12월 6일 (금) 10:58:11

 

빅 데이터 유행에 편승해 데이터 사이언티스트에 대한 관심이 증가하고 있다.

데이터 사이언티스트나 그 wannaberk 아니라 데이터 사이언티스트를 고용해야 하는 사람의 입장에서 어떤 데이터 사이언티스트를 골라야 할까?

 

첫번째 고려사항은 예산이다. 가진 돈의 범위 내에서 지출할 수 밖에 없다.

일단, 예산은 주어진 것이라고 친다면, 다음으로는 능력과 팀웍을 고려해야 한다.

 

능력이야 최고일수록 좋을 듯 하지만 그런 경우일수록 희소성이라는 할증료까지 보태서 많은 돈을 들여야만 유지할 수 있을 것이므로 신중한 고민이 필요하다. 넘치는 능력은 곧 낭비를 의미한다. 
프로라면 보수를 받는 대신 조직이 요구하고 조직이 필요로 하는 분석을 하는 것을 목적으로 하고 그 것에 집중할 것이지만 아마추어라면, 능력이 출중할수록 더더욱, 자신이 가진 능력을 자신의 관심사에 바칠 것이다.

가까운 미래에 성과를 내야 하는 조직이라면 능력이 부족한 아마추어를 가장 피해야 할 것이다. 반면 장기적인 확대를 준비하는 조직이라면 당장의 준비는 부족하더라도 프로 마인드로 경험을 쌓아갈 사람을 고르는 편이 적절할 것이다.

 

조직에 대한 적응 융화 가능성 , 관련 분야에 대한 실전 경험 등도 중요한 요소가 될 것이다.;

 

 

[전용준의 IT마당]빅 데이터 시대의 연금술사, 데이터 사이언티스트는 무엇을 하는가  ( http://itdaily.kr/news/articleView.html?idxno=44828  ) 2013년 10월 31일 (목) 11:17:43

 

다양한 데이터의 패턴을 서로 비교가능 하도록 조정하여 그 안에서 관계에 대한 정보를 끌어낼 수 있도록 한 것이다. 여기까지는 기술적인 경험만으로 충분할 것이다.

데이터 사이언티스트는 기술적인 작업 그 자체의 전후에 대해서도 역량을 필요로 한다.

 

왜 하필 이 키워드들에 대해서 관심을 가지고 왜 분석을 하려고 하는가를 판단하는 것, 분석 결과가 의미하는 바는 무엇인가를 밝혀내고 그 분석의 가치와 그 정보를 사용할 사람들에게 무엇을 전달할 것인가를 생각해내는 것이 Distill에 해당하는 과정이다.

일단 이 내용에 대해 탐구하기로 했다면 어떤 곳에서 어떤 데이터를 가져올 것인지를 찾아내는 것이 Discover에 해당하는 과정이 될 것이다.

구글에서, 트위터에서 아니면 공공통계에서 필요한 데이터를 파악했다면 실제로 그 데이터를 가져오기 위한 작업을 하는 것은 Access에 해당한다.

예를 들어 최근 들어 사랑에 대한 관심이 돈에 대한 관심보다 더 높다는 패턴을 찾았다면 기존의 서비스에 대한 경제적인 혜택 보다는 감성적인 혜택을 더 강조하도록 서비스를 개편하거나 홍보내용을 변경하는 식의 아이디어를 낼 수도 있을 것이다.

 

황당한 소설이 아닌 설득력 있고 타당한 논리를 찾아내기 위한 끝없는 Discover-Access-Distill의 과정이 반복되고 여기에 테스트까지 가미되는 활동이 데이터 사이언티스트의 일상이다.

데이터 사이언티스트를 연금술사로 칭한 이유는 바로 이런 특성 때문이다.

 

 

 

 

 

[전용준의 IT마당]양날의 칼 빅 데이터: 데이터는 아무 말도 하지 않는다 (http://itdaily.kr/news/articleView.html?idxno=44295 ) 2013년 10월 14일 (월) 15:23:41

 

분명 데이터는 아무런 말도 하지 않는다는. 모든 말과 논리 전개나 주장은 데이터를 보고 사람이 하는 것이다. 또 그 논리나 주장을 믿고 말고도 사람의 일이다. 데이터는 본래부터 재료일 뿐 결국 무언가 의미를 담는 것은 사람의 몫이다.

 

잘못된 주장이나 판단을 화려하게 포장해 엉뚱한 믿음을 지지하는 근거로 오용될 수 있다. 빅 데이터는 이런 면에서 그 가능성만큼이나 위험성을 가진 양날의 칼이다.

그리고 빅 데이터는 매우 날카롭고 강력한 칼이다.

데이터 사이언티스트는 좋은 칼을 만드는 기술자일 수 있고 칼을 사용하는 방법을 가르치는 검법의 고수일 수 있다. 그러나 결국 그 칼을 사용해 전쟁을 하고 전쟁에서 승리를 얻는 것은 또 다른 사람들의 몫일 수 밖에 없다. 또 전쟁은 칼만으로 승부가 갈리지도 않는다.

 

 

[전용준의 IT마당]빅 데이터라는 이름의 세가지 의미  ( http://itdaily.kr/news/articleView.html?idxno=44098 ) 2013년 10월 7일 (월) 14:30:45

 

첫번째 의미 >>  ‘거창한’이라는 형용사 -- 무언가 좀 방대한 규모로, 체계적으로, 또는 다소 복잡한 분석을 했다는 의미를 강조하기 위해 빅 데이터라는 단어를 붙여주는 것이다. 사실 이런 경우 빅 데이터라는 단어를 빼도 내용은 달라지는 것이 전혀 없다. 단순한 치장일 뿐 별 의미가 없는 허무한 활용이다

 

 

두번째 의미 >> 소셜 미디어 데이터를 사용했음  -- 실시간도 대량도 아니고 다양성도 높지 않은 경우 까지에도 단지 소셜미디어 데이터의 일부를 사용했다는 점을 강조하기 위해 ‘빅’이란 이름을 붙인다.

 

세번째 의미 >> 오픈 소스/하둡을 사용하는 것을 자랑하는 경우 --  지극히 기술적인 관점에서 의미를 한정한 경우이다. 오픈 소스를 사용하지 않았으니 다른 누군가의 프로젝트는 빅 데이터라고 부르면 안 된다고 질타하는 주장들이 이런 관점에서 심심치 않게 나온다.

 

그 분석으로부터 얻을 수 있는 결과가 얼마간이라도 더 나은 것이라면, 꼭 100% 새로운 것이 아니라도 빅 데이터라 부르는 것에 반대하고 싶지 않다. 부르는 사람도 듣는 사람도 어떤 의미에서 ‘빅 데이터’라는 단어를 붙인 것인지 이해한다면 말이다. 그저 빅 데이터를 위한 빅 데이터가 아닌 더 나은 결과를 위한 빅 데이터이기 때문이다.