[빅데이터] strata 2013 컨퍼런스 중계 내용 리뷰

strata 2013 [Making Data Work] review
스트라타 2013 빅 데이터 컨퍼런스 중계 내용에 대한 리뷰 정리

 

 

                      전용준.  리비젼컨설팅 대표 / 경영학박사   xyxonxyxon@empal.com

 

 

연례로 개최되는 strata 컨퍼런스는 빅 데이터에 대한 최고 수준의 인사이트를 제공해 주고 있다.

올해도 이미 개최된 컨퍼런스의 주요 내용이 유튜브에 중계되어 있었기에 관심가는 몇가지 세션을 보고 나서 요점이 될 부분을 wrap up 해 본다.

 

---------

 

[1]

Strata 2013: Eric Colson, "Committing to Recommendation Algorithms"
http://www.youtube.com/watch?v=sAKTN-PeSwE

 

trendiness + personalizedness

algorithms + human judgement (from stylist) = complementary reinforcing

 

빅 데이터를 가진 기업들 중 다수가 온라인 기업이고 오프라인 기업들 중에서도 신용카드나 슈퍼마켓 등은 빅 데이터라고도 할 만큼의 많은 양의 거래 데이터를 가지고 있기에 추전 recommendation은 빅 데이터에서 가장 핫한 분석 주제로 불리고 있다.

문제는 추천을 잘할 수 있는가, 그리고 추천을 통해서 적절한 고객반응을 끌어 낼수 있는가, 추천이 고객의 관심사 변화를 적절하게 따라갈 수 있는가와 같은 세부적인 문제에 대한 해결방안을 마련하는 것이다.

거래이력이나 방문이력(웹로그로 부터)만을 사용한 추천이 가지는 문제는 사용하는 데이터를 어떻게 지정하는가에 따라서 최근의 관심 변화를 반영할 수 없다는 점이다.

이 때문에 추천에 대해서 유행에 민감한 고객인지 아니면 자신의 패턴만을 중시하는 고객인지를 동시에 고려해서 고객의 취향에 따라 다른 방식으로 추천하도록 해야한다는 것.

또, 이렇게 개선한 알고리즘이라고 해도 알고리즘만으로는 충분히 파악되지 않는 부분이 존재하므로 인간의 판단을 결합할 필요가 존재한다는 것. 즉, 데이터 자체만으로 알고리즘을 학습시키고 그대로 추천하는 대신 인간이라면 어떻게 추천할 것인가에 대한 데이터를 추가하여 개선된 추천을 하는 것이 필요하다는 것.

 

추천시스템에 관해 학문적으로는 많은 연구가 지난 십여년간 있었지만 현실적인 이슈를 충분히 다루지는 못했다는 점을 생각한다면 이런 지적이 공론화된다는 것은 추천의 실용화와 확산에 충분한 기여를 할 것으로 생각된다.

 

이미 특정한 부분에서 구체적인 아이디어와 경험을 가진 사람들이 등장하고 그들이 강연을 통해 아이디어를 확산시킨다는 점은 충분히 고무적인 듯 하다.

 

 

[2]
Strata 2013: Jeanne Harris(Accenture), "Getting Big Benefits from Big Data" .
http://www.youtube.com/watch?v=A6qWCgGHT3k

 

• 조직 전체의 최적화를 위해 데이터와 데이터에서 발견된 패턴이 활용되어야 한다.
  활용되지 않으면 가치는 없다.
  누군가 실제로 실행되는 것을 책임질 사람이 없다면 아무 것도 실행되지 않는다.
  데이터 웨어하우징이 핫이슈이던 시절에 유행하던 이야기 처럼
  "If you build it they will come" ... 결코 만들어 두기만 한다고 알아서 쓰지는 않는다.
• 기술과 데이터 사이언티스트는 출발점일뿐 그들이 결과를 만들어내지는 못한다.
  비즈니스 업무 담당자 자신이 결과를 만들어 내야 한다.
• 비즈니스 담당자들은 데이터 사이언티스트를 신뢰하지 않는다. 산업과 업무 자체에 대한
  이해와 경험이 부족하다고 생각하기 때문이다. (상당 부분은 사실이기도 하다.)
• 분석결과와 업무 적용 결과에 대한 데이터 사이언티스트의 책임이 필요하다.
  업무적 성과와 데이터 사이언티스트에 대한 보상이 연동될 필요가 있다.
• 업무 담당자 자체가 데이터 분석을 이해하고 활용할 수 있는 사람으로 채워질 필요 있다.
• 데이터의 정제나 관리 자체에 대한 기반이 충분해야 한다. 힘든 일이지만 누군가는 해야만
  한다.

2013년 4월 5일 컨퍼런스에서 발표했던 "비즈니스 가치 창출의 조건"이라는 제목의 강연과 맥을 같이 하는 내용이라 특별한 관심이 있었던 세션.

가장 중요한 것은 분석결과를 현업의 실무자와 경영진이 이해하고 수용하고 그에 따른 실행을 실제로 해야만 한다는 점. 역시 같은 의견이었다. 수없이 이야기하건만 새로운 제목의 유행이 나오면 유행에만 관심들을 두고 가장 기본적인 것들은 등한시 해서 결국은 새로운 기술이나 유행이 약속한 것들을 얻어내지 못하는 문제에 대해 진지한 비판을 해주고 있다.

데이터 사이언티스트에게 업무적인 최종결과와 연동된 보상을 제공하자는 의견은 신선하기도 하고 조심스럽기도 한 이야기였다.

 

 

 

[3]

Strata 2013: Kate Crawford(Microsoft Research), "Algorithmic Illusions: Hidden Biases of Big Data"
http://www.youtube.com/watch?v=irP5RCdpilc

 

같은 데이터와 정보에 대해서도 해석은 전혀 다른 방향으로 갈 수 있다.
빅 데이터가 있다면 진정한, 객관적 진실에 근접할 수 있다는 믿음? 함정이 많다.

 

데이터는 처음 부터 "바이어스"가 있는 경우가 많다.
예를들면 특정한 지역에서만 많은 데이터가 발생하는 경우
(트위터 같은 경우 흔하게 발생. 트위터 사용자도 인구의 일부,
해당 지역에 거주하는 사람도 일부... 결국 데이터는 a subset of a subset)
처리 가공 되지 않은 데이터는 최악의 아이디어일 수 있음.
바이어스에 대한 이해가 보태진 가공이 없다면 믿을 수 있는 내용이 아닐 수 있음

 

데이터를 표시하는 방법("시그널")에서도 왜곡이 발생됨
데이터에 빠진 사람, 빠진 포인트가 존재한다면 왜곡은 필연적

디테일을 볼수록 전체 그림을 정확하게 보지 못하는 문제 발생
소셜서비스에서 무엇을 하는지는 쉽게 분석되지만
왜 그 서비스에서 고객들이 떠나는지에 대해서는 분석이 어려움

 

"빅" 데이터가 있다고 알아서 진실을 토해낼 것이다? 꿈일 뿐

질적인 분석이 결합되어 해석되지 않는다면 데이터 자체만에 의존한 분석은 엉뚱한 결과를
줄 위험이 크다.

"빅데이터"에서 "깊이있는 데이터 (data with depth)"로 변해가야 할 것이다.

 

 

---> 빅 데이터에서 오직 처리 속도에만 관심을 두다보면 큰 데이터를 빠르게 처리하니 더 좋은 정보가 만들어진다는 환상을 가지는 것에 대해 적나라한 일침을 가하는 세션이다. 소셜네트워크를 통해 생성되는 데이터의 대부분이 기술에 민감한, 첨단기기를 가질 능력이 있고, 참여에 적극적인 일부 사람들의 의견으로 채워지는 경향에 대해서는 지난 컨퍼런스에서 내 스스로도 지적했던 부분. (결국 소셜분석은 20대의 의견이 집중적으로, 서울 > 경기  정도만 집중적으로 반영하는 결과가 나오는 것이 일반적이라 전국민 전고객의 관심사에 대해 왜곡된 분석 결과를 준다는 점... 당연해 보이는데 많은 사람들이 무시하거나 이해하지 못하고 있는 부분) 

데이터가 많건 적건과 상관없이, 원하는 집단이 하는 이야기를 왜곡없이 반영하고 있는가를 충분히 체크해야만 빅 데이터라는 막연한 보험에 기대어 오히려 더 나쁜 분석 결과를 얻게 되는 함정을 피할 수 있을 것이다.

어쩌면 진짜 '올바른 의미를 파악할 수 있는' 과학자가 필요한 이유일 수 있을 것이다.

 

 

[종합적인 느낌]

 

Strata는 최근의 빅 데이터 신드롬에 크게 불을 지핀 컨퍼런스로 평가된다. 완벽하지는 않더라도 날카로운 지적들과 현실에서의 경험의 요점이 많이 공유되고 있다. 겨우 몇편의 세션 중계를 보면서도 느끼는 부분은 국내에도 이런 날카로운 지적들을 해줄 수 있는 구루들 Gurus 이 많이 있었으면 하는 아쉬움이다.

이 봄에 빅 데이터와 관련된 컨퍼런스가 많이 열리고 있지만 Strata와 비교한다면 규모 뿐 아니라 질적인 측면에서 심각한 차이를 느끼게 된다.

Strata 이외에도 해외에서 큰 규모의 컨퍼런스는 많이 열리고 있다. 물론 이 컨퍼런스에 참여하는 한국인들도 상당수 있을 것으로 생각된다. 그들이 좀 더 빠른 속도로 깊은 수준으로 새로운 소식과 아이디어들을 국내에도 전파해 줄 수 있으면 좋겠다는 생각이 든다.

 

>> YONG 2013. 04.