[컴퓨터월드 기고] 인공지능과 빅데이터의 경계?

[전문가 기고] 인공지능과 빅데이터의 경계?전용준 리비젼컨설팅 대표

[컴퓨터월드] 인공지능(AI) 전쟁이 시작됐다. 인공지능이 환자를 살린다든가 국가전략프로젝트로 선정됐다는 등의 내용을 담은 인공지능 관련 뉴스들이 매일 쏟아지고 있다. 여러 전문가들이 다양한 견해들을 쏟아내고 있고, 기술과 산업 그리고 사회에 대한 영향과 그에 따른 변화에 대한 논의들이 활발해지고 있다. 전 세계적으로도 인공지능에 대한 관심이 높아지며 관련 연구와 산업 적용이 증가하는 추세임을 고려하면, 이는 당연한 현상이고 바람직한 일일 수 있다. 그러나 어느 순간부터인가, 지난 수년간 집중적으로 많은 논의가 이뤄진 대상이었던 빅데이터와 지금의 핫이슈인 인공지능 간의 관계와 경계에 대한 논란이나 혼선도 생겨나는 듯하다. 개념 혼동, 바람직하지 않아 갑자기 인공지능 이야기만 쏟아져 나오는데 대한 반발이랄까, 인공지능이란 단어를 사용하는 것에 대해 부정적인 시선을 보내는 이들도 많다. 늘 그래왔던 것처럼 또 하나의 유행어(buzz word) 띄우기일지도 모른다는 의심일 수 있다. 최근 부쩍 인공지능을 집중적으로 논하는 다양한 사람들이 그 분야에 오래 있었던 경우가 아니라면 더욱 그러한 의심을 받게 되기도 한다. 인공지능이라는 제목 아래 이야기한다고 해도, 지난 수년간 이야기해오던 빅데이터에 대한 내용들과 별반 차이가 없다면 이러한 반응이 나오는 것도 충분히 이해간다. 만일 인공지능이 빅데이터와 같은 것이라면 굳이 그 제목을 인공지능으로 갑자기 바꿀 필요가 있을까. 하지만 다른 용어를 사용할 때에는 분명 뭔가 차이가 있기 때문일 것이다.     ▲ 인공지능과 빅데이터의 교집합 이쯤에서 미리 결론부터 이야기해본다면, 인공지능과 빅데이터는 상당부분 겹친다는 것이다. 개인적으로는 이 두 가지가 적어도 절반은 겹치는 것이라 생각한다. 하지만 절반이 겹친다고 해서 이 두 가지를 혼동해도 좋다는 의미는 아니다. 데이터는 데이터고 인공지능은 인공지능이다. 빅데이터와 인공지능 간에 어떤 부분은 겹치고 어떤 부분은 겹치지 않는가를 이해하기 위해서는 인공지능을 구성요소 측면에서 살펴볼 필요가 있다. 인공지능은 사람의 지능을 흉내 내려는 프로그램이므로, 사람이 가진 지식과 같은 부분을 갖고 있어야 한다. 여기에는 규칙, 모델, 규칙이나 모델을 생성하는 알고리즘 등이 해당된다. 이 세 가지 요소들과 함께 또 한 가지 매우 중요하며 절대 빠지지 말아야 할 요소가 바로 ‘데이터’다. 즉 인공지능은 데이터를 필요로 하기에, 빅데이터와 최소 절반은 겹칠 수밖에 없다. 그리고 이 때문에 빅데이터와 인공지능 간의 개념적인 혼선이나 오해도 생겨나는 것으로 보인다.     ▲ 인공지능의 구성요소 빅데이터에 대한 기대와 실망, 그리고 인공지능 지난 수년간의 논의 과정에서 빅데이터로부터 우리가 기대했던 것 역시 보다 지능적인(intelligent) 내용으로 채워진 정보의 생산이었다. 데이터가 많으면 당연히 똑똑한 결과를 얻을 수 있으리라 생각했던 것이다. 물론 이 대목에 잘못된 점은 없다. 다만 대량으로 데이터를 수집 또는 축적하고 다양한 데이터를 결합(mash-up)하면 자동적으로 지능적인 결과를 얻을 수 있을 것으로 기대했던 대목에서 지나침이 있었던 것도 사실이다. 그러나 실제로 대량의 데이터를 갖고 있어도 그리 똑똑한 결과가 나오지 않았던 반면, 구글의 알파고가 인간계 고수를 이겨내는 충격적인 모습을 보면서 “아! 정작 필요했던 것은 빅데이터가 아니라 인공지능이었구나”라는 식으로 갑자기 생각을 바꾸게 된 것이다. 본래 빅데이터의 핵심은 데이터 그 자체다. 일단 데이터가 많아지면 그 활용은 자동적으로 따를 수밖에 없기에 먼저 데이터만을 강조했던 것이다. 그러나 그 활용이라는 단어 안에는 단순한 데이터 집계나 시각화된 차트 작성뿐 아니라, 예측이나 비정상패턴의 탐지, 최적화 등 고도의 데이터 분석까지 포함된다. 그리고 지금 인공지능이라고 부르는 것들의 일부분 역시 여기에 해당되는 것이다. 데이터는 인공지능의 작동에 있어 핵심 구성요소 중 하나다. 더 많은, 더 좋은 데이터를 갖고 있을수록 인공지능이 더 똑똑한 결과를 내놓게 된다. 따라서 빅데이터는 인공지능과 불가분의 관계일 수밖에 없다. 빅데이터 또한 겨우 몇 년 동안 이야기된 것이며, 현실세계의 다양한 문제들을 모두 해결하기에 충분하거나 100%의 데이터를 그새 만들어낸 것도 아니다. 이는 현재의 인공지능이 생각보다는 그리 똑똑하지 않은 이유들 중 하나이기도 하며, 구글이나 페이스북처럼 다른 기업들이 보유하지 못한 많은 데이터를 가진 기업들이 인공지능 분야에서 앞서가는 이유이기도 하다. 분명 빅데이터는 인공지능의 기술적, 산업적 측면의 진보를 위해 여전히 남아있는 매우 커다란 숙제다. 인공지능 전문가와 빅데이터 전문가, 인공지능 산업과 빅데이터 산업 알고리즘에 집중된 경험과 지식을 가진 사람들 중에는 대량의 데이터를 관리하는데 익숙하지 않은 경우가 많다. 반대로 데이터를 처리하는데 익숙한 사람들 중에는 분석과 알고리즘을 활용하는데 익숙하지 않은 경우가 많다. 그렇다고 해도 엄밀하게 이 두 집단을 구분해서 누구는 인공지능, 누구는 빅데이터로 나누는 것은 그리 실질적 효용이 없어 보인다. 기술적으로 많이 겹칠 뿐 아니라, 하나의 유기체를 구성하는 보완적인 것들이기 때문이다. 산업분야를 구분함에 있어서도 빅데이터와 인공지능을 칼로 자르듯 구분하기는 결코 쉽지 않을 것이다. 데이터 산업의 육성을 강조하다가 인공지능 산업을 강조하는 것으로 갑작스레 선회하는 것도 논리적인 설득력이 크지 않다. 빅데이터가 가져올 경제적 효과는 10조라고 하다가 또 인공지능이 가져올 경제적 효과는 300조라는 식으로 선을 그어 앞뒤 연결이 되지 않는 이야기를 하는 것도 납득하기 어려울 수밖에 없다. 야구선수 한 사람을 두고 팔과 허리를 따로 떼어 이야기하는 것과 별반 다르지 않기 때문이다. 공은 팔로 던지는 것이지만, 허리가 없는 사람이 공을 던지는 것은 불가능하지 않겠나. 정리하며 인공지능과 빅데이터를 구별해서 이해하는 것은 꼭 필요하다. 그러나 경계를 구분해서 완전히 다른 것으로 보려는 시각 또한 둘 중 어느 하나도 제대로 이해하지 못했다는 증거라 할 수 있다. 데이터와 그 활용이라는 측면에서 하나의 연결된 시스템으로 인공지능과 빅데이터를 바라보는 것이 적절하고, 또 필수적일 것이다. 일부 기업들이 좀 더 흥행에 도움이 되기 위해 빅데이터라는 간판을 인공지능이라는 간판으로 바꿔단다고 해서 이를 질타할 필요까진 없어 보인다. 그저 두 가지를 합한 합집합이 보다 큰 덩어리의 결과물을 만들어내기를 기대해본다.   이 기고는 팍티바(FACTIVA) 서비스를 통해 전 세계 다우존스 회원들에게 제공된다.  팍티바는 미국 다우존스와 영국 로이터 통신이 공동 투자해 제공하고 있는 온라인 인터넷 신문이다. 세계 각국의 언론사로부터 콘텐츠를 제공받아 전 세계 회원들에게 유료로 제공하는 서비스다.   The Borderline between AI and Big Data     ▲ Yong Xune Xon, CEO of Revision Consulting Every morning a bunch of news on artificial intelligence (AI) comes out. Some say AI war has broken out, others say AI makes life-saving or AI has chosen to be a strategic national project. Many so called experts speak out diverse opinions. The impacts on technology and industry and the resulting changes are talked about so lively. This phenomenon is quite natural and desirable considering that the researches and industry applications are growing with the increasing worldwide interest in AI. However, controversies and confusions about the borderline between AI which is the new hot issue and big data which has been one of the main topics to address for the last couple of years are coming out. Confusion is not a virtue People from a negative standpoint on the popular usage of the term AI are not rare possibly because talks on AI are getting prevalent everywhere so suddenly. This could be a suspicion based on the notion that just another buzz word comes in. This kind of suspicion is even much severe when the people who are talking about AI are not native AI specialist with a long history in the domain. This negative public response to this sudden AI drive could be convincing if actually there is no difference from the stories regarding big data which has years of history in active discussion. There is no motivation to change the title if AI is the same thing as big data. But definitely there is a difference between the two.     ▲ Intersection of AI and Big Data Conclusion first: AI and big data are quite overlapping. My personal view is that the intersection takes at least half of them. But the intersection does not indicate that the confusion is desirable. Data is data and AI is AI. To properly understand the intersection and complementation between AI and big data, we have to inspect the components of AI. To mimic human intelligence, AI has components regarding knowledge. They are rules, models and algorithms to generate them. One last component is ‘data’ which is critical and indispensible to make AI work. AI’s demand of data provokes the intersection of AI and big data and, at the same time, triggers conceptual confusions and misunderstandings.     ▲ Components of AI AI and Expectations and Disappointments from Big Data What we have expected over the last couple of years from big data has been the production of more intelligent information. We have thought that more data could automatically result in intelligent results. Despite that nothing is wrong with this proposition, we have to admit that there has been an over expectation that collecting and storing huge amount of data and mashing up that data will automatically produce intelligent results. Massive amounts of data have showed no smart results. In the meantime, witnessing Google AlphaGo’s shocking demonstration of beating human go masters made us change our mind to be “Oops! AI, not big data, is the thing we need.” Fundamentally, the core of big data is the data itself. The reason why we have been focused much on data is that more data naturally carries utilization of it. Utilization of data does not just imply simple aggregations and charting but advanced analytics like prediction, abnormal pattern detection and optimization also. Many examples what we call AI now belong to this category. Since data is one of the key components of AI, more and better data results in the smarter outputs. Thus big data is inseparable with AI. We have talked about big data just for a handful of years and still we do not have enough data to solve all the real world problems. This is one of the reasons why today’s AI is not that smart and companies like Google and Facebook who exclusively collect massive amount of data are leading in the AI field. Surely big data is a big pending assignment to settle to make progress of AI in technological and industrial perspective. Experts and Industries of AI and Big Data People who have experience and knowledge mainly focused on algorithm often do not have skills in managing very large data sets. on the contrary, data processing experts usually do not deal with algorithms very well. But to segment a pool of specialists exclusively and precisely into AI and big data does not provide a big benefit for practical purpose. In terms of technology, there is a huge overlap and the two are complementary to configure a single organic body. Making a cut which is too much clear to divide big data and AI is not an easy job to do. A sudden turn from promoting big data industry to AI focus does not deserve logical acceptance. To enjoy a dish of great steak we need both forks and knives. Wrapping up It is essential to understand the difference between AI and big data. However, to try to draw an overly strict borderline between the two without admitting the interdependence could testify that we do not fully understand the very nature of the both. The relationship between big data and AI is like data and its usage. Considering them as a single interconnected system is desirable and vital. Some companies who are retitling from big data to AI as a trend catching effort to gain more market attention do not deserve extreme sarcasm. Just hoping for the bigger deliverables from the union and the synergy of the two might be the job for us.

2016년 08월 31일(수) 20:39:18 전용준 xyxonxyxon@empas.com