빅데이터의 한계와 비합리적 선택에 관하여

미디어 이론 9조

이정석

권이범

김성진

이호승

황영규

목 차

Ⅰ. 서론

Ⅱ. 이론적 배경

1. 빅데이터

2. 의사결정

3. 경영 유행

4. 확증편향

5. 매몰비용 오류

Ⅲ. 주제와 관련된 현상

1. CRM의 실패

2. 개인정보 문제

3. 인력·비용 문제

4. 지적재산권침해 문제

Ⅳ. 논의

1. 결론

2. 한계점 및 의의

3. 후속연구 제언

참고문헌

Ⅰ. 서론

빅데이터가 세상을 흔들고 있다. 각종 매체, 수많은 인사들이 빅데이터에 대한 황금빛 전망을 쏟아내고 있는 이 시점, 우리는 이 현상을 곧이곧대로 받아들여야하는가? 물론 빅데이터로 재미를 본 수많은 사례가 있다. 우리가 잘 알고 있는 아마존에서는 빅데이터 분석을 통해 맞춤형 추천서비스를 런칭하여 수익을 낸 바가 있으며, 우리나라에서는 서울시가 통화량, 카드 내역 등 빅데이터를 분석하여 야간버스를 운영해, 시민들에게 좋은 반응을 이끌어 냈다. 하지만 과거 유행했지만 실패했던 CRM(고객 관계 관리)의 사례처럼 단순한 유행이 아닌가하는 의견도 있으며, 빅데이터의 개인정보 침해 문제, 비용 문제 등 문제를 제기하는 사람들도 존재한다. 이런 점을 본다면 기업가의 입장에서는 기술 도입에 앞서 충분한 검증이 있어야 할 것이다. 하지만 우리나라에서는 패션이 유행하듯 기술 도입도 유행한다. 분명 경제학에 따르면 인간은 합리적인 선택을 해야한다. 이러한 점에서 빅데이터에 대한 비판 외에 인간이 왜 비합리적인 선택을 하게 되는지 알아봤다.

Ⅱ. 이론적 배경

1. 빅데이터

빅데이터란 말 그대로 기존의 방식으론 분석하기 어려울 정도의 큰 데이터를 의미하는데 빅데이터의 개념이 발생한 12년도쯤부터 스마트폰, 태블릿PC 같은 스마트 기기 사용자들이 폭발적으로 증가하면서 우리 주변에 새롭게 생성되거나 유통되는 정보가 폭발적으로 증가하기 시작했다.

그림  2011~2016년 월별 모바일 데이터 트래픽 증가 추이

스마트폰은 우리의 이동경로를 실시간으로 기록하여 저장하고, 버스나 지하철에 설치된 요금정산기도 얼마를 내는지 언제 어느 장소에서 타고 내렸는지에 대한 정보를 축적한다. 심지어는 초단위로 올라오는 트위터의 글이나, 네이버나 구글 등에서 찾아본 검색어, 블로그에 남긴 짧은 기록까지 우리의 모든 것을 파악 할 수 있는 막대한 양의 데이터들이 축적되고 있다. 바로 이러한 것들을 빅데이터라고 부른다.(천채정 2012)

시장 조사 및 연구 컨설팅 업체인 가트너(Gartner)는 이러한 빅데이터의 특징을 ‘3V’로 통칭하는데 이는 규모(Volume), 다양성(Variety), 속도(Velocity)이다.

가. 규모

빅데이터라 불리기 위해서는 일단 데이터 집합의 크기가 커야한다. 최근 이정도의 데이터는 다양한 분야에서 심심치 않게 쏟아지고 있는데 유럽원자핵공동연구소(CERN)의 거대 가속기(LHC)에서 쏟아지는 데이터는 2010년에만 무려 13페타바이터의 데이터였으며, 인간 게놈 프로젝트에서 1000개의 게놈 프로젝트에서 모인 데이터가 아마존 웹서비스를 통해 무료로 공개되기 시작했는데, 그 양은 200테라바이트에 달한다<http://www.1000genomes.org>. 비즈니스에서 쏟아지는 데이터도 어마어마한데 월마트에서는 현재 관리하고 있는 각종 거래 데이터가 2500 테라바이트를 넘어서고, 지금 이 순간에도 증가하고 있다. 미국기업 대상으로 ‘조직 내에서 분석 전용으로 관리하는 데이터 총량’을 물어본 데이터 웨어하우징 인스티튜드(TDWI)의 설문조사에 의하면, 약 37%의 기업이 이미 10테라 바이트 이상의 데이터를 갖고 있다고 응답했다.

그림  인터넷 공간을 흐르는 다양한 데이터의 규모와 속도(2011년 기준)

나. 다양성

단순한 큰 규모만으로 빅데이터라고 할 수 없는 이유는 현재 쏟아지는 데이터들의 형태가 매우 다양하다는 점이다. 지금까지 관리되어 왔던 데이터들은 제품 생산 내역, 유통 재고, 판매 내역 등 비교적 형태가 뚜렷하고 일정했다. 이러한 데이터를 구조적 데이터라고 부른다. 하지만 최근 쏟아지는 데이터들은 이처럼 미리 형식을 하나하나 정해놓기 어렵다. 언론사나 포털사이트에 게재된 뉴스 게시물, 거기에 달린 댓글, 블로그나 온라인 게시판에 올라오는 게시물, 유튜브에 올라와 있는 동영상, 사운드 클라우드의 음악, 사진 등 매우 다양하다. 이러한 데이터를 비구조적 데이터라고 한다. 이러한 데이터는 갈수록 그 비율이 늘어나고 있다.

그림  비구조적 데이터의 급증 및 비중

다. 속도

또 다른 난관은 바로 데이터가 쏟아져 들어오는 속도이다. 90년대 초, 데이터 통신망은 매우 고가의 상품이었고, 많은 설치비를 내고 회선을 들여오고 많은 사용료를 내야했다. 하지만 이제는 가정용 PC마다 1Gbps 급의 전송 속도를 쉽게 내고 있다. 또한 4세대 이동통신 기술로 평균 초당 40메가바이트를 무선으로 전송할 수 있다.

이에 따라 정보의 생성-유통-소비의 전 주기가 매우 빨라졌고 이는 빈라덴 사망 당시 정보가 전파되었던 속도를 보면 알 수 있다. 당시 그 속도가 무려 초당 5000회에 이를 정도였다. 빅데이터 시대 이정에는 어떤 사건이 일어나도 그 데이터를 수집, 처리하는데 간격이 매우 길었으나 현재는 트위터 등 거의 실시간으로 데이터를 받을 수 있다.

그림  트위터상에서 ‘빈 라덴 사망’ 소식의 전파 모습

이러한 빅데이터의 세가지 차원으로 빅데이터의 좁은 의미를 정의 할 수 있다. 하지만 빅데이터가 점점 더 인기를 끌면서 더욱 넓은 의미로 쓰이고 있다. 앞서 말한 빅데이터를 다루기 위해서는 기존과 다른 차원의 기술과 인력이 요구된다. 따라서 이러한 빅데이터를 관리하고 분석하는데 필요한 인력과 조직, 제반 기술과 인프라를 다같이 묶어 빅데이터로 정의하기도 한다.

2. 의사결정

우리는 언제나 선택을 한다. 학기를 시작하기 전 과목을 정할 때도 선택하며 그날 언제 일어날 것인지, 어떤 음식을 먹을 것인지, 어떤 상품을 구매할 것인지 등 우리는 다양한 선택을 하고 있다. 이런 선택 이후 개인은 그 선택에 의해 행동하게 되며 그 행동의 결과는 우리 삶을 직·간접적으로 영향을 끼치기 때문에, 선택으로 인해 삶의 질이 상승하기도, 하향하기도 한다. 그렇기에 의사결정의 결함은 개인의 삶의 질에 심각한 부정적 영향을 미치기도한다.(Bechara, Damasio, Damasio, & Anderson, 1994). 이와 같은 이유로 의사결정을 직업으로 삼고 있는 정치가, 법조인, 비행 조종사를 비롯한 많은 전문인들은 합리적 의사결정을 내리기 위해 다양한 의사결정 훈련을 하고 있다.(김민영, 손영우 , 박수애, 2005) 선택의 결과가 확실하지 않은 상황에서 우리는 선택 전에 다양한 정보를 토대로 결정하는 합리적 의사결정을 하기도 하는데 합리적 의사결정이란, 불확실성이 높은 상황에서 대상에 대한 가치를 각각 따져보다 이익이 큰 대상을 선택하는 것이다.(Marschner, Mell, Watenbuger, Reischies & Heekeren, 2005) 하지만 우리는 언제나 합리적 의사결정을 하는 것은 아니다.

3. 경영 유행

위에서 살펴본 것에 따르면 합리적 결정을 한다고 여겨지는데 Abrahamson(1991, 1996)은 경영자들이 기존 조직학자들(Rogers, 1962)dl 전제하는 것처럼 합리적인 채택자가 아니라 유행에 큰 영향을 받는 유행 채택자들(fashion adopters)이라고 주장한다. 경영자들에게 있어서 경영혁신의 도입은 상징적 의미를 가진다. 경영혁신이 경제적인 성과의 향상보다는 조직 내·외부의 이해관계자들에게 조직 또는 경영자의 혁신성을 보여주는 기능으로써 도입되게 된다는 것이다. 경영혁신이 이와 같은 역할을 위해 도입되면 조직의 경제적인 성과 향상은 기대하기 어려워지는데, 첫째 관행의 도입과 실행에 있어서 조직의 상황에 대한 고려고 부족하고 둘째, 경영 유행의 채택으로서 도입된 경영혁신은 성급하게 도입될 뿐만 아니라 지속적으로 실행되지 않고 성급하게 버려지기 때문이다(Abrahamson, 1991).

4. 확증편향

확증편향은 사람들이 자신이 원래 생각하던 것, 즉 현재 고려중인 가설과 일치하는 증거만을 주로 탐색하는 경향을 말한다.(Klayman & Ha, 1987). 우리는 명품이 비싼 가격을 보고 명품은 품질이 좋기 때문에 당연하다 여기는 점과 피부색이나 성별에 대해 특정한 고정관념을 가지고 있는 것을 보면 알 수 있다. 심지어 주어진 진술이 잘못되었다는 사실을 알게 된 후에도 처음 형성된 생각에 대한 반증증거를 찾는데 어려움을 겪는다(Klayman & Ha. 1987, 1989).

확증편향은 정도의 차이가 있을 뿐 거의 모든 사람들이 가지고 있기 때문에(Beattie & Baron, 1988; Klayman & Ha, 1987), 인간사고에 있어 가장 심각한 오류로 인식되어 왔다.(김청택, 최인철, 2010).

5. 매몰비용 오류

사람들은 종종 미래의 행동을 결정할 때 과거의 회복 불가능한 비용에 집착하는 경우가 있다. 경제적인 관점에서 보면 과거의 회복 불가능한 비용은 무시해야 하고, 현재의 결정과 관련이 없어야 한다.

합리적인 의사결정은 오직 추가적인 비용과 이익에 대하여만 고려해야 하나 사람들은 매몰비용에 대하여 과대평가 하게 되고 결과적으로 이에 대한 투자를 지속하려는 경향이 있다.(Arkes & Blumer, 1985; Tharler, 1980)

이러한 매몰 비용 오류 상황을 더 자세히 이해하기 위해 Arkes와 Blumer의 연구 시나리오를 살펴보자.

1) 당신은 비행기 제조 회사의 사장으로 연구 프로젝트에 회사 돈 1000만불을 투자하였습니다. 이 프로젝트의 목적은 일반 레이더에는 탐지되지 않는 비행기를 만드는 것입니다. 프로젝트가 90% 완성되었을 때, 다른 회사가 레이더에 탐지되지 않는 비행기를 시판하려고 합니다. 또한 이 회사의 비행기는 당신의 회사에서 만들고 있는 비행기 보다 훨씬 빠르며, 경제적으로 저렴하다는 것이 명백합니다.

[질문] 레이더에 탐지되지 않는 비행기를 만들기 위한 프로젝트를 완성하기 위해 당신은 나머지 10%의 연구기금을 투자하시겠습니까?

2) 당신은 비행기 제조 회사의 사장으로 당신의 부하직원으로부터 제안을 받았습니다. 레이더에 탐지되지 않는 비행기 개발에 연구기금의 나머지 100만불을 사용하자는 제안입니다. 그러나 지금 막 다른 회사에서 탐지되지 않은 비행기를 시판하였습니다. 또한 이 회사의 비행기는 당신의 회사에서 만들 수 있는 비행기보다 훨씬 빠르며, 경제적으로도 저렴하다는 것이 명백합니다.

실제 실험 결과, 1)시나리오에서는 비록 최종 완성될 자사의 비행기가 현제 시판 예정인 타사의 비행기보다 열등한 제품임을 알면서도 실험참가자의 85%(48명 중 41명) 정도가 자사의 연구 프로젝트를 끝내기 위해 나머지 돈을 투자하였다고 결정하였다. 그렇지만 매몰비용이 명시되지 않은 2)시나리오에서는 실험참가자들 중 오직 17%(60명 중 10명)만이 프로젝트를 계속하기 위해 남은 돈을 투자하겠다고 결정하였다.

Ⅲ. 주제와 관련된 현상

1. CRM 사례

CRM(고객 관계 관리)란 소비자들을 자신의 고객으로 만들고, 이를 장기간 유지하고자 하는 경영방식이며 기업들이 고객과의 관계를 관리, 고객 확보, 그리고 고객, 판매인, 협력자와 내부 정보를 분석하고 저장하는 데 사용하는 광대한 분야를 아우르는 방식을 뜻하는데, 2000년대 초반에 국내 기업마다 이 시스템 도입 열풍이 불어서 많은 기업들이 앞다춰 고가의 IT인프라와 솔루션을 도입했다. 하지만 이후 운영 단계에서 뚜렷한 체감 성과를 맛보지 못하고 이내 실망하고 말았다. 이로 인해 2000년대 후반 들어 일련의 IT 혁신 활동이 관련 솔루션 업체들의 단순한 상술에 지나지 않는지 의구심이 확산되었다. 이러한 경험의 연장선상에서 빅데이터도 그저 겉포장만 바귄 그럴듯한 신상품이라는 의혹을 갖게 되는 것이다.(함유근&채승병, 2013)

2. 개인정보 침해 문제

현재 인터넷의 발달로 다양한 정보를 획득하기 쉬워졌다. 또한 이러한 데이터를 올바르게 관리하고 분석, 활용하는 것이 기업뿐만 아니라 국가간의 경쟁력의 핵심요소로 부상하게 되었다. 그라나 정보가 중요해짐에 따라 무분별하게 데이터를 가져가거나 다른 국가 내에서 활용, 또는 활용할 데이터를 수집하다보니 프라이버시 침해부터 국가에 관리하는 데이터 주권의 침해 등 관리와 보안에 관련된 문제들이 발생되고 있다.

그림  빅데이터 활용에 따른 정보침해

무엇보다 가장 큰 문제가 되는 것은 개인정보침해이다. 기존의 아날로그 시대에서는 개인정보라고 하면 단순히 이름이나 전화번호 등의 비교적 덜 중요하거나 노출이 되어도 무방했던 것에서 주민등록번호, 건강정보, 재산, 주소 등 민감하고 중요한 정보로 바뀌었다. 이에 따라 각 국가에서는 개인정보보호법을 제정하여 무분별한 데이터 수집에서 개인정보를 보호하고 있다. 우리나라 역시 개인정보보호법을 제정하였고, 최근 개인정보보호법이 강화되었다.

그러나 사이버 공간의 특성과 정보의 주체를 고려하지 않고 단순히 눈에 보이는 문제만 해결하려하는 문제 덮기식으로 법을 제정한 것이 문제가 되고 있다. 특히 정보 과보호와 수집정보 폐기 기한이 논란이 되고 있는데, 이것은 보안과 해킹이 무한수렴하는 사이버 공간의 특성과 빅데이터 활용을 위한 정보수집 및 관리를 이해하지 못한 대표적 사례이고, 더 나아가 법과 기술의 괴리가 생기게 된다. 그렇기 때문에 단순히 개인정보 자체에 초점을 맞추거나 보호가치를 넘어서는 과보호는 지양하고 개인정보의 오용과 남용, 침해규제와 처벌에 초점을 맞추어야할 것이다(이용수, 2011).

3. 인력·비용 문제

위에 이론적 배경에서 살펴 본 것처럼 빅데이터 관리, 분석에는 지금까지와는 차원이 다른 기술과 인력이 필요하다. 일단 빅데이터의 엄청난 데이터를 저장하려면 물리적인 저장공간이 필요하다. 보통 수많은 저장공간을 병렬처리하여 빅데이터 클러스터를 구축해야하는데 이를 구축하는데 드는 비용만 3억이다. 구축을 하고 난 이후에도 이를 관리할 인력, 데이터 보안을 관리할 인력들을 고용해야한다. 또한 데이터 저장 이후 분석할 분석가, 그리고 이를 토대로 상품을 만들어낼 마케터가 필요하다. 우리은행에서는 이러한 빅데이터 초기 투자비용의 예산을 55억 배정했다. 이러한 빅데이터 비용이 해결된다 해도 문제는 남아있다. 빅데이터는 새로운 기술이며 그 막대한 양 때문에 전문적인 인력이 필요한데, 이 데이터를 다루고 활용할 수 있는 인력이 매우 부족하다. IBM 등 빅데이터 과학자를 육성하기 위해 많은 노력을 하고 있지만 그 발전 속도에 따라오고 있지 못한다. 기존의 전문가를 이용한다고 해도 그들에게 빅데이터 개념과 활용법을 가르치는데도 수많은 시간과 막대한 자금이 들어간다.

4. 지적재산권침해 문제

현재 각광을 받고 있는 빅 데이터에 관한 실용적인 논의는 빅 데이터의 생산 방식보다는 빅 데이터의 추후적 활용에 집중되고 있다. 이러한 실용적인 접근은 이미 만들어진 빅 데이터를 어떻게 여러 가지 용도로 활용할 것인가를 추구한다. 그래서 빅 데이터가 만들어지는 과정이나 그것이 갖는 사회적인 위상을 분석하지 않는다. 빅 데이터에 대한 비판적인 접근은 빅 데이터가 만들어지는 방식， 만들어진 빅 데이터가 활용되는 방식 두 가지 차원에서 전개될 수 있다. 빅 데이터에 관한 비판적인 논의는 빅 데이터의 활용과 관련하여 프라이버시와 통제에 집중되고 있지만 빅 데이터의 중요한 문제 지형은 이용자 활동의 전유와 관련된 영역에서 이루어지고 있다. 이 논문에서는 빅 데이터가 형성되는 과정에서 ‘이용자가 생산한 가치’의 행방이 어떻게 되는지를 추적하고 이용자 활동을 포획하는 기계로서의 플랫폼이 어떤 위상을 갖는지가 분석되어 있다. 그 결과 이이삭(이이삭, 2015)은 이용자들이 자신이 만든 활동 결과물로부터 소외되는 현상과 그에 대한 대안으로서의 ‘기본소득’의 논리적 의미를 제시해 놓았다.

Ⅳ. 논의

1. 결론

위에서 살펴본 2000년대 유행했던 CRM의 이야기 외에도 90년대 유행했던 BPR, TQM, 지식경영 등을 생각해보면 경영자들 사이에 경영유행이라는 것이 분명 존재한다(정영철, 2002). 또한 위에 따르면 인간이 판단을 내릴 때 언제나 합리적인 결정을 내리지 않기 때문에 모든 경영인들은 이러한 기재에 매우 주의를 기울여야 한다.

2. 한계점 및 의의

빅데이터의 개념은 2012년 이후 발생되어 팽창되기 시작했다. 그렇기 때문에 아직 제대로 된 사례가 많이 없고, 사회과학 내에서 빅데이터 현상에 대한 논의가 충분히 이뤄지지 않았다. 성공사례들이 많지만 이것은 마케팅 적인 의미이며 그 성공 사례도 대기업 등 극히 일부에 불과하다. 그렇기 때문에 벌써 빅데이터에 대한 담론에 결론을 내기에는 매우 이르다. 하지만 위에서 살펴본 경영유행, 혹은 인간의 비합리적 의사결정을 본다면 빅데이터 외에도 다음에 유행할 많은 기술을 도입하기 전에 신중한 검증이 필요하다는 것을 인지 할 수 있다. 모든 경영자들은 경영에서 자신의 합리적인 결정을 하고 있는지 신중한 검증을 토대로 경영을 해내가야 할 것이다. 경영인 외에도 우리가 다양한 기술을 받아들일 때 가질수 있는 다양한 선입견들을 주의해서 기술을 분석해야할 것이다.

3. 후속연구 제언

빅데이터가 자리 잡은 후 다양한 사례들이 도출되면 사례 연구를 통하여 실패와 성공 요인을 분석하여 이후 도입 고려 시 이용한다면 기업이 경쟁력을 올리는데 용이할 것이다. 또한 경영자들의 의사결정이 다양한 오류 내에서 이뤄 질 수 있다는 점을 인지하여 경영자들의 판단 시 발생하는 다양한 심리 기재들을 직접적으로 연구한다면 이후 경영 운영 정립에 많은 도움이 될 것이다.

참고문헌

김민영, 손영우, 박수애 (2005). 의사결정의 판단 기준과 정보 선택에 있어서 경험과 맥락의 영향 – 조종사를 대상으로-, 한국심리학회지: 산업 및 조직, 18(2), 225-246.

이용수 (2011). 스마트혁명 시대 빅데이터 활용과 프라이버시 사이의 충돌에 관한연구. 경원대학교 석사학위 논문.

이이삭 (2015). 빅데이터의 지식재산권 문제에 관한 연구. 성균대학교 석사학위 논문.

정영철 (2002). 유행으로서의 경영지식 : 실체와 허상. 연세대학교 경영학과 석사학위 논문.

천채정 (역) (2012). 빅데이터 비즈니스. 스즈키 료스케의 The age of big data business. 서울 : 더숲.

함유근 & 채승병 (20120. 빅데이터 경영을 바꾸다. 삼성경제연구소 : 서울.

Abrahamson (1991), “Managerial Fads and Fashion and Fashion: The Diffusion and Rejection of Innovations”, Academy of management Review, 16(3), 586-612

Abrahamson (1996), “Management Fashion”, Academy of management Review, 21(1), 254-285.

Beattie, J. & Baron, J. (1998). Confirmation and matching bias in hypothesis testing, Quarterly Journal of Experimental Psychology, 40.

Bechara, A., Damasio, A. R., Damasio. H., & Anderson. S. W. (1994). Insensitiviti to future consequences following damage to human prefrontal cortex. Cognition, 50, 7-15.

Klayman, J. & Ha, Y. (1987) Confirmation, disconfirmation, and information in hypothesis Testing. American Psychological Association, 94(2), 211-228

Klayman, J. & Ha, Y. (1989). Hypothesis testing in rule discover : Strategy, structure, and content. Journal of Experimental Psychology:Learning, Memory, and Cognition, 15(4), 596.

Marcshner, A., Mell, M., Wartenbuger, I., Willringer, A., Reischies, F. M. & Heekeren, H. T. (2005). Reward-based decision-making and aging, Brain Rearch Bulletin, 67(5), 382-390.