빅데이터 전문가, 이상과 현실의 차이, 진짜 현실을 알아보자

빅데이터 전문가라는 단어를 들으면 어떤 이미지가 떠 오르나요? 방대한 데이터를 분석해서 무언가 의미있는 시사점을 도출해 내는 그런 전문가의 모습이 떠 오릅니다.

요즘 떠오르고 있는 주요 IT기술 분야 중 가장 핫한 분야 중 하나임에는 틀림이 없습니다.

인공지능(AI, Artificial Intelligence, 사물인터넷(IoT, Internet of Things), 빅데이터(Big Data), 로봇, 자율주행 자동차, 드론 등등의 최신 IT 트렌드에 당당하게 명함을 내밀고 있습니다.

.

빅데이터 전문가라 하면 컴퓨터 앞에 앉아 방대한 데이터베이스를 누비며 이를 다양한 각도로 분석하여 공공의 이익이나 기업의 이윤에 도움이 되는 정보를 추출하고 가공해 내는 그런 엘리트 전문가의 이미지가 떠오릅니다만,, 저는 이런 이상적인 모습과 현실과의 괴리를 저의 직간접적인 경험담에 근거하여 포스팅을 해 보고자 합니다.

1.

빅데이터 전문가라는 직업에 대한 인식과 현실 전기공학, 전자공학, 컴퓨터공학, 기계공학, 항공우주공학 등과 같은 전통적인 공학 분야는 그 역사가 오래 되었고, 이론적으로 정립이 다 되어 전국(그리고 전세계)의 모든 대학해서 유사한 커리큘럼을 가지고 교육을 합니다.

그런데 빅데이터는 아직 학문적으로 이론이 정립이 되지는 않았습니다.

그러다 보니 일단 학교에서 정규교육을 받아서 "빅데이터 학사" 라는 학위를 받기가 어렵습니다 .

아주 일부 있긴 하지만, 모르는 사람들이 많습니다. 아직 사람들의 인식도 낮구요.

기업에서도 말로는 빅데이터 빅데이터 하지만 이를 정확히 이해하고 활용하는 기업은 아직 별로 없습니다.

2.

구체적으로 하는 일은 뭘까? 빅데이터를 가장 잘 다루는 기업들은 구글, 페이스북 같은 플랫폼 기반의 IT기업들입니다.

수많은 사람들이 구글, 페이스북을 사용하면서 자신의 흔적을 인터넷 속에 남겨 놓죠.

그러면 이들 기업은 이 정보를 자신들의 데이터베이스에 계속 축적시키면서 각각의 사용자에 대한 정보를 쌓아 나갑니다.

이것들이 모이고 모이면 수많은 사람들의 취향을 파악할 수 있겠지요.

A라는 사람은 여행을 좋아하고, B라는 사람은 자동차를 좋아하고, C는 독서가 취미이고,, 등등 수천만, 수억명의 사람들에 대한 이런 방대한 데이터를 확보할 수 있습니다(그래서 "빅"데이터죠.

데이터의 규모가 워낙 크니..).

그렇다면 빅데이터 전문가는 이렇게 수집된 데이터를 가지고 뭘 할까요? 좀 더 자세히 들여다보니 A라는 사람은 여행을 좋아하는데, 이 사람이 자기 블로그에 남긴 걸 보니 ?년?월?일에 영국 런던에 갔다 왔고, 그 뒤 언제는 또 동남아의 필리핀에 갔다 왔고, 그 뒤 또 어느 시점에는 일본 오사카에 갔다왔더라.

그래서??? 이런 정보를 수집했는데 여행갔다 온 날짜를 보니 매년 7월 말에 여행을 갔다왔네~~ 아 이사람은 이 때쯤이 회사 휴가기간인가 보다, 그러면 매년 이맘때쯤 이 사람에게 여행관련 광고를 이 사람이 자주 가는 사이트에(이것도 인터넷 서핑기록 수집을 통해 파악할 수 있겠죠) 배너광고로 띄워주면 이사람이 이 광고를 클릭할 확률이 높겠네!! .

여행을 좋아하는 A씨에게는 여행관련 광고를 집중적으로 띄워주자!! 이런 시사점을 도출해 내는 것이 빅데이터 전문가가 하는 일들 중 하나죠.

물론 이걸 직접 들여다보면서 하는 것은 아니고, 위와 같은 논리로 자동적으로 처리가 되게끔 시스템을 설계를 하겠죠.

이런 것이 빅데이터 전문가의 할 일 중 하나입니다.

3.

현실은? 빅데이터 전문가라는 직업이 대우를 받으려면 우선 기업에서 수요가 많아야 하겠죠. 기업들이 빅데이터에 투자하고자 하는 의지(정보수집, 가공, 데이터베이스 구축)와 이를 제대로 활용하려는 전략이 갖추어져 있어야 그 안에서 대접을 받을 수 있습니다만,, 현실은,, 아직 우리나라의 거의 대부분의 기업들은 여기에 대한 투자가 걸음마 수준이 아닌가 싶습니다.

기업들이 일을 하는 걸 보면, 따로 빅데이터에 대한 전문가를 고용해서 전문적인 일을 맡기기보다는 일단 공채를 통해 전통적인 학과를 졸업한 대학생들을 잔뜩 뽑은 다음에 이들 중 좀 똘똘하고 분석 잘 하는 녀석에게 그냥 "이번에 팀장님한테 보고해야 되니까 여기여기서 이러저러한 데이터 뽑아서 분석 보고서 써봐" 하는 수준으로 일을 하고 있는 것 같습니다.

아니면 관련 업체와 계약을 해서 그냥 외주를 주기도 하겠죠.

.

오늘도 보고서 쓴다고 밤을 환하게 다 세웠군 ...

ㅜㅜ 4.

그래서 대책은? 이 분야에서 성공하려면 뭘 해야 할까? 무슨 자격증, IT프로그래밍, DB운영, 이런 것도 중요하지만 빅데이터에 있어서 진짜 중요한 것은 자신이 몸담고 있는 산업분야에 대해 정확하게 이해하는 것 입니다.

그리고 그 지식을 바탕으로 어떤 데이터를 수집해서, 어떤 관점으로 가공해서 어디에 활용해서 어떤 부가가치를 창출할 것인가를 처음부터 끝까지 쭉 설계해 낼 수 있는 역량이 필요하죠.

이 빅데이터라는 곳에 관심이 많고 이 쪽으로 전문가가 되고 싶다고 해서 꼭 관련 자격증이나 IT관련 기술을 배워야 하는 것은 아닙니다.

특정 산업분야에서 다양한 경험을 해 보면서 그냥 일만 열심히 하지 말고, 일을 통해 얻은 노하우, 지식, 정보를 꾸준히 수집하고 보관하고 가공하고 활용하다 보면 어느 순간 전문가가 되어 있을 것입니다.

그리고 자격증, IT기술, 프로그래밍, DB관련 기술들이 이 데이터들을 관리하는데 도움을 줄 수 있겠죠.

요약하면 1.

일단은 자신의 분야에 대한 전문 지식을 갖추는 것이 최우선이다.

2.

그런데 일만 열심히 하지 말고, 경험한 것을 데이터의 형태로 꾸준히 축적해 나가는 것이 중요하다.

3.

각종 IT관련 기술들이 2번을 효율적으로 하는데 큰 도움을 줄 수 있다, 특히 데이터가 점점 방대해질 수록 IT기술의 도움이 절실할 것이다.

.

Use by CCL A from http://bookreviewblog.tistory.com/211

[ BRB - Book Review Blog ] 글 더보기