빅데이터란 무엇을 말하는 것일까?
디지털 환경에서 만들어지는 거대한 데이터를 말한다. 1990년대 이후 인터넷의 발달로 세계 여러 나라 사람들이 필요한 정보를 주고받으면서 거대한 양이 데이터가 축적되었고 지금도 축적되고 있다 또한 스마트폰이 일반화되면서 개인이 활용하는 정보와 SNS 등을 통해서 발생되는 데이터의 양이 상상 이상의 거대한 데이터가 되었다.
빅데이터의 특징은 무엇이 일까?
- 데이터 크기의 단위가 계속 커진다 : 기가바이트(Gigabyte)에서 테라바이트(Terabyte) → 페타바이트(Petabyte) → 엑사바이트(Exabyte) → 제타바이트(Zetabyte)로 데이터 단위 크기가 늘어나고 있다. 예를 들면 1페타바이트는 6기가 바이트 용량의 영화 17만 4천 편을 저장할 수 있는 크기라고 한다.
- 실시간 처리가 가능하다 : 데이터가 수집되고 만들어지며 저장되어 생산자에서 소비자에게 전달되는 단계가 거의 실시간으로 처리된다.
- 다양한 정보를 통하여 새로운 가치를 발견할 수 있다 : 정형 데이터와 비정형 데이터를 통해서 새로운 의미를 가치를 발견할 수 있다.
빅데이터 전문가는 왜 필요한가.
검색엔진 기업들이 인터넷을 통하여 수집한 거대한 양의 데이터와 SNS 통한 개인들의 정보 데이터가 이제는 기업들에게 가치 있는 데이터로 인식되었고 거대하게 축적되었고 축적되고 있는 거대한 데이터를 가치 있게 활용할 수 있도록 하기 위하여 빅데이터 전문가가 필요하다.
빅테이터 전문가를 4가지로 분류하면
- 빅데이터 과학자 : 데이터를 분류하고 시각화하는 전문가
- 빅데이터 컨설턴트 : 데이터를 활용하는 가장 효과적인 전략을 기획하는 전문가
- 빅데이터 개발자 : 데이터를 처리하고 만드는 전문가
- 빅데이터 운영자 : 데이터를 운영하고 관리하는 전문가 등으로 구분할 수 있다
데이터 전문가를 3분야로 나눈다면
- 데이터를 가공하고 수집하는 일
- 데이터를 분석하고 예측하는 일
- 데이터 과제를 만들고 그 결과를 사업에 적용하는 일
빅데이터 전문가 관련 학과와 기본적인 지식
컴퓨터공학과, 소프트웨어과, 산업공학과, 통계학과, 경영학과, 수학과 등이 있으며 여러 대학에서 빅데이터와 인공지능 관련 학과를 개설하고 있습니다. 물론 관련 학과를 나오면 유리하겠지만 통계와 분석, 프로그래밍 언어(Pyton, R 등) 능력과 다양한 분석 기법과 툴의 사용 능력은 기본적으로 갖추어야 할 지식입니다. (예를 들면 하둡은 대용량의 데이터를 수집하고 관리하는 프로그램이며 R는 데이터 통계를 분석하는 시스템입니다. 현재 하둡과 R는 빅데이터 전문가가 다루어야 할 중요한 기술 중의 하나라고 합니다) 빅데이터 분야는 다양한 분야와의 기술 융합을 통해 업무 영역이 확장될 가능성이 크므로 어떤 전공을 선택하던 빅데이터와 연관된 세부적인 기술을 공부하는 것이 유리하다고 생각합니다. 관심을 가지고 있다면 관심 분야의 필요한 지식을 습득하는데 더욱 관심을 기울이고 기초 지식을 습득하는데 더욱 힘써야 합니다. 세계를 무대로 삼는 빅데이터 전문가를 꿈꿔보세요.