빅데이터 이해

학습 목표

1. 빅데이터를 이해하고 설명할 수 있다.

2. 빅데이터의 정의와 속성을 설명할 수 있다.

3. 빅데이터의 표준화 동향 및 시장 현황을 설명할 수 있다.

 

 

빅데이터는 컴퓨터의 처리 능력의 향상과 초고속 네트워크의 발전으로 인해 새롭게 등장한 기술분야이다. 스마트폰, 태블릿과 같은 스마트 기기들이 IT 기술이 발달함에 따라 사용자들에게 쉽게 보급되고 있다. 또한 현재 스마트 기기를 사용하는 사용자들은 유무선 네트워크가 발달함에 따라 쉽게 언제 어디서나 페이스북, 트위터, 블로그, 카페와 같은 소셜 미디어와 포털에 접속하여 데이터를 생성하고 있다. 게다가 스마트 기기는 점점 늘어가고 있으며, 이에 따라 발생되는 데이터도 급격히 증가되고 있다.

 

*사물인터넷 

정보통신 기술을 기반으로 실세계(physical world)와 가상 세계(virtual world)의 다양한 사물들을 연결하여 진보된 서비스를 제공하기 위한 서비스 기반 시설

*스마트홈

집 안의 다양한 가전 기기들이 네트워크로 연결되어 원하는 서비스를 제공하는 집. 집 안에 사는 사람들이 즐겁고, 편리하고, 안전하게 건강한 삶은 물론 환경 친화적인 삶을 살도록 첨단 IT 기술을 이용하여 다양한 서비스를 제공

*스마트 시티

첨단 정보통신 기술(ICT)를 이용해 주요 도시의 공공기능을 네트워크화한 도시

**스마트 그리드

IT 기술을 전력에 접목해 효율성을 제고한 시스템. 첨단 IT와 기존의 전력망이 결합하여 전력 공급자와 사용자가 양방향으로 실시간 정보를 교환하면서 에너지 사용을 효율화한 시스템

 

<데이터단위 알아두기>

1테라바이트 (Tera Byte : TB) = 1024GB

1페타바이트(Teta Byte : PB) = 1024TB

1엑사바이트(Exa Byte : EB) = 1024PB

1제타바이트(Zeta Byte : ZB) = 1024EB

1요타바이트(Yota Byte : YB) = 1024ZB

 

빅데이터에 대해 초기 구글, 마이크로소프트, NASA는 방대한 양의 데이터로 정의하고, very large DB, Extremely Large DB 등 다양한 불렀지만 빅데이터의 개념은 '기존의 관리 방법이나 분석 체계로는 처리하기 어려운 막대한 양의 정형 또는 비정형 데이터 집합이라고 정의하고 있다. 빅데이터의 속성은 규모(Volume), 다양성(Variety), 속도(Velocity) 즉, 3V로 정의하였다. 그리고 정확성(Veracity) 요소를 추가하여 4V로 최종적으로 정의하였다. 최근에는 속성에 가치(Value)가 추가되어 5V로 정의되고 있다. 

 

 

 

빅데이터는 데이터의 정형화 정도에 따라 정형, 반정형, 비정형 데이터로 분류된다.

종류	주요내용
정형	고정된 필드에 저장된 데이터 예) 관계형 데이터 베이스, 스프레드시트
반정형	고정된 필드에 저장되어 있지만, 메타 데이터나 스키마 등을 포함하는 데이터 예) XML, HTML 텍스트
비정형	고정된 필드에 저장되어 있지 않은 데이터 예) 텍스트 분석이 가능한 텍스트 문서, 이미지, 동영상, 음악

정형데이터 : 일정한 규칙에 따라 체계적으로 정리한 데이터

1) 데이터만 가지고 의미 해석이 가능

2) 바로 활용이 가능한 데이터

3) 관계형 데이터베이스에 저장되는 데이터나 엑셀과 같은 스프레드시트 데이터

 

반정형 데이터 : 한글이나 MS 워드 등으로 작성한 데이터

1) 페이스북, 트위터, 카카오톡 등 소셜 네트워크 서비스에 사용자가 생성하는 데이터

 

비정형 데이터 : 형식이 정해지지 않은 데이터

1) 속도가 누구도 예측할 수 없을 정도로 빠르다.

2) 향후 10년 동안 생성하는 양은 전체 데이터의 90%에 달할 것으로 전망된다. 

 

구분	기존 데이터	빅데이터
데이터 소스	● 정보화 시스템 ● 정적인 정보 서비스	●일상화된 정보 서비스 ●동적인 정보 서비스
목적	● 업무의 효율성 향상	●사회적 소통, 자기 표현, 사회 기반 서비스
데이터  생성 주체	● 정부 기관, 기업	●개인
데이터 유형	● 정형 데이터 ● 조직 내부 데이터 ● 주로 비공개 데이터	●비정형 데이터 ● 조직 외부 데이터 ● 공공 데이터
데이터 특징	● 데이터 증가량 관리 가능 ● 신뢰도 높은 데이터	● 기하급수적으로 증가 ● 쓰레기 데이터의 비중 높음 ● 문맥 정보 등 다양한 데이터
데이터 보유 주체	● 정부 기관, 기업	● 인터넷 서비스 기업 ● 포털 (네이버, 네이트, 다음) ● 이동통신회사 ● 스마트 기기 생산회사
데이터 분석 플랫폼	● 데이터 웨어 하우스 ● OLAP (Oline Analytical  Processing)	● 스플렁크 (Splunk) ● R ● 비정형 데이터 처리에 적합함

기존 데이터 vs 빅데이터 분석표

 

국내외 빅데이터 표준화 동향

SC34 그룹 : 데이터 관리 및 교환에 대한 표준을 추진하고 있다.

SC32 그룹 : 국가 간 데이터 교환이라는 취지에서 빅데이터의 데이터를 표현하는 방식에 대한 표준화를 수행하고 있다.

SC23 그룹 : 정보 교환 및 저장을 위한 디지털 미디어 표준을 추진하고 있다. 데이터 압축 기술 및 빅데이터 관련 데이터 저장 기술에 대한 관심을 갖고 표준화를 수행하고 있다. 

SC27 그룹: IT 보안에 관련된 표준을 추진하고 있다. 수집된 정형 데이터에서 개인의 사생활 정보를 취급하는 방법과 빅데이터 수집 및 분석 과정에서 개인 정보를 제거하는 방법에 대한 연구를 진행하고 표준화를 추진하고 있다. 

SC29 그룹 : 빅데이터의 비정형 데이터를 정규화하는 기술에 대해 표준화를 진행하고 있다. 

 

1) 2016년 국내 빅데이터 시장은 약 2,000억 원 규모에 도달할 것으로 예상되고 있다. 국내 빅데이터 시장 규모는 2014년부터 연평균 24.7% 성장하고 있다. 2019년에는 3,583억 원 규모로 예측되고 있다. 

국내 빅데이터 시장은 2016년을 기준으로 증가율은 조금씩 감소될 것으로 예상되지만, 시장 규모는 꾸준히 성장할 것으로 예측된다.

2) 해외 빅데이터 시장은 2016년 약 265억 달러 규모에 도달할 것으로 예상되고 있다. 해외 빅데이터 시장 규모는 2014년부터 연평균 23.1% 성장하고 있으며, 2015년에는 전년대비 23.7%의 높은 성장률을 기록하면서 213억 달러 규모를 형성하였다. 해외 빅데이터 시장은 증가율이 조금씩 변동되고는 있지만, 시장 규모는 꾸준히 성장한 것으로 예측된다.