ADSP 1과목 2장 2023.10.08 끄적끄적

<빅데이터의 이해>

사진출처 > 이지패스 ADsP 데이터분석 준 전문가(위키북스)

 

 

1. 빅데이터의 정의

 

일반적인 정의)

빅(big)에는 단순히 양적인 개념뿐만 아니라 복잡하고 다양한 질적인 개념도 포함, 일반적으로 빅데이터란 큰 용량과 복잡성으로 기존 애플리케이션이나 툴로는 다루기 어려운 데이터셋의 집합을 의미한다.

 

가트버 정의)

향상된 시사점과 더 나은 의사결정을 위해 사용되는 비용 효율이 높고 혁신적이며 대용량, 고속 및 다양성의 특성을 가진 정보 자산을 말함

 

매킨지 정의)

일반적으로 데이터베이스 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터를 말한다.

 

IDC 정의)

다양한 종류의 대규모 데이터에서 낮은 비용으로 가치를 추출하고, 데이터의 초고속 수집과 발굴을 지원하도록 고안된 차세대 기술 및 아키텍처

 

일본 노무라연구소 정의)

데이터와 데이터 처리, 저장 및 분석기술에 의미 있는 정보 도출은 물론이고, 그에 필요한 인재나 조직까지도 넓은 의미의 빅데이터에 포함시킬 것을 제안했다. 

 

더그 래니(Doug Laney) 정의(3V) )

데이터의 양, 데이터의 유형과 소스의 다양성(Variety), 데이터 수집과 처리 측면에서도 속도(Velocity)가 급격히 증가하면서 나타나는 현상

 

마이어쉰베이크와 쿠키어의 정의)

빅데이터란 대용량 데이터를 활용해 작은 용량으로는 얻을 수 없었던 새로운 통찰이나 가치를 추출해내는 일. 이를 활용해 시장, 기업 및 시민과 정부의 관계 등 많은 분야에 변화를 가져오는 일

 

한국데이터 산업진흥원 정의) 

빅데이터란 데이터에 대한 기존의 접근 방식으로는 얻을 수 없었던 통찰과 가치를 창출하는 모든 것을 의미 

 

2. 빅데이터의 특징

 

더그 래니의 3V )

가트너 그룹의 부회장인 더그 래니는 빅데이터를 데이터의 양, 데이터의 유형, 데이터의 생성 및 처리 속도의 증가로 요약

빅데이터의새로운특징 4V)

일부 학자들은 더그 래니의 3V 에 추가로 value(가치) 혹은 veracity(정확성)를 포함해   4V 로 빅데이터의 특징을 잘 설명하기도 한다. 여기에 시각화, 가변성 등을 추가하는 견해도 있다.

Value(가치) : 데이터 전체를 파악하고 패턴을 발견하기가 어렵게 되면서 가치(Value)의 중요성이 강조된다. 

Veracity(정확성) : 빅데이터 기반의 예측 분석 결과에 대한 신뢰성이 중요하게 되었다.

 

3. 빅데이터의 출현 배경

빅데이터의 양적 증가, 산업계의 변화, 학계의 변화, 관련 기술의 발전

 

클라우드 컴퓨팅) 많은 정보가 클라우드에 수집되는 것도 의미가 있지만, 무엇보다도 빅데이터의 처리 비용을 획기적으로 낮추었다는 점에서 의의가 있다. 대용량의 데이터를 클라우드 분산 병렬 처리 시스템으로 처리할 경우 비용이 혁신적으로 줄어든다는 점도 빅데이터를 분석하고 새로운 가치를 창출하는데 기여했다고 볼 수 있다.

 

클라우드 컴퓨팅은 인터넷('클라우드')를 통해 서버, 스토리지, 데이터베이스, 네트워킹, 소프트웨어, 분석 인텔리전스 등의 컴퓨팅 서비스를 제공하는 것을 말한다. 클라우드 컴퓨팅을 통해 더 빠른 혁신과 유연한 리소스를 기업은 제공받을 수 있고 경영의 이익 효과도 누릴 수 있게 됐다.

출처 : <데이터 분석전문가가이드>, 한국데이터산업진흥

 

<빅데이터의 기능 변화>

빅데이터는 "산업혁명의 석탄 / 철"

제조업뿐만 아니라 서비스 분야의 생산성을 획기적으로 끌어올려 사회 / 경제 / 문화 / 생명 전반에 혁명적 변화를 가져올 것으로 기대된다.

빅데이터는 "21세기 원유"

원유처럼 각종 비즈니스, 공공기관 대국민 서비스, 그리고 경제 성장에 필요한정보를 제공하여 산업 전반의 생산성을 향상시키고 새로운 범주의 산업을 만들어낼 것으로 기대된다. 

빅데이터는 "렌즈"

렌즈를 통해 현미경이 생물학 발전에 끼쳤던 영향만큼, 빅데이터도 렌즈처럼 산업 발전에 큰 영향을 줄 것으로 기대된다.

빅데이터는 "플랫폼"

플랫폼은 공동 활용의 목적으로 구축된 유무형의 구조물을 말한다. 빅데이터는 플랫폼으로서 다양한 서드파티 비즈니스에 활용될 것으로 기대된다.   

 

<빅데이터가 만들어내는 변화>

사전처리 → 사후처리 : 데이터를 사전 처리하지 않고, 가능한 많은 데이터를 모으고 데이터를 다양한 방식으로 조합하여 숨은 인재 사이트를 발굴한다.

표존조사  → 전수조사 : IoT / 클라우드 기술의 발전으로 데이터 처리 비용이 감소하게 되면서 데이터 활용 방법이 표본조사에서 전수조사로 변화

질 → 양 : 수집 데이터의 양이 증가할수록 분석의 정확도가 높아져 양질의 분석 결과 산출에 긍정적인 영향을 주었다.

인과관계 → 상관관계 : 데이터의 양이 급격하게 늘어나면서 상관관계를 통해 특정 현상의 발생 가능성이 포착되고 그에 상응하는 행동을 추천하는 등 상관관계를 통한 인사이트 도출이 점점 확산되고 있다.

 

 

 

핵심문제 해답 정리)

 

1. 빅데이터 출현 배경에 대해 설명

 - 기업의 방대한 양의 고객 데이터 축적

 - 스마트폰 및 인터넷 보급을 통한 기하급수적인 데이터 양의 증가

 - 기술의 발전을 통한 저장 및 분석 비용의 감소

 

2. 빅데이터 출현 배경 중 거대한 데이터의 분석 비용 문제를 해결해준 것은 무엇인가?

→ 클라우드 컴퓨팅

하이브리드 드라이브의 가격 하락 > 데이터 분석이 아닌 데이터 저장 비용 문제를 해결

 

3. 빅데이터의 여러 기능 중 여러 사람이 공동으로 사용가능한 구조물로서의 역할을 하는 기능은?

 → 플랫폼