ADSP 1과목 2장_2 2023.10.08 끄적끄적

<데이터의 가치와 미래>

사진출처 > 이지패스 ADsP 데이터분석 준 전문가(위키북스)

 

1. 빅데이터의 가치

 -  어떤 인사이트를 발굴하여 어떻게 활용할 것인지에 달렸다. 빅데이터의 가치를 산정하는 일은 어렵기도 하거니와 어찌 보면 의미가 없는 일일 수도 있다. 중요한 것은 빅데이터를 통한 인사이트를 가치 있게 만드는 과정 그 자체이며, 그 과정의 결과가 크든 작든 상관없이 분명히 우리의 삶을 변화시키는 데 중요한 역할을 할 것이라는 점이다.

 

빅데이터 가치 산정은 데이터 활용 방식, 가치 창출 방식, 분석 기술의 발전이라는 세 가지의 이유로 쉽지 않음

 → 데이터 활용 방식 : 재사용이나 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 누가, 언제, 어떻게 어디서 활용되었는지 알 수 없게 되었기 때문에 가치 산청이 어렵다. 

 → 가치 창출 방식 : 빅데이터는 기존에 없던 새로운 가치를 창출함에 따라 그 가치를 산정하기 어렵다.

 → 분석 기술의 발전 : 가치있는 데이터와 가치 없는 데이터의 경계를 나누기 어려워졌다. 오늘의 가치 없는 데이터가 내일은 가치 있는 데이터가 될 수도 있기 때문에 빅데이터의 가치 산정은 어렵다. 

 

2. 빅데이터 영향

기업 : 소비자의 행동을 분석하고, 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업을 발굴

정부 : 환경탐색, 상황분석, 미래대응으로 나눠짐

개인 : 개인의 목적에 따라 빅데이터의 활용이 확산되면서 스마트라이프로 변화됨

 

빅데이터가 가치를 만들어내는 5가지 방식)

 - 투명성 제고로 연구개발 및 효율성 제고

 - 시뮬레이션을 통한 수요 포착 및 주요 변수 탐색으로 경쟁력 강화

 - 고객 세분화 및 맞춤 서비스 제공

 - 알고리즘을 활용한 의사결정 보조 혹은 대체

 - 비즈니스 모델과 제품, 서비스의 혁신 

 

빅데이터 경영혁신의 4단계

[1단계]생산성 향상 → [2단계]발견에 의한 문제 해결 → [3단계]의사결정 향상 → [4단계]새로운 고객가치와 비즈니스 창출

 

빅데이터 활용 사례

기업혁신 사례 ) 구글 검색 기능, 월마트 매출 향상, 질병 예후 진단 등 의료 분야에 접목

정부 활용 사례 ) 실시간 교통정보수집, 기후 정보, 각종 지질 활동등에 활용, 국가안전 확보 활동 및 의료와 교육 개선에의 활용방안 모색

개인 활용 사례 )  정치인과 연예인의 SNS 활용

<7가지 빅데이터 활용 기본 테크닉>

연관규칙 학습(Association rule learning)

 - 어떤 변인 간에 주목할 만한 상관 관계가 있는지를 찾아내는 방법

 - 연관 규칙 학습은 연관분석 혹은 장바구니 분석으로 불리며 고객이 구매한 물품들을 분석하여 품목 사이에 어떠한 규칙이 있는지 찾아내는 분석 기법이다.

 

유형분석(Classification tree analysis)

새로운 사건이 속할 범주는 찾아내는 방법

'이 사용자가 어떤 특성을 가진 집단에 속하는가?'와 같은 문제를 해결하는 방법

 

유전알고리즘(Genetic algorithms)

최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 매커니즘을 통해 점진적으로 진화시켜 나가는 방법

'최대의 시청율을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가?' 와 같은 문제를 해결할 때 사용한다.   

 

기계학습 = 머신러닝(Machine learning)

 - 컴퓨터가 데이터로부터 규칙을 찾고 이러한 규칙을 활용해 '예측'하는데 초점을 둔 방법

 - '기존 시청 기록을 바탕으로 시청자가 보유한 영화 중 어떤 영화를 가장 보고 싶어 할까?'와 같은 문제를 해결할 때 사용

예) 유튜브 및 넷플릭스의 미디어 추천 시스템, 스팸메일 필터링, 질병 진단 예측

 

기계학습에 사용되는 분석 알고리즘에는 의사결정나무, K-NN, 인공신경망, 군집, 딥러닝, 유전알고리즘 등 다양한 분석알고리즘이 있다.  

 

회기분석(Regression analysis)

독립변수를 조작하면서 종속변수가 어떻게 변화하는지를 보며 수치적으로 이루어진 두 변인간의 관계를 파악하는 방법

'구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?'와 같은 문제를 해결할 때 사용한다.

 

감정분석(Sentiment analysis)

특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방석하는 방법

비정형 데이터 마이닝의 대표적인 기법 중 하나, 텍스트 파일로 부터 단어를 추출하고 추출된 단어의 긍정, 부정을 선별하여 글을 쓴 사람의 감정을 분석하는 분석 방법

호텔에서 고객의 후기를 분석하여 고객의 니즈를 찾아낸다. 

제품 사용기에 나타난 고객의 감정은 어떠한가?

 

소셜 네트워크 분석(SNA : Social Network Analysis)

사회 관계망 분석으로도 불리며, SNS 같은 온라인 공간에서 유저 사이의 팔로워, 팔로잉 관계를 분석하여 영향력 있는 사람을 찾아내어 기업의 효율적인 마케팅이나 범죄수사에서 공범을 찾는 등 다양한 분야에서 활용될 수 있다.

 

숙지하면 좋은 용어)

연결 중심성 : 하나의 점에 얼마나 많은 다른 점이 연결돼 있는지 나타내는 척도, 연결된 노드들의 수의 합으로 표현

근접 중심성 : 노드 사이의 거리를 기반으로 측정한 척도

매개 중심성 : 네트워크 내에서 해당 노드가 어디에 위치하는지 파악함으로써 해당 노드의 영향력을 파악할 수 있다

아이겐벡터 중심성 : 네트웨크 내의 노드와 다른 벡터의 중심성과 가중치를 활용하여 계산하는 방식으로 해당 노드와 연결된 다른 노드들이 네트워크 내에서 중요한지 파악하는 지표

 

빅데이터의 위기 요인과 통제 방안

(1) 위기요인

 - 사생활 침해

개인의 사생활 침해 위협으로 변형될 수 있다.

익명화 기술이 발전되고 있으나, 아직도 충분하지 않으며, 정보가 오용될 때 위협의 크기는 막대하다.

 - 책임 원칙 훼손

빅데이터 기반 분석과 예측 기술이 발전하면서 정확도가 증가한 만큼, 분석 대상이 되는 사람들이 예측 알고리즘의 희생양이 될 가능성도 높아졌다.

 - 데이터 오용

데이터 과신 혹은 잘못된 사용으로 인한 잘못된 인사이트를 얻어 비즈니스에 적용할 경우 직접 손실이 발생할 수 있다. 

빅데이터는 과거 데이터를 분석하는 것이기 때문에 창조적인 미래를 예측하는 경우, 과거 데이터를 과신하거나 오용하면 창조적인 제품을 개발하기 어려움

 

<빅데이터의 위기 요인과 그 예시>

사생화 침해 → 구글의 사용자 행동 패턴 예측

책임 원칙 훼속 → 범죄 발생 이전에 체포

데이터 오용 → 비행기 탑승 금지자 목록에 상원 의원이 포함

 

(2) 통제방안

 - 사행활 침해의 통제 방안 → '동의'에서 '책임' 으로

 개인정보 제공자의 ' 동의'를 통해 해결하기보다 개인정보 사용자의 '책임'으로 해결한다는 방안

 - 책임 원칙 훼손의 통제 방안  →  결과 기반 책임 원칙 고수

특정인의 '성향'에 따라 처벌하는 것이 아닌 '행동 결과'를 보고 처벌한다.

범죄를 저지를 것이라 예상되더라도 현 시점에서 아무런 범죄가 발생하지 않았으므로 어떠한 조치도 취할 수 없다는 것

 - 알고리즘 접근 허용

데이터가 어떻게 사용되어 어떠한 이유로 피해자가 발생하게 되었는지 데이터 활용 로직인 알고리즘을 살표봄으로써 피해자를 구제할 수 있다.

최근에는 알고리즘을 이해하고 해석함으로써 사전에 피해자를 방지하고 피해자를 구제하는 전문인력인 알고리즈미스트(Algofrithmist)가 부상하고 있다.

 

<빅데이터 위기 요인과 통제 방안>

사생활 침해 → 동의에서 책임으로

책임 원칙 훼손 → 결과 기반 책임 원칙 고수

데이터 오용 → 알고리즘 접근 허용

 

개인정보 비식별 기술

데이터 마스킹 : 데이터의 기존 형식을 유지한 채 식별할 수 없는 임의의 값(혹은 기호)으로 대체한다.

가명처리 : 데이터의 값을 다른 값으로 변경한다.

총계 처리 : 각각의 데이터 값이 아닌 전체 데이터에 대한 총합 또는 평균으로 데이터를 보여준다.

데이터 값 삭제 : 데이터 값의 일부를 삭제한다.

 

데이터 범주회 : 데이터의 값을 범주화하여 특정 값이 아닌 범위를 제공한다.

 

미연방거래위원회(FTC)의 소비자 프라이버시 보호 3대 권고사항

1. 기업은 상품 개발 단계로부터 소비자 프라이버시 보호 방안을 적용
2. 기업은 소비자에게 공유정보 선택 옵션을 제공
3. 소비자에게 수집된 정보 내용 공개 및 접근권 부여

 

핵심 문제 해답 정리)

1. 빅데이터 시대가 도래하면서 발생 가능한 부정적인 측면 중 하나인 '책임 원칙의 훼손'에 대한 사례

→ 예측된 범행 이전의 체포는 책임 원칙 훼손의 대표적인 예시. 범하지 않는 죄에 대한 처벌은 정당한 것인지 정당하지 않은 것인지 판단할 수 없기 때문

 

2. 빅데이터 시대의 위기 요인 중 사행활 침해 문제를 해결하기 위한 대책

→ 개인정보를 사용하는 사람이 직접 책임지는 책임제의 도입

 

3. 개인정보 비식별화 기법

총계처리 : 데이터의 총합 또는 평균을 나타내어 개별 데이터 값을 숨김

가명처리 : 개인 식별을 위한 데이터를 식별할 수 없는 값으로 변경

범주화 : 데이터의 값을 범주화하여 기존 값을 감춤

데이터 마스킹 : 데이터의 기존 형식을 유지한 채 식별할 수 없도록 값을 바꾸는 기술

 

4. 데이터 가치 측정이 어려운 이유

데이터 활용 방식 : 일반화로 데이터를 언제 누가 사용했는지 알 수 없기 때문

가치 창출 : 무심코 지나칠 수 있는 데이터 속에서 가치가 발견될 수 있기 때문

분석 기술 발전 : 과거에 찾지 못했던 가치를 찾을 수 있기 때문에

인고지능 > 데이터 활용 방안의 일종으로 데이터 가치 즉정이 어려운 이유로는 부적절하다.

 

5. 비즈니스 모델에서 빅데이터 분석 방법과 그에 대한 활용 예시

회기분석 : 연인들의 거리에 따른 애정도의 변화는 얼마인가?, 고객의 만족도에 따른 재방문 가능

감정분석 : 특정 주제에 대한 사용자들의 긍정, 부정의 의견을 분석하는 방법

유형분석 : 같은 패턴의 행동을 보이는 동물은 무엇?

연관규칙학습 : 고객의 장바구니를 분석한 결과 어떤 구입 품목들이 연관성을 가지는가?

 

6. 감정분석에 대한 설명

온라인 쇼핑몰에서 사용자의 상품평에 대한 분석이 대표적이 사례

온라인에서 사용자 간 친분의 정도를 분석하기 위하여 사용

'좋아요'버튼 클릭과 같이 사용자의 행동을 분

> 사용자가 작성한 댓글과 같이 비정형 데이터의 일종인 텍스트

 

7. 최적화 문제를 해결하는 기법의 하나, 자연세계의 진화 과정에 기초한 모델, 1975년 존 홀랜드에 의해 개발되었다. 선택, 변이, 교차, 대치 등의 연산으로 구성되어 있다.

→ 유전 알고리즘