[ADsP | 1과목 ] 데이터의 가치와 미래

[ADsP | 1과목 ] 데이터의 가치와 미래

 

1. 빅데이터의 정의

• 규모(volume)
• 다양성(variety)
• 속도(velocity)
• 신뢰성(진실성, veracity)
• 정확성(validty)
• 휘발성(volatility)
• 가치(value)

 

2. 빅데이터의 등장 요인

• 관련기술, 특히 클라우드 컴퓨팅과 분산처리 기술이 발전하였으며
• 산업계, 학계 등 다양한 영역에서 거대 데이터를 이용한 가치 창출 방식이 확산되었다.

 

3. 빅데이터의 기능

• 차세대 산업 혁명을 견인할 것
• 산업의 생산성을 향상시킬것
• 플랫폼으로서 작용할 것(ex) 페이스북

 

4. 빅데이터가 불러올 본질적 변화

• 사전처리에서 사후처리 방식으로
• 표본조사에서 전수조사로
• 질보다 양으로
• 인과관계에서 상관관계로

 

5. 빅데이터의 가치 산정이 어려운 이유

• 데이터의 활용 방식, 대상 등을 알 수 없다.
• 데이터가 기존에 없던 가치창출을 한다.
• 분석기술의 발달로 기존에 가치없던 데이터가 가치를 갖기도 한다.

 

6. 빅데이터의 영향

• 기업: 혁신, 경쟁력 확보, 생산성 향상
• 정부: 사회변화 탐색, 미래대응, 상황분석
• 개인: 목적에 따라 다양하게 활용 가능

 

7. 빅데이터 활용 방법

• 연관 규칙 학습: 변수간 상관관계 확인하기
• 유형분석: 대상을 특성에 따라 분류하기
• 유전 알고리즘: 최적화 메커니즘 찾기
• 기계학습: 훈련데이터를 통해 예측
• 회귀분석: 독립변수와 종속변수 두 변수간 관계 파악
• 감정분석: 특정 주제에 대한 글쓴이의 감정분석
• 소셜 네트워크 분석(사회관계망 분석, SNA): 특정인과 다른 사람의 관계를 파악해 Opnion leader 찾아냄

 

8. 빅데이터 시대의 위기 요인과 통제방안

• 사생활 침해 >> 개인정보 사용자에게 책임
• 책임 원칙의 훼손(범죄 안저질렀는데 예측결과 범죄 저지를 것이므로 미리 체포) >> 기존의 책임원칙을 더 보강
• 데이터의 오용 >> 알고리즘에 대한 접근권 보장

 

9. 데이터 3법의 주요 개정 내용

데이터 3법이란? 개인정보 보호법, 정보통신망법, 신용정보법

데이터 이용 활성화를 위한 가명정보개념 도입, 관련법률 정비, 개인정보처리자의 책임 강화, 모호한 개인정보판단기준 명확화

 

10.개인정보 식별요소 제거방법

• 가명처리
• 총계처리 또는 평균값 대체
• 필요없거나 개인식별에 중요한 데이터 값 삭제
• 데이터 값을 범주화하여 명확한 값을 감춤
• 데이터 마스킹: **표시

 

11. 빅데이터 활용의 3요소

데이터, 기술, 인력

 

12. 의사결정의 오류

• 로직오류: 부정확한 가정을 하고 이를 테스트하지 않음
• 프로세스 오류: 결정에서 분석, 통찰력을 고려하지 않는것

 

13. 데이터 사이언티스트의 역량

• 하드 스킬
  • 데이터관리, 분석 모델링, 비즈니스 분석
• 소프트 스킬
  • 강력한 호기심, 통찰력 있는 분석, 설득력 있는 전달, 협력

 

14. 데이터 사이언스 3대 구성 요소

IT, Analytics, Business consulting

 

15. 데이터사이언티스트가 다룰 수 있는 6가지 핵심 질문들

구분	과거	현재	미래
information	무슨 일이 일어났는가? (reporting)	무슨 일이 일어나고 있는가? (경고)	무슨 일이 일어날 것인가? (추출)
insight	어떻게, 왜 일어났는가? (모델링)	차선 행동은 무엇인가? (권고)	최악, 최선의 상황? (예측, 최적화)

 

16. 빅데이터 시대의 가치 패러다임의 변화

• 디지털화
• 연결: 사물인터넷의 성숙으로 더 강화할 것
• 에이전시: 복잡한 연결을 얼마나 효과적이고 믿을만하게 관리해주는가