비지도 학습과 지도학습 & 시행착오에서의 문제해결

비지도 학습과 지도 학습

일반적으로 상향식 접근방식의 데이터 분석은 비지도 학습 방법에 의해 수행됩니다. 비지도 학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것입니다. 비지도 학습의 데이터 마이닝 기법의 예로는 장바구니 분석, 군집 부석, 기술 통계 및 프로 파일링 등이 있습니다. 다음으로 명확한 목적 하에 데이터분석을 실시하는 것은 지도학습이라고 하며 분류, 추측, 예측, 최적화를 통해 사용자의 주도하에 분석을 실시하고 지식을 도출하는 것이 목적입니다.  지도학습에는 o와 x를 구분 짓게 하는 분류가 해당하며 인자들 간의 유사성을 바탕으로 수행하는 군집화는 비지도 학습에 해당합니다. 지도학습의 경우 결과로 도출되는 갑에 대하여 사전에 인지하고 어떠한 데이터를 넣었을 때 어떠한 결과가 나올지 예측하는 것입니다. 비지도학습의 경우 목푯 값을 사전에 정의하지 않고 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하기에 유용한 방식으로 활용할 수 있습니다. 즉 분류분석 = 지도학습이며 군집분석 = 비지도학습입니다. 통계적 분석에서는 인과관계 분석을 위해 가설을 설정하고 이를 검정하기 위해 모집단으로부터 표본을 추출하고 그 표본을 이용한 가설 검정을 실시하는 방식으로 문제를 해결하였습니다. 그러나 빅데이터 환경에서는 이와 같은 논리적인 인과관계 분석뿐만 아니라 상관관계 분석 또는 연관 분석을 통하여 다양한 문제 해결에 도움을 받을 수 있습니다. 인과관계로부터 상관관계 분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있습니다. 다량의 데이터 분석을 통해서 "왜" 그러한 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의 할 수 있는 것이 상향식 접근법입니다. 

시행착오를 통한 문제 해결

프로토타이핑 접근법은 사용자가 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터 소스도 명확히 파악하기 어려운 상황에서 일단 분석을 시도해 보고 그 결과를 확인해 가면서 반복적으로 개선해 나가는 방법을 말합니다. 하향식 접근방식은 문제가 정형화되어 있고 문제해결을 위한 데이터가 완벽하게 조직에 존재할 경우에 효과적입니다. 이에 반하여 프로토타이핑 방법론은 비록 완전하지는 못하다 해도 신속하게 해결책이나 모형을 제시함으로써, 이를 바탕으로 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화할 수 있게 하는 유용한 상향식 접근 방식입니다. 프로토타이핑 접근법의 기본적인 프로세스는 가설의 생성, 디자인에 대한 실험, 실제 환경에서의 테스트, 테스트 결과에서의 통찰도출 및 가설 확인으로 구성됩니다. 

 

첫번째로 문제에 대한 인식 수준입니다 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제일 경우 사용자 및 이해관계자는 프로토타입을 이용하여 문제를 이해하고, 이를 바탕으로 구체화하는데 도움을 받을 수 있습니다. 두 번째로 필요 데이터 존재 여부의 불확실성입니다. 문제해결을 위해 필요한 데이터의 집합이 모두 존재하지 않을 경우, 그 데이터의 수집을 어떻게 할 것인지 또는 그 데이터를 다른 데이터로 대체할 것인지 등에 대한 사용자와 분석가 간의 반복적이고 순환적인 협의 과정이 필요합니다. 대체 불가능한 데이터가 존재하는지 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지할 수 있습니다. 세 번째로 데이터 사용 목적의 가변성입니다. 데이터의 가치는 사전에 정해진 수집목적에 따라 확정되는 것이 아니고 그 가치가 지속적으로 변화할 수 있습니다. 따라서 조직에서 보유 중인 데이터라 하더라도 기존의 데이터 정의를 재검토하여 데이터의 사용 목적과 범위를 확대할 수 있을 것입니다.