엔그램1 빅데이터의 수집과 활용 이번 포스팅에서는 빅데이터의 수집에 대해서 검색데이터의 활용, 텍스트데이터의 활용, 웹페이지 데이터의 수집과 활용, API를 이용한 데이터의 수집과 활용으로 나누어서 살펴본다. 빅데이터는 정부 및 기업의 업무 과정에서 생성되어 내부 데이터베이스에 저장된 후 특별한 사유가 없는 한 공개되지 않는 내부 데이터와 정부 및 공공기관의 공개 데이터, 포털 데이터, 소셜 네트워크 데이터 등 반정형 또는 비정형 데이터로 구성되어 외부로 공개되는 외부 데이터가 있다. 빅데이터 분석을 위해서는 내부 데이터와 외부 데이터의 결합이 필수적이다. 이러한 데이터는 아래에서 살펴볼 크롤링이라는 기법으로 수집되고 있다. 데이터의 수집이란 내부 데이터와 다양한 데이터를 수집, 변환, 통합하는 것이다. 데이터의 수집은 검색, 수집, .. 2024. 1. 15. 이전 1 다음
