[2] 데이터 탐색 & 분석
데이터 탐색 탐색 부분은 적재된 데이터를 가공하고 데이터를 이해하는 단계다. 데이터 이해란, 데이터 패턴, 관계등 찾기인데 이를 EDA라 한다. 빅데이터 웨어하우스는 크게 3개로 구성된다. 빅데이터 레이크, 빅데이터 웨어하우스, 빅 데이터 마트이다. 빅데이터 레이크는 수집 부분에서 Flume, Storm등에서 수집한 크고 작은 반정형, 비정형 데이터가 축적되는 곳이다. 빅데이터 레이크에서 데이터가 가공되면, 빅데이터 웨어하우스가 된다. 빅데이터 웨어하우스는 반정규화 Hive 모델이라고 부르기도 하며, EDA가 가능한 부분이며, EDA를 통한 집계, 요약으로 빅데이터 마트를 만든다. 빅데이터 마트는 분석 주제 영역별로 나눌 수 있고, 컬럼지향 Hive 모델이다. 그래서 빅데이터 레이크에서 추출하고, 빅데이..
2023. 12. 4.
[Chapter 1] 데이터 엔지니어링
이 책에서는 다음과 같이 데이터 엔지니어링과 데이터 엔지니어를 정의한다. 데이터 엔지니어링은 원시 데이터(raw data)를 가져와 분석 및 머신러닝과 같은 다운스트림 사용 사례를 지원하는, 고품질의 일관된 정보를 생성하는 시스템과 프로세스의 개발, 구현 및 유지 관리이다. 데이터 엔지니어링은 보안, 데이터 관리, 데이터 운영, 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 교차점이다. 데이터 엔지니어는 원천 시스템에서 데이터를 가져오는 것부터 시작해 분석 또는 머신러닝과 같은 사용 사례에 데이터를 제공하는 것으로 끝나는 데이터 엔지니어링 수명 주기를 관리한다. 데이터 엔지니어링 수명 주기라는 아이디어를 중심보면 데이터는 생성, 저장, 수집, 변환, 서빙 뿐만 아니라 드러나지 않는 요소인 보안..
2023. 11. 3.
