[Chapter 1] 데이터 엔지니어링
이 책에서는 다음과 같이 데이터 엔지니어링과 데이터 엔지니어를 정의한다. 데이터 엔지니어링은 원시 데이터(raw data)를 가져와 분석 및 머신러닝과 같은 다운스트림 사용 사례를 지원하는, 고품질의 일관된 정보를 생성하는 시스템과 프로세스의 개발, 구현 및 유지 관리이다. 데이터 엔지니어링은 보안, 데이터 관리, 데이터 운영, 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 교차점이다. 데이터 엔지니어는 원천 시스템에서 데이터를 가져오는 것부터 시작해 분석 또는 머신러닝과 같은 사용 사례에 데이터를 제공하는 것으로 끝나는 데이터 엔지니어링 수명 주기를 관리한다. 데이터 엔지니어링 수명 주기라는 아이디어를 중심보면 데이터는 생성, 저장, 수집, 변환, 서빙 뿐만 아니라 드러나지 않는 요소인 보안..
2023. 11. 3.
