Engineering

Data warehouse

세상을 둥글게 2021. 1. 10. 19:13
반응형

다양한 데이터들은 다양한 장소에 저장이 됩니다.

 

각기 다양한 데이터들은 Application databases, Web applications, Spreadsheets 등 다양한 형태로

여러가지 방법으로 수정이 될 수 있습니다.

데이터 웨어하우스는 다양한 소스의 데이터를 모든 데이터 보고 요구에 맞게 단일 위치로 동기화합니다.

이를 바탕으로 신뢰할 수 있는 데이터를 제공합니다.

 

Prod DB, Web APIs, Google Sheets, CSV, Excel 등 다양한 데이터들은

 

Data Warehouse에서 Standardized, Integrated, Centralized, Automated, Modeled 됩니다.

 

이런 데이터들은 모든 사람들이 Insights 할 수 있게 됩니다.

 

1. 각 데이터 소스를 위한 개요를 작성한다.

   : 데이터 베이스와 동기화할 각 데이터 원본에 대한 기본 데이터 schema를 만든다.

 1) 각 테이블의 출처를 신속하게 파악할 수 있으므로 데이터 소스의 수가 증가함에 따라 도움이 됩니다. 

     나중에 들어올 데이터 분석가 및 비즈니스 팀원들도 각 데이터 소스에 대한 정보를 신속하게 파악할 수 있습니다.

 2) 각 데이터 원본에 대한 특정 권한(읽기/쓰기)을 할당할 수 있습니다.

     예를 들어, 데이터 엔지니어는 하위 분석가가 특정 스키마에만 글을 쓰는 것을 허용하지 않을 수 있습니다.

 

이는 시간이 지남에 따라 데이터 소스의 수가 증가할 때 특히 유용합니다.

데이터가 포함될 수 있는 출처의 수만 살펴보세요.

예를 들어, 이러한 응용 프로그램에서 웨어하우스로 가져올 전자 메일 마케팅, 재무 및 광고 데이터에 대해

각각 메일 핌프, 제로 또는 fbad라는 스키마를 설정할 수 있습니다.

 

728x90
반응형

'Engineering' 카테고리의 다른 글

PCB 설계시 고려해야할 선  (0) 2021.01.10
ultrasound 기초  (0) 2021.01.10
Boost Converter(부스트컨버터) Intro  (0) 2021.01.10
Buck Converter(벅 컨버터) Intro  (0) 2021.01.10
MSP430 Intro  (0) 2021.01.10