Search
🥴

Data Engineering

클라우드 서비스(Cloud Service)란?
클라우드 서비스는 인터넷을 통해 데이터 저장, 처리, 관리 및 다양한 IT 자원을 제공하는 서비스
사용자는 하드웨어나 소프트웨어를 직접 소유하거나 관리할 필요 없이, 필요할 때 필요한 만큼만 자원을 사용하고 비용을 지불한다
클라우드 서비스는 다음과 같은 유형으로 분류될 수 있다
기능 / 서비스
Google Cloud Platform (GCP)
Amazon Web Services (AWS)
Microsoft Azure
데이터베이스 서비스
BigQuery
Redshift
Synapse Analytics
컴퓨팅 서비스
Compute Engine, Kubernetes Engine
EC2, ECS, EKS
Virtual Machines, Azure Kubernetes Service (AKS)
저장소 서비스
Cloud Storage
S3
Blob Storage
AI 및 머신 러닝 서비스
AI Platform
SageMaker
Azure Machine Learning
네트워킹 서비스
VPC, Cloud CDN
VPC, CloudFront
Virtual Network, Azure CDN
관리 및 모니터링 도구
Stackdriver, Cloud Operations
CloudWatch
Azure Monitor
서버리스 컴퓨팅
Cloud Functions, Cloud Run
Lambda
Azure Functions
컨테이너 오케스트레이션
Kubernetes Engine
EKS
AKS
BigQuery란?
Google Cloud의 OLAP + Data Warehouse
OLTP (Online Transaction Processing) - 실시간 거래를 처리하는 시스템. 주문, 결제, 배송 등 - 정규화된 데이터베이스 구조, 중복 최소화, 데이터 일관성 유지 - 데이터 갱신 위주 - ex. 슈퍼마켓의 계산대
OLAP (Online Analytical Processing) - 대규모 데이터를 분석 - 주로 비정규화된 데이터베이스 구조, 빠르게 조회 및 분석| - 데이터 조회 위주 - ex. 슈퍼마켓의 경영진이 사용하는 보고서
BigQuery 환경 구성 요소