Dev Productivity & Tools
Apache Spark — Hướng dẫn đào tạo (Phần 1)
2026-03-1726 phút đọc
Spark trong Lakehouse: RDD, DataFrame, Spark SQL.
Data-engineeringTrainingLakehouse
#Lakehouse
22 posts
Dev Productivity & ToolsApache Spark — Hướng dẫn đào tạo (Phần 2)
2026-03-17·17 phút đọc
Structured Streaming, MLlib, credit scoring, fraud detection.
Data-engineeringTrainingLakehouse- Dev Productivity & Tools
Hướng dẫn đào tạo Kafka Streaming — Lakehouse
2026-03-17·13 phút đọc
Kafka trong Lakehouse: streaming layer, thiết kế topic, lab thực hành, producer/consumer, fraud detection, cấu hình production.
Data-engineeringKafkaStreaming 
Dev Productivity & ToolsChuỗiDelta Lake / Apache Iceberg / Apache Hudi — Định dạng bảng cho Lakehouse
2026-03-17·2 phút đọc
Ba định dạng bảng cho Lakehouse: Delta Lake, Iceberg, Hudi. ACID, time travel, schema evolution và khi nào dùng cái nào.
Data-lakeData-platformLakehouse- Dev Productivity & ToolsChuỗi
Data versioning và time travel trong Lakehouse
2026-03-17·2 phút đọc
Data versioning và time travel: đọc dữ liệu tại thời điểm quá khứ, debug pipeline, rollback, audit. So sánh Delta, Iceberg, Hudi.
Data-lakeLakehouseTime-travel - Dev Productivity & ToolsChuỗi
Schema evolution và enforcement trong Lakehouse
2026-03-17·3 phút đọc
Schema evolution và enforcement: thay đổi cấu trúc bảng an toàn, mergeSchema, enforceSchema. Hỗ trợ Delta, Iceberg, Hudi và best practices.
Data-lakeLakehouseSchema - Dev Productivity & ToolsChuỗi
Tối ưu định dạng file – Parquet, Delta, Z-Ordering
2026-03-17·3 phút đọc
Tối ưu định dạng file trong Lakehouse: Parquet, Delta, Z-Ordering. Chi phí lưu trữ, hiệu năng truy vấn và best practices.
Data-lakeLakehouseParquet - Dev Productivity & ToolsChuỗi
Compaction và chiến lược quản lý file
2026-03-17·3 phút đọc
Compaction và quản lý file trong Lakehouse: OPTIMIZE, VACUUM, ZORDER, lập lịch. Giảm file nhỏ và cải thiện hiệu năng truy vấn.
Data-lakeLakehouseCompaction - Dev Productivity & ToolsChuỗi
Tối ưu bảng và chiến lược clustering
2026-03-17·3 phút đọc
Tối ưu bảng và clustering trong Lakehouse: partitioning, Z-Ordering, bucketing. Giảm thời gian scan và cải thiện hiệu năng truy vấn.
Data-lakeLakehouseOptimization - Dev Productivity & ToolsChuỗi
Định dạng bảng và quản lý metadata
2026-03-17·3 phút đọc
Định dạng bảng và metadata trong Lakehouse: Delta, Iceberg, Hudi. ACID, time travel, schema evolution, tối ưu metadata.
Data-lakeLakehouseTable-format - Dev Productivity & ToolsChuỗi
Governance — Data catalog, lineage, kiểm soát truy cập
2026-03-17·3 phút đọc
Data catalog, lineage và access control cho Lakehouse. RBAC, ABAC, audit, tuân thủ. Amundsen, DataHub, OpenLineage, Ranger.
Data-governanceData-catalogLineage - Dev Productivity & ToolsChuỗi
Security – Mã hóa, masking, tokenization
2026-03-17·3 phút đọc
Bảo mật trong Lakehouse: mã hóa at-rest và in-transit, masking động, tokenization. PII, tuân thủ, audit.
Data-lakeLakehouseSecurity - Dev Productivity & ToolsChuỗi
Metadata – Metadata store, lineage, discovery
2026-03-17·3 phút đọc
Metadata trong Lakehouse: metadata store, lineage, discovery, business glossary. Atlas, DataHub, OpenLineage.
Data-lakeLakehouseMetadata - Dev Productivity & ToolsChuỗi
Change Data Capture (CDC) trong Lakehouse
2026-03-17·2 phút đọc
CDC: phát hiện và truyền thay đổi (insert/update/delete) từ DB nguồn sang warehouse hoặc lakehouse. Log-based, trigger, timestamp. Debezium, Airbyte.
Data-lakeLakehouseCDC - Dev Productivity & Tools
Spec Layer 1: Raw Layer
2026-03-17·3 phút đọc
Lakehouse layer spec: Layer 1: Raw Layer
Data-engineeringLakehouseLakehouse - Dev Productivity & ToolsChuỗi
Lakehouse Layer 3 — Curated Layer
2026-03-17·1 phút đọc
Curated Layer: đã làm sạch, chuẩn hóa, logic nghiệp vụ. Nguồn chính cho báo cáo, phân tích rủi ro, AI/ML, API. Join, enrich, quản trị schema.
Data-platformLakehouseCurated - Dev Productivity & ToolsChuỗi
Lakehouse Layer 4 — Analytics Layer
2026-03-17·1 phút đọc
Analytics Layer: KPI tổng hợp cho dashboard, báo cáo, API. dbt, Trino, Spark. Partition, view tiền tổng hợp, SLA và phân quyền.
Data-platformLakehouseAnalytics - Dev Productivity & ToolsChuỗi
Lakehouse Layer 5 — Metadata & Governance
2026-03-17·3 phút đọc
Metadata & Governance: catalog, lineage, ownership, glossary, phân loại, RBAC/ABAC, audit. DataHub, Amundsen. Tuân thủ quy định bảo vệ dữ liệu cá nhân.
Data-governanceLakehouseMetadata - Dev Productivity & ToolsChuỗi
Lakehouse Layer 6 — Query Layer và tích hợp BI
2026-03-17·2 phút đọc
Query Layer: cổng truy cập chính thức vào curated và analytics. Trino, DuckDB, Dremio. SQL chuẩn, federation, cache. Superset, Metabase. RBAC, row-level, audit.
Data-platformLakehouseBI - Dev Productivity & ToolsChuỗi
Lakehouse Layer 7 — Consumption Layer
2026-03-17·2 phút đọc
Consumption Layer: điểm tiêu thụ dữ liệu cho BI, ML, đối tác. Dashboard, báo cáo tự động, pipeline ML, API. Chính sách refresh, RBAC, MLflow, audit.
Data-platformLakehouseConsumption 
Dev Productivity & ToolsChuẩn tiêu đề tài liệu Markdown — Lakehouse
2026-03-17·6 phút đọc
Chuẩn header và format cho tài liệu markdown trong dự án Lakehouse: sprint, version, trạng thái, chủ sở hữu, icon theo loại tài liệu.
DocumentationDevelopmentGovernance- Dev Productivity & Tools
Hướng dẫn Trino
2026-03-17·24 phút đọc
Trino trong Lakehouse: unified SQL, catalogs, labs.
Data-engineeringTrainingLakehouse