Lakehouse Query Layer: Trino, DuckDB, and BI Integration

Spec – Layer 6: Query Layer & BI Integration

1. Mục đích

Query Layer là cổng truy cập chính thức để khai thác curated và analytics: hiệu suất cao, dashboard real-time; SQL chuẩn ANSI, dễ tích hợp BI; truy vấn thống nhất nhiều nguồn (virtual schema); phục vụ AI/ML và hệ thống ngoài (API, report tự động).

2. Công nghệ

SQL Engine (Trino, DuckDB, Dremio) trên Iceberg/Parquet; Federated Layer (Trino connector, Dremio); Caching (Trino coordinator cache, DuckDB in-memory); BI (Apache Superset, Metabase); Materialized View (Trino MV, dbt precompute).

3. Loại truy vấn

Ad-hoc SQL; report định kỳ; dashboard real-time; truy vấn cho model AI (vd. 500k dòng training); đối tác qua REST/GraphQL API.

4. Performance SLA (P95)

Truy vấn BI đơn giản < 2s; tổng hợp lớn < 5s; cho model AI < 10s (1M dòng); đa domain < 8s. Pre-aggregate bằng materialized view.

5. Bảo mật truy vấn

RBAC (Trino, Superset): analyst, store_manager, data_engineer; row-level filter (store_id = current_user.store_scope); column masking (phone, id_number); audit (query text, IP, user, timestamp).

6. Kiểm thử & Giám sát

Hạng mục	Cách triển khai
Health check SQL engine	`SELECT 1` theo cronjob
Monitor truy vấn chậm	Log slow query Trino
Cảnh báo lỗi truy vấn	Prometheus + Grafana
Test permission	Truy vấn giả lập từ user thấp quyền

7. Kết nối BI tools

Công cụ	Kết nối tới	Mục đích
Superset	Trino connector	Dashboard nội bộ tổ chức
Power BI	Trino ODBC/REST	Báo cáo tài chính định kỳ
Metabase	DuckDB / Dremio	Truy vấn mô hình đơn giản

Chính sách BI: Mỗi bảng analytics đều có 1 dashboard chuẩn gắn kèm mô tả; refresh định kỳ: real-time, hourly, daily tùy bảng; giao diện Superset được cấu hình multi-tenant theo chi nhánh.

8. Ví dụ truy vấn tối ưu

-- Truy vấn top 10 chi nhánh có tỷ lệ hợp đồng quá hạn cao
SELECT store_id, COUNT(*) AS total_contracts,
       SUM(CASE WHEN is_overdue THEN 1 ELSE 0 END) AS overdue,
       ROUND(SUM(CASE WHEN is_overdue THEN 1 ELSE 0 END)*100.0 / COUNT(*), 2) AS overdue_rate
FROM ana.lending.daily_store_performance
WHERE report_date = current_date - INTERVAL '1' DAY
GROUP BY store_id
ORDER BY overdue_rate DESC
LIMIT 10;