Tag

#Dataform

2 件の記事 · ← all tags

BigQuery データ基盤の鮮度と加工品質を両立するアーキテクチャパターン

BigQuery データ基盤で取り込みと加工をレイヤーで分離する設計思想を軸に、Datastream・Pub/Sub・Storage Write API・Continuous Queries・Dataform の選択基準と東京リージョンのコスト構造を整理します。

Dataform は Scheduled Queries の完全置き換え先ではなく、宣言的アプローチへの入口です。依存関係・テスト・バージョン管理という Scheduled Queries の限界に直面したタイミングで、段階的に比重を移していける設計になっています。