digdag

Create data lineage from Trino/Hive queries in digdag log with Python
What’s data lineage? Data lineage is something to describe “Where this data comes from and where it goes?” I learned this term in my previous job. They provided “Cloudera Navigator” which includes data lineage from execution logs of Hive/Spark etc.
2022-05-05 digdag, lineage, sql
Create data lineage from Trino/Hive queries in digdag log with Python
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた
データリネージとは、DBなどでどのデータがどこから来てどこに行った、という「来歴
2022-05-05 3 min read digdag, lineage, sql
sqllineage を使って digdag のログから Treasure Data のクエリのリネージを作ってみた
cookiecutter-digdag
A template generates digdag workflows for SQL and Python
tdworkflow
Unofficial Treasure Workflow Client