الأداء وزمن التحليل وتوزيع DAG

parse_ms = 8
files = 200
scans = 3
aggregate_ms = parse_ms * files * scans
assert aggregate_ms == 4800
print(aggregate_ms / 1000)

4.8

تمثل 4.8 ثانية عملاً مفترضاً مجمعاً لا تأخر تحليل مقاساً.

depots = ['D2', 'D1', 'D3']
ordered = sorted(depots)
task_ids = [f'validate_{depot.lower()}' for depot in ordered]
assert task_ids == ['validate_d1', 'validate_d2', 'validate_d3']
assert len(task_ids) == len(set(task_ids))
print(task_ids)

['validate_d1', 'validate_d2', 'validate_d3']

الأسماء المعطاة ثابتة ومختلفة؛ ولا يحمل تعريف Airflow.