Airflow sensors | Create custom sensor to sense files
See how airflow sensors can pitch in your ETL pipelines to sense something before proceeding with downstream dependencies.
Get code here:
https://github.com/maxcotec/Apache-Ai...
How to deploy airflow locally using Docker
• Run Airflow 2.0 via Docker | Minimal ...
How to deploy airflow locally on a multinode kubernets cluster
• Airflow with Kubernetes Executors | R...
build your first data pipeline in airflow
• Build your first pipeline DAG | Apach...
#apacheairflow #kubernetes #airflowsensors #dataengineering #etl #maxcoteclearning
Video outline:
00:00 intro and outline
00:38 definition
01:27 operation modes
02:23 sensor types
02:57 github repo & reference videos
03:47 spin-up airflow locally
05:15 write dag with BashSensor
06:42 test BashSensor
07:18 write custom sensor - check file exists
09:19 test custom file-check sensor
10:30 outro
Смотрите видео Airflow sensors | Create custom sensor to sense files онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь MaxcoTec Learning 22 Июль 2023, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 1,723 раз и оно понравилось 21 людям.