Airflow. Monitorowanie przepływu danych

Wszystkie dane pod pełną kontrolą

W czasach, gdy wiele naszych działań przeniosło się do przestrzeni cyfrowej, tworzymy i agregujemy ogromne ilości danych. Przechowujemy je na dyskach urządzeń, mobilnych nośnikach pamięci, w chmurach, a nawet w formie załącznik&oacute,w poczty elektronicznej. Aby uzyskać z nich jak najwięcej informacji, musimy wykonywać odpowiednie procesy analityczno-agregujące, kt&oacute,re następnie pozwolą nam na wyciągnięcie właściwych wniosk&oacute,w, a potem podjęcie odpowiednich decyzji. W tym miejscu często pojawia się problem: w jaki spos&oacute,b pogodzić r&oacute,żne formaty danych, odpowiednio je ze sobą połączyć, wykonać mapowanie i konwertowanie?

Wtedy do gry wkraczają tak zwane orkiestratory zadań, a należy do nich między innymi Apache Airflow. Jest to jedno z najpopularniejszych narzędzi służących do tworzenia, organizowania i monitorowania przepływ&oacute,w pracy, a także uruchamiania łańcuch&oacute,w zadań na podstawie danych pochodzących z rozmaitych źr&oacute,deł i występujących w r&oacute,żnych formatach.

Apache Airflow - darmowej usłudze dostępnej dla każdego, kto zna język Python - poświęcona jest ta książka:

• Znajdziesz w niej opis poszczeg&oacute,lnych moduł&oacute,w narzędzia Apache Airflow
• Korzystając z zawartych w niej wskaz&oacute,wek, przeprowadzisz proces instalacji i przygotujesz środowisko pracy
• Przyjrzysz się poszczeg&oacute,lnym elementom Apache Airflow
• Poznasz dobre praktyki związane z pracą w orkiestratorze danych