Data Platform Architect

Projekt: Rozwój Data Platform dla Klientów z branży bankowej.

Zakres obowiązków:

• Opracowanie i rozwój docelowej architektury Data Platform.
• Projektowanie Data Platform w chmurze i modelu hybrydowym, w tym integracji z systemami on-prem oraz doboru usług zarządzanych i komponentów utrzymywanych samodzielnie.
• Projektowanie integracji i przepływów danych pomiędzy systemami bankowymi, a platformą.
• Projektowanie rozwiązań event-driven, streamingowych i batchowych.
• Dobór technologii i wzorców z uwzględnieniem wydajności, HA, skalowalności, bezpieczeństwa i kosztów.
• Uwzględnianie w architekturze chmurowej kontroli dostępu, łączności prywatnej, szyfrowania, lokalizacji danych, odtwarzania po awarii oraz kosztów przechowywania, przetwarzania i transferu danych.
• Projektowanie warstw ingestu, ODS, Data Lake / Lakehouse oraz warstwy analitycznej.
• Prowadzenie warsztatów technicznych z klientem i uzasadnianie decyzji architektonicznych.
• Współpraca z Data Engineering, Java, DevOps, analitykami i architektami klienta.
• Przygotowanie oraz utrzymanie dokumentacji architektonicznej i decyzji technicznych.

Wymagania kluczowe:

• Praktyczne doświadczenie w projektowaniu platform danych klasy enterprise.
• Bardzo dobra znajomość Apache Kafka lub Confluent Platform.
• Doświadczenie w architekturze event-driven i stream processing.
• Doświadczenie z języka Java
• Doświadczenie z mechanizmami CDC, w szczególności Debezium lub rozwiązaniami porównywalnymi.
• Znajomość architektury Data Lake / Lakehouse oraz przetwarzania streamingowego i batchowego.
• Znajomość baz SQL i NoSQL oraz zasad modelowania i udostępniania danych.
• Doświadczenie z systemami HA, skalowalnością i dużymi wolumenami danych.
• Doświadczenie z Kubernetes / OpenShift oraz projektowaniem rozwiązań w środowiskach on-prem, chmurowych i hybrydowych.
• Praktyczne doświadczenie w projektowaniu lub wdrażaniu Data Platform w co najmniej jednej chmurze publicznej; znajomość usług przechowywania danych, przetwarzania batch i streaming oraz analityki, a także zasad bezpieczeństwa i optymalizacji kosztów.
• Umiejętność prowadzenia dyskusji technicznej z klientem i podejmowania decyzji architektonicznych.
• Podstawowa znajomość koncepcji Feature Store i przepływu danych do modeli ML
• Bardzo dobra komunikacja na styku architektura, engineering, infrastruktura i biznes.

 

Technologie mile widziane:

• Confluent Platform, ksqlDB, Debezium, Apache Spark, Trino.
• Apache Iceberg / Polaris oraz storage S3-compatible w środowisku on-prem, np. MinIO, Ceph lub Dell ECS.
• Bazy ODS
• OpenShift, Prometheus, Grafana i OpenTelemetry.
• Usługi danych co najmniej jednego dostawcy chmury, np. AWS (Amazon S3, Amazon Redshift), Azure (Azure Data Lake Storage, Azure Data Factory) lub Google Cloud (BigQuery, Dataflow, Pub/Sub).
• Doświadczenie w sektorze bankowym lub finansowym.
• Znajomość wymogów DORA (operational resilience, outsourcing), GDPR w kontekście danych finansowych, podstaw Rekomendacji D/M KNF