Jak bank uniwersalny przenosi zarządzanie danymi na wyższy poziom dzięki Ailleron Customer Data Platform?
O kliencie:
Bank uniwersalny działający od około 20 lat w jednym z krajów Europy Środkowo-Wschodniej, obsługujący bankowość detaliczną, sektor rolny, małe i średnie przedsiębiorstwa, bankowość korporacyjną oraz oferujący usługi finansowe dla konsumentów.
Z uwagi na dynamiczny rozwój i skalę działalności, bank zidentyfikował kilka wyzwań biznesowych związanych z architekturą danych.
Biorąc pod uwagę zagregowane dane, zaobserwowano rosnące zapotrzebowanie na:
Wyzwania
dane w czasie rzeczywistym do celów operacyjnych i analitycznych
łatwiejszy dostęp do danych
nowe zestawy danych dla użytkowników biznesowych
wykorzystanie danych nieustrukturyzowanych
Ponadto pojawiły się nowe wyzwania związane z przetwarzaniem niezagregowanych danych i zdarzeń w czasie rzeczywistym.
Zidentyfikowano również następujące wyzwania po stronie działu IT:
wzrost nowych źródeł i ilości danych
wzrost kosztów infrastruktury związanych z danymi
efektywna praca z danymi przekracza możliwości istniejących systemów i technologii IT wykorzystywanych w czasie przeprowadzania analizy sytuacji
Ailleron Customer Data Platform do przetwarzania i zarządzania danymi w banku
Firmy finansowe mierzą się dziś z szybko rosnącą ilością i różnorodnością danych. Ponadto osoby podejmujące decyzje dotyczące usług finansowych potrzebują wsparcia, aby sprostać:
- wyzwaniom związanym z wysokimi kosztami,
- złożonością wynikającą z wdrażania i zarządzania tradycyjnymi bazami danych,
- rosnącą konkurencją.
Wszystkie te działania wymagają platformy danych nowej generacji, która:
- sprosta najbardziej wymagającym potrzebom,
- jest gotowa do pracy w chmurze,
- umożliwia skalowanie w odpowiedzi na rosnące wymogi biznesowe,
- potrafi dostosować się zarówno do obciążeń transakcyjnych, jak i analitycznych.
Bank ocenił, że dostęp do danych poprzez system zarządzania dokumentami przedsiębiorstwa (ang. Enterprise Document Management, EDM) nie spełnia wymagań nowoczesnego banku cyfrowego. Po przenalizowaniu dostępnych na rynku rozwiązań zadecydowano o budowie Customer Data Platform (CDP) we współpracy z firmą Ailleron.
Rozwiązanie od Ailleron – platforma danych nowej generacji
Ailleron Customer Data Platform (ACDP) to zbiór narzędzi i technologii informatycznych tworzących kompleksowe rozwiązanie do przetwarzania i zarządzania danymi pochodzącymi z różnych systemów.
Nasza oferta została zaakceptowana ze względu na:
- elastyczność w zakresie obsługiwanych technologii i dopasowania do korporacyjnego stacku technologicznego banku,
- szczegółową architekturę Ailleron Customer Data Platform z jasną wizją rozwiązania wyzwań biznesowych i informatycznych banku,
- gotowość do szybkiego startu – w zaledwie 2 tygodnie od podjęcia przez bank decyzji o nawiązaniu współpracy,
- dostępność wykwalifikowanych profesjonalistów – nasz zespół składa się zarówno z ekspertów ds. rozwoju oprogramowania, jak i specjalistów z biegłą znajomością realiów funkcjonowania banków, posiadających ponad 10-letnie doświadczenie w branży finansowej.
Główne przypadki użycia ACDP:
- Dostarczanie danych dla rozwiązania Personal Finance Manager (części Digital Banking Platform – platformy bankowości cyfrowej)
- Dostarczanie danych dla widoków klienta 360 stopni
Zakres danych przetwarzanych przez ACDP obejmuje:
- All transakcje klientów wraz z kategoriami
- Dane osobowe klientów
- Produkty
W tym przypadku rozwój ACDP opiera się na zasadach architektury danych banku:
CDP jako główne źródło danych dla całej organizacji w kraju, w którym wykonano wdrożenie
Data Stream Processing jako główny przepływ danych z systemów źródłowych
Zarządzanie i organizacja danych w oparciu o podejście Data Mesh
(obejmujące producentów danych, konsumentów i CDP)
Główne komponenty ACDP dostarczone podczas projektu
Strumieniowe przesyłanie danych
Główny komponent ACDP odpowiedzialny za: – gromadzenie zdarzeń i danych z systemów źródłowych (ang. events, CDC Connectors, etc.) – dystrybucję zdarzeń w ramach całej platformy – transformacje danych
Jeziora danych
Przechowywanie danych z różnych źródeł do celów analitycznych: – Data Lake z surowymi danymi – Data Lake z rozszerzonymi danymi
Magazyny danych operacyjnych (ang. Operational Data Stores, ODS)
ODS-y służą do przechowywania zoptymalizowanych danych dla systemów zewnętrznych (takich jak bankowość internetowa/mobilna, systemy CRM, aplikacje back office). W tym przypadku przechowują dane domenowe, takie jak: – transakcje – produkty – klienci - etc.
GraphQL
Zapewnia interfejs API tylko do odczytu i jest odpowiedzialny za agregację danych z 1 lub więcej ODS-ów dla poszczególnych widoków klientów
Brama interfejsu API (ang. API Gateway)
– Odbiera wszystkie wywołania API od klientów i kieruje je do odpowiedniej mikrousługi – Zapewnia bezpieczeństwo i kontrolę dostępu
Centrum danych (ang. Data Hub)
Komponent odpowiedzialny za wykrywanie i nadzór nad danymi, zarządzanie metadanymi i pochodzenie danych; pozwala na: – dodawanie znaczników do danych – opisywanie atrybutów danych
GDPR
Komponent odpowiedzialny za anonimizację danych (gdy jest to wymagane przez bank)
Wdrożenie
Projekt został zrealizowany
- w zwinnej metodologii
- w ścisłej współpracy z bankiem, wliczając codzienne spotkania i statusy
Kluczowe role w zespole Ailleron obejmują:
- Architektów platformy danych
- Inżynierów danych
- Programistów platformy danych
- Analityków danych
Zespół Ailleron zwiększył zatrudnienie z 4 do 12 pracowników pełnoetatowych (FTE) w zaledwie 3 miesiące.
Rozpoczęcie projektu obejmowało niektóre z poniższych etapów:
Wdrożenie Ailleron Customer Data Platform krok po kroku
1. Przygotowanie backlogu dla kolejnych sprintów
2. Implementacja rdzenia ACDP
(platforma strumieniowego przesyłania danych, Data Lake, infrastruktura ODS)
3. Integracja pierwszego źródła danych
4. Przygotowanie kompletnego przepływu danych
5. Pomiar całego procesu danych za pomocą kluczowych wskaźników efektywności i wcześniejszych uzgodnień
6. Dodawanie nowych źródeł danych
7. Etc.
Kluczowe parametry osiągnięte przez ACDP podczas projektu
3 sekundy na dostarczenie danych do Data Lake i ODS
50 milisekund na udostępnienie danych dla systemów zewnętrznych, takich jak PFM, widok klienta 360 stopni itp.
Ok. 10 miliardów rekordów transakcji przechowywanych w ACDP
12 zdefiniowanych zestawów danych udostępnionych dla systemów zewnętrznych
Stack technologiczny ACDP użyty podczas projektu
- MongoDB
- Kafka Confluent
- Apache Spark
- Prometheus
- Grafana
- Delta Lake
- OpenSearch
- Zipkin
- Vault
- Fluentd
- kStream
- AKHQ
- Oracle
- Java
- PySpark
- ksql