Zentrale Log-Überwachung für mehr Sicherheit
Daten-Streaming in Echtzeit
10.000 Logs pro Sekunde
Skalierbare Architektur
Project Brief
Umsetzung von Daten-Streamingin Echtzeit, um schnellere Analysenzu ermöglichen und Sicherheits-Vorgaben zu erfüllen.
Das Profinit Team half uns, geeignete Hardware-Anforderungen zu definieren und lieferte dann die gewünschte Lösung: Mit modernster IT-Architektur – maßgeschneidert auf unseren Bedarf.
Aleš Nedbálek
Service Owner IT Asset Protection bei Česká spořitelna
Die Projekt-Herausforderung
Česká spořitelna, die tschechische Tochter der Erste Group Bank, suchte nach einer individuellen Lösung für das zentralisierte Monitoring von Log-Daten – ausgehend von den existierenden IT-Systemen der Bank. Der zentrale Log sammelt und speichert eine gewaltige Menge an Daten – über einen festgelegten Zeitraum – um Trends zu analysieren oder Ereignisse aus diversen Bank-Systemen, Netzwerken und IT-Umgebungen zu dokumentieren.
Um neuen Regularien an die Cyber Security gerecht zu werden, musste das Sammeln und Speichern von Daten verbessert werden. Darüber hinaus wollte die Bank ihren internen Sicherheits-Spezialisten die Möglichkeit geben, Vorkommnisse sofort analysieren zu können, sobald sie aufgezeichnet werden.
Die Business-Anforderungen
Unsere Lösung musste diese Spezifikationen abdecken:
- Erfüllung aller Sicherheits-Vorgaben für die Cyber Security
- Schnelle, zuverlässige Datenverarbeitung
- Umfangreiche Daten-Analyse – inklusive der Daten aus frisch dokumentierten Ereignissen
- Skalierbarkeit für zukünftig wachsende Datenmengen
Die Herausforderung
Das bestehende, zentrale Monitoring-System der Bank basierte auf Stapelverarbeitung von Daten mit einer relationalen Standard-Datenbank. Dieses Setup war nicht mit den neuen Sicherheits-Vorgaben vereinbar und sammelte ohnehin nicht die kompletten Datensätze. Außerdem konnte das existierende System nicht die Anforderung erfüllen, gesammelte Daten über einen bestimmten Zeitraum aufzubewahren.
Neben den Compliance-Problemen, erlaubte das Betriebssystem keine analytischen Abfragen zu frisch gesammelten Daten: Schnelle, aktuelle Analysen waren also unmöglich.
Die Lösung
Wir entwickelten ein System, dass die Log-Datenströme von allen überwachten Bank-Systemen in Echtzeit verarbeiten kann. Gemeinsam mit der IT-Security und dem operativen Teams der Bank, fanden wir eine maßgeschneiderte Lösung, welche die Bedürfnisse aller Abteilungen optimal erfüllt.
Log-Daten fließen nun über den neuen Zentralspeicher durch Apache Kafka in ein eigens dafür entwickeltes System. Dort werden die Daten über Apache Spark und Spark Streaming zu Monitoring-Zwecken verarbeitet. Das gesamte Setup kann über 10.000 Log-Einträge pro Sekunde bewältigen.
Dank der Einbindung von Apache Spark, mithilfe einer Lambda Architektur, stellten wir die einheitliche Handhabung und Stapelverarbeitung der Daten sicher. Ein und derselbe Programmier-Code leistet dabei beide Methoden zur Datenverarbeitung: Das spart Entwicklungszeit und macht die Wartung sowie die Service-Bereitstellung deutlich einfacher und schneller. Verarbeitete Daten werden in Hive Tabellen innerhalb eines Hadoop-Cluster gespeichert.
Schnelle Analyse von Sicherheits-Daten
Die vereinheitlichte Daten-Übersicht erlaubt den Sicherheits-Spezialisten schnellen und direkten Zugriff für ihre Analysen. Dabei werden die Daten im selben Format wie bei der alten Lösung angezeigt. Für die Bank-Mitarbeiter änderte sich also nur eines: Auf frisch gesammelte Daten kann nun innerhalb weniger Minuten zugegriffen werden. Schneller geht’s nicht!
Tools & Technologien
Apache Kafka
Apache Spark
Spark Streaming
Hadoop
Java
Apache Hive
Apache Impala
Zusammenfassung
Wir entwickelten und verwirklichten ein neues System zur schnellen, sicheren Datenverarbeitung – mit folgenden Vorteilen für unseren Bankkunden:
- Česká spořitelna a.s. verfügt jetzt über ein zentralisiertes Monitoring-System mit einheitlicher Handhabung von Echtzeit-Daten und Datenstapeln.
- Diese Lösung verarbeitet Zehntausende von Log-Einträgen pro Sekunde.
- Das System entspricht den neuesten Vorschriften zur Cyber Security.
- Das IT-Sicherheitsteam des Kunden kann nun sogar frisch gesammelte Daten blitzschnell analysieren.
Würde Ihre Bank vom Einsatz modernster Daten-Tools und Technologien profitieren?
Wir zeigen Ihnen gerne, wie Profinit innerhalb Ihrer Organisation Daten-Zugang und -Nutzung verbessern kann.
Weitere Erfolgsgeschichten und Lösungen
Česká spořitelna (Erste Group) Prognosen-Berechnung gegen Betrugsversuche
Profinit half der Erste Group dabei, die Betrugserkennung extrem zu beschleunigen – durch die Analyse von 1,5 Milliarden Transaktionen pro Tag.
Mehr erfahren
Raiffeisenbank Big Data Hadoop Plattform
Über eine End-to-End Big Data Plattform ermöglichte Profinit der Raiffeisenbank CZ umfangreiche Fall-Analysen zu betreiben – mit einer enormen Menge an Transaktionsdaten.
Mehr erfahren
Raiffeisenbank Konsolidierung von Konkurrenz-Krediten
So unterstützte Profinit die Raiffeisenbank CZ dabei, doppelt so viele Kreditvergaben durch Konkurrenz-Banken zu erkennen – und betroffene Kunden davon zu überzeugen, ihre Kredite bei der “kundenfreundlichsten Bank” zusammenzulegen.
Mehr erfahren