Data Science und Microservices: Architekturentscheidungen auf dem Weg zur flexiblen und schnellen Datenanalyse

Conference Day - 21. Februar
 
15:10
15:55
 
Big Data
 
Seminarraum 1.802

Microservices sind der moderne Standard für IT-Architekturen. Sie bieten langfristig bessere Skalierbarkeit und Wartbarkeit, haben jedoch eine hohe Einstiegskomplexität. Dies betrifft auch die Bereiche wie Data Science, Künstliche Intelligenz und Machine Learning.

Neben den allgemeinen Vorteilen von Microservices (Skalierung der Entwicklung, Performanz, Belastbarkeit u.a.) haben wir im Bereich Data Science spezielle identifiziert: Microservices bieten sich ausgezeichnet dafür an, flexible Analyse-Pipelines zu erstellen und verschiedene Algorithmen gegeneinander zu benchmarken. Darüber hinaus kann man fertige Services wie einen Bausatz anbieten. Dies führt auch zu einem Ressourcen-Verbrauch, der sich dicht am Bedarf orientiert. Ein letzter, aber sehr zentraler Punkt ist die einfache Erweiterbarkeit.

Damit all diese Vorteile zum Tragen kommen, bedarf es allerdings solider Protokolle für die Kommunikation zwischen Services und klar definierter Datenstandards, welche möglichst generische Anknüpfpunkte zwischen Services bieten - nur so lässt es sich gewährleisten, dass eine bestehende Plattform effizient weiterentwickelt und gewartet werden kann.

In der Session wird der Weg zur Aufbau eines microservice-basierten Datenanalyse-Stacks anhand von Beispielen präsentiert. Dabei werden die Ideensammlungen und Erfahrungen aus der Umsetzung zur Architektur, Steuerung der Pipelines, Kommunikation zwischen Analyseservices, Infrastruktur für Datentransport, Logging- und Monitoring sowie die Orchestrieung des Deployments behandelt.

Sebastian Hanson

droxIT GmbH, Deutschland

droxIT GmbH

Sebastian Hanson ist Mathematiker & Software Entwickler im Microservices-Umfeld. In seiner Tätigkeit bei droxIT GmbH konzipiert und entwickelt Sebastian Hanson Lösungen, welche die Transformation zu den verteilten und cloudbasierten Microservice-Architekturen unterstützen.

Er begeistert sich für Themen rund um Software Architektur, Infrastruktur und Functional Programming. Als Mathematiker versucht er in verschiedenen Projekten Komplexität mit Eleganz zu begegnen.