Einführung in Stream Processing

Conference Day - 21. Februar
 
14:15
15:00
 
Big Data
 
Seminarraum 1.802

Unabhängig davon ob die Quelle von Sensoren, Social Media oder Internet of Things (IoT) stammt, werden Ereignisströme und deren schnelle und effiziente Handhabung immer wichtiger. Ereignisse müssen rasch und sicher entgegengenommen, verteilt und analysiert werden. Die Speicherung dieser grossen Ereignisströme ist heute nicht mehr so eine Kunst, von HDFS über NoSQL bis zu RDBMS gibt es verschiedene Möglichkeiten dazu, die einen ein bisschen einfacher zu skalieren als die anderen. Dies wir auch als “Data at Rest” bezeichnet. Wenn man aber schnell auf eine Situation reagieren will bzw. muss, dann ist es nicht zielführend die Daten erst zu speichern und danach zu analysieren. Die Analytischen Operationen müssen direkt auf dem Ereignisstrom durchgeführt werden, wenn sich die Daten noch in Bewegung befinden, als “Data in Motion” bezeichnet. Produkte dafür gibt es schon seit längerer Zeit, wie z.B. Oracle Event Processing oder Esper. Diese sind auch unter dem Namen “Complex Event Processing” bekannt. In den letzten Jahren erschienen aber immer mehr neue Produkte, die im Rahmen von Big Data Plattformen entstanden sind und gewisse Ideen von der verteilten und hoch-skalierbaren Hadoop Plattform übernommen haben oder auf derselben Infrastruktur laufen können, wie z.B. Apache Storm, Apache Kafka, Apache Spark Streaming und Apache Flink.

In dieser Session werden die Konzepte, Ideen und Grundlagen von Stream Processing erläutert und am Schluss kurz gezeigt, mit welchen Produkten sich Lösungen umsetzten lassen.

Guido Schmutz

Trivadis, Schweiz

Guido Schmutz arbeitet als Technology Manager für das IT-Dienstleistungsunternehmen Trivadis. Er ist seit über 30 Jahren als Software Entwickler, Berater, Architekt, Trainer und Coach tätig. Bei der Trivadis verantwortet er die Bereiche SOA, BPM und Applikation Integration und ist Leiter des Trivadis Architecture Board. Sein Interesse liegt in der Architektur, dem Design und er Umsetzung von modernen Software-Lösungen. Seine Spezialgebiete sind Java EE, Spring, Oracle SOA Suite und Oracle Service Bus. Seit einigen Jahren beschäftigt er sich hauptsächlich mit NoSQL, Big Data & Fast Data und der Frage, wie sich diese neuen Technologien optimal in eine moderne Software Architektur integrieren lassen. Er ist regelmäßiger Sprecher auf internationalen Konferenzen und ist bekannt als Autor von Fachartikel und diversen Fachbücher. Guido Schmutz ist Oracle ACE Director für Fusion Middleware & SOA.