Starter-Workshop „Big Data”
Immer mehr Daten, Datenberge, nein Gebirge bieten riesige Chancen, müssen dabei aber auch immer schneller verarbeitet werden. Und wenn es darum geht, sie wirklich nutzen zu können, stoßen klassische Architekturen an ihre Grenzen. Hier kommen Big-Data-Lösungen ins Spiel. Diese sind preiswerter bei der Datenspeicherung und Verarbeitung und können die einströmenden Datenmengen in Echtzeit auswerten.
Es geht also darum, Ihre IT fit zu machen für große Datenmengen und Echtzeitverarbeitung. Unser Starter-Workshop hilft Ihnen einen Einstieg zu finden.
Wo liegt das Problem?
Entwickler und Architekten von datengetriebenen Systemen müssen heute mit immer größeren und vor allem höher frequentierten Datenmengen umgehen, die auf ihr System einströmen. Dabei stellen sich ihnen Fragen wie diese:
- Wie stelle ich die Ausfallsicherheit eines Data-Ingestion-Systems sicher?
- Wie sorge ich dafür, dass Daten in Echtzeit verarbeitet werden?
- Wie kann ich die Abarbeitung rechenintensiver Prozesse horizontal skalieren?
So helfen wir Ihnen weiter: Unsere Fachleute erarbeiten gemeinsam mit Ihnen Anwendungsfelder für Big-Data-Technologien in Ihrem Unternehmen und erproben eine mögliche Architektur.
Die wichtigsten Technologien im Überblick
Durch die neuen Anforderungen an die Reaktionsgeschwindigkeit moderner IT-Systeme hat die Bedeutung von hoch-skalierbaren Stream Processing Engines in den letzten Jahren stark zugenommen.
Neu identifizierte Geschäftsfelder in der Real-Time-Auswertung von Sensordaten, Log-Daten, Klick-Daten von Webseiten bis hin zur Analyse von Daten aus sozialen Netzwerken und Real-Time Bidding erfordern neue, effiziente Lösungen.
Beispiele für Streaming-Technologien sind z. B. Storm, Spark Streaming und Flink. Wir helfen Ihnen, einen Überblick zu bekommen: Unsere Experten beraten Sie zum Einsatz und zur Differenzierung verschiedener Tools für die In-Memory-Verarbeitung von Datenströmen.
Viele Tools und Datenbanken bieten neue Möglichkeiten zur Datenspeicherung und ermöglichen Ihnen die Etablierung innovativer Geschäftsmodelle.
Während Hadoops HDFS beispielsweise prädestiniert ist für die redundante Speicherung riesiger Datenmengen, darf dessen Anwendung keine hohen Anforderungen an die Latenzzeiten stellen. Dafür bieten sich NoSQL-Datenbanken wie Apache Cassandra oder Apache HBase an, die dem Typus Wide Column Store zugerechnet werden.
Darüber hinaus gibt es auch Einsatzszenarien für andere NoSQL-Datenbanken, wie Document Stores, Graph-Datenbanken und Key Value Stores. Auch moderne Storage-Systeme wie Apache Kudu kommen für bestimmte Szenarien in Frage.
Wir helfen Ihnen, Ihre klassischen, relationalen Datenbanken um neue Möglichkeiten zu ergänzen und so die Vorteile aus den verschiedenen Welten zu nutzen.
Gigantische Datenmengen müssen nicht nur gespeichert, sondern auch verarbeitet werden. Eine Herausforderung stellt dabei die Rechenkapazität dar. Aber auch die Datenstruktur bereitet oftmals Probleme: Zwar weisen viele Daten eine strukturierte Form auf, jedoch kommen zunehmend unstrukturierte Daten wie Fließtext hinzu. Technologien wie Apache Hadoop YARN und Apache Spark helfen Ihnen bei der Entwicklung effizienter und hoch- skalierbarer Prozesse auf Ihren Daten.
Spätestens wenn mehrere der genannten Herausforderungen im Zusammenhang mit In-Memory Stream Processing, Datenspeicherung oder skalierbaren Individualanwendungen auf Sie zukommen, wird es Zeit, sich Gedanken über eine Big-Data-Architektur zu machen. Wir helfen Ihnen, dafür Antworten auf Fragen wie diese zu finden:
- Welche Einsatzzwecke haben klassische Big-Data- Architektur-Patterns wie Lambda oder Kappa?
- Wie optimieren Sie das Zusammenspiel von Streaming und Batch Processing?
Den ersten Schritt zu einer maßgeschneiderten Big-Data-Lösung gehen
Beim Starter-Workshop „Big Data“ durchforsten wir mit Ihnen gemeinsam über 100 Hadoop Tools für konkrete Anforderungen in Ihrem Unternehmen. Dort finden wir die Werkzeuge für eine Big-Data-Architektur, die zu Ihnen passt und evaluieren eine mögliche Architektur.
Ein zweiter Schwerpunkt des Workshops ist die Integration mit bestehenden Systemen.
Erfahrene Big-Data-Spezialisten begleiten Sie einen halben oder einen ganzen Tag und fassen die Ergebnisse anschließend für Sie zusammen.
Nehmen Sie Kontakt zu uns auf
Ihre Vorteile
- Wir beraten Sie neutral, technologien– und plattform-unabhängig.
- Gemeinsam mit uns schaffen Sie eine langfristig zukunftssichere Architektur zur Datenverarbeitung.
So helfen wir Ihnen
- Erarbeitung von Big-Data-Einsatzszenarien
- Architekturberatung
- Toolauswahl
- Datenbank-Offloading
- Machine Learning
