Massendaten, engl. Big Data, und deren Analyse sind seit Jahren ein Megatrend in der IT. Big Data Analytics ermöglichen das Sammeln, die Verarbeitung und die Interpretation extrem großer Datenmengen. Die Datensätze sind so groß, dass herkömmliche Soft- und Hardwarelösungen nicht mehr mit ihnen umgehen können.
Eine Sendung von RBB Radioeins veranschaulichte das Anwachsen der ständig produzierten Datenberge so:
„Bis ins Jahr 2003 wurden von der Menschheit insgesamt 5.000 Milliarden Gigabyte Daten erzeugt, im Jahr 2011 fiel die gleiche Menge schon in 48 Stunden an. Inzwischen brauchen wir für das gleiche Datenvolumen nur noch 7 Minuten“.
Wann genau beginnt Big Data?
Das ist nicht exakt definiert und wird häufig diskutiert. IT-Fachleute in mittelständische Unternehmen verstehen darunter oft Datenmengen zwischen 10 und 100 Terrabyte. Während in Großunternehmen häufig erst Datenmengen ab 100 Terrabyte als „echte“ Big Data angesehen werden.
Was ist die Motivation hinter den Big Data Analytics?
In den gigantischen Datenbergen schlummern wahre Erkenntnisschätze. Wenn man sie hebt, erfährt man zum Beispiel mehr über Verbraucherverhalten und- wünsche. Weitere wichtige Bereiche sind Risiko- und Kostenreduzierung, sowie Optimierungen der Wertschöpfung oder der Logistik.
Big Data Analytics wird für Prognosen verwendet und ermöglicht häufig erst das Aufdecken von Beziehungen und Korrelationen. Sie ist wichtig für die kommerzielle und die nicht-kommerzielle Forschung. Es kann wichtige Anstöße für die Entwicklung neuer Produkte und Services bieten. Eigentlich kann es zu fast allem hinzugezogen werden:
Beispiel Industrie
Durch die Nutzung eigener Maschinendaten kann die Effizienz der Produktion gesteigert werden. Der Verbrauch von Energie und Rohstoffen kann gesenkt werden.
Beispiel Marketing
Hier werden Daten gerne für Targeting-Zwecken genutzt. Ziel kann die Verbesserung der Customer-Relationship sein. Oder eine Optimierung des Zusammenspiels unterschiedlicher Marketing-Maßnahmen.
Was sind die 5 Vs?
• Volume definiert die Datenmenge, die beispielsweise von einem Unternehmen allein oder von dessen Kunden und Lieferanten täglich produziert werden.
• Variety bezieht sich auf die Vielfalt der Datenquellen und Datentypen. Neben üblichen Datensätzen können zum Beispiel auch relevante Daten aus Bildern oder Sprache verwertet werden.
• Velocity bezeichnet die Geschwindigkeit mit der die Big Data-Mengen erzeugt, verarbeitet und verwertet werden.
• Validity ist die Datenqualität. Alternativ ist auch „Veracity“ in Gebrauch, also die Glaubwürdigkeit von Daten.
• Value bezeichnet den Mehrwert von Big Data für das Unternehmen oder die Institution. Die oft umfangreichen Investitionen in Datenplattformen und -Infrastrukturen sollen schließlich Business Value schaffen.
Aus welchen Quellen genau speist sich die Big Data Analytics?
Big Data resultiert vor allem aus der stetig anwachsenden Digitalisierung aller Lebens- und Arbeitsbereiche. Dazu zählen auch Daten der verschiedenen Sensoren in Smartphones und in zahlreichen weiteren Geräten und Maschinen sowie alle Arten der digitalen Ton- und Bildaufzeichnung. Analysiert und korreliert werden beispielsweise:
• die Internetnutzung
• Geo-Tracking
• Cloud Computing
• Vitaldaten-Messung
• Media-Streaming
• Börsengeschäfte
• physikalische Daten + Temperaturmessungen
• Social Media
Was sind die Herausforderungen bei der Big Data Analytics?
Big Data-Auswertung und -Analyse erfordern extra entwickelte Software. Denn nur spezielle Frameworks sind in der Lage die enormen Datenmengen zu verwerten.
Eine populäre Open-Source-Lösung ist Hadoop. Mit Hadoop und anderen Big Data Anwendungen aus der Cloud arbeiten meist Spezialisten, wie etwa Data Scientists [mehr zu den Big Data Berufen finden Sie in unserem Blog-Beitrag „Vier spannende Big Data Berufsbilder„]. Die Software muss nicht nur große Datenmengen schnellstmöglich importieren können. Anwender sollten außerdem rasch Resultate erhalten und möglich viele Dateianfragen gleichzeitig starten können.
Da die Digitalisierung der Welt mit großen Schritten voranschreitet und nahezu alle Winkel erfasst, scheint der Siegeszug von Big Data unaufhaltbar. Entsprechende Experten sind gefragt, auch bei den Kunden und Auftraggebern von Westhouse. Wenn Sie als Big Data Spezialist, als Programmierer, als SAP-Berater oder IT-Führungskraft neue spannende Aufgaben suchen, sollten Sie in unsere Jobbörse schauen. Oder kontaktieren Sie unser Team direkt. Wir finden das Passende für IT-Profis und Engineers.