In den letzten zwei Wochen habe ich mich ein bisschen intensiver mit dem Thema Datenkategorisierung beschäftigt und möchte euch heute einen kurzen Überblick darüber geben.
Grundsätzlich gibt es drei Arten von Daten: strukturierte, semistrukturierte und unstrukturierte Daten.
Strukturierte Daten sind eigentlich unsere klassischen Tabellen. Also alles, was sich schön in Zeilen und Spalten darstellen lässt. Das ist natürlich sehr praktisch, wenn es um Analyse geht.
Ein gutes Beispiel dafür sind Superstore-Datensatz. Da haben wir das Bestelldatum, das Produkt, die Kategorie, den Umsatz, die Menge und Informationen über den Kunden. Alles ist schön strukturiert und jede Information hat ihren festen Platz.
Typische Formate sind SQL-Tabellen, CSV- und Excel-Dateien oder auch Parquet.
Der große Vorteil ist, dass wir solche Daten sehr einfach durchsuchen und analysieren können. Wir wissen genau, wo welche Information steht.
Der Nachteil ist allerdings, dass diese Struktur nicht besonders flexibel ist. Wenn wir plötzlich eine neue Information speichern möchten, die bisher nicht vorgesehen war, müssen wir zuerst das Schema anpassen. Erst danach können wir die neue Information hinzufügen.
Die sind besonders praktisch, wenn es um Datenaustausch geht, weil sie deutlich flexibler als klassische Tabellen sind. Sie können unterschiedliche Informationen enthalten, ohne dass alles vorher exakt definiert sein muss.
Typische Formate sind zum Beispiel JSON, XML oder YAML.
Ein gutes Beispiel dafür sind Paketsysteme. Stellen wir uns vor, wir möchten den Weg eines Pakets analysieren. Während des gesamten Transportprozesses können ganz unterschiedliche Informationen über dieses Paket entstehen.
Zum Beispiel: Aus welcher Filiale wurde das Paket verschickt? Wie viele Sortierstationen hat es durchlaufen? Wie lange war es an den einzelnen Stationen? Gab es irgendwelche Probleme auf dem Weg? Ist das Paket pünktlich angekommen, verspätet angekommen oder vielleicht sogar verloren gegangen?
Wir können also sehr viele unterschiedliche Informationen über ein Paket speichern, auch solche, mit denen wir vorher vielleicht gar nicht gerechnet haben.
Das ist eigentlich der große Vorteil von semistrukturierten Daten: Sie geben uns die Möglichkeit, Informationen flexibel zu speichern, auch wenn wir vorher noch nicht genau wissen, welche Informationen später dazukommen werden.
Der Nachteil ist allerdings, dass solche Daten nicht immer direkt einfach zu analysieren sind. Für eine effiziente Analyse müssen wir sie häufig zuerst in eine strukturierte Form bringen.
Das bedeutet, dass wir die Daten zunächst formatieren oder transformieren müssen, bevor wir richtig damit arbeiten können.
Unstrukturierte Daten haben keine feste Struktur oder ein bestimmtes Format. Das kann eigentlich alles sein: Bilder, Blogposts, Chatnachrichten, Videos, Audiodateien, E-Mails und so weiter.
Der große Vorteil ist, dass wir damit sehr viele unterschiedliche Informationen speichern können, die sich oft nicht einfach in einem klassischen Tabellenformat darstellen lassen.
Auf der anderen Seite sind solche Daten deutlich schwieriger zu analysieren. Deshalb brauchen wir dafür oft spezielle Tools und Methoden, zum Beispiel für die Analyse von Bildern, Texten, Videos oder Audiodateien.
Zusammenfassung
