Daten für KI verstehen
Gelabelt, ungelabelt & Semi-supervised Learning
Kursmodul: Datenbasis für KI-Projekte
Ziele dieses Moduls
- Verstehen, was gelabelte und ungelabelte Daten sind.
- Einordnen, wann welche Datenart sinnvoll ist.
- Grundidee von Semi-supervised Learning mit gemischten Daten.
- Überblick über typische Datenpools und ihre Einsatzmöglichkeiten.
- Strategien kennen, wenn (noch) keine eigenen Daten vorhanden sind – inkl. Web-Scraping & APIs.
- In einer 30-Minuten-Gruppenarbeit einen Use Case, Datenquellen und zu scrapende Felder skizzieren.
Gelabelte Daten
Gelabelte Daten sind Beispiele mit bekannter „richtiger Antwort“ (Label), z.B. Kunden mit Attributen und Spalte „gekauft: ja/nein“.
- Ermöglichen überwachtes Lernen (Supervised Learning).
- Führen zu hohen Modellgenauigkeiten bei klaren Vorhersageaufgaben.
- Aber: Label-Erstellung ist aufwändig, teuer und fehleranfällig.
- Labels spiegeln Domainwissen – können aber auch Bias enthalten.
Ungelabelte Daten
Ungelabelte Daten sind Rohdaten ohne Zielspalte, z.B. Logfiles, Textsammlungen oder Bilder ohne Beschriftung.
- Sehr leicht und in großen Mengen verfügbar.
- Nützlich für Mustererkennung, Clustering, Anomalieerkennung.
- Direkt schwieriger für „konkrete Antworten“ nutzbar.
- Werden oft mit wenigen Labels kombiniert (Semi-supervised Learning).
Flussdiagramm: Welche Daten habe ich?
Vereinfachtes Entscheidungsdiagramm zur Einordnung deiner Daten:
Start: Liegen Beispiele mit Eingabedaten vor? → Ja
↓
Frage: Gibt es zu jedem Beispiel eine bekannte „richtige Antwort“ (Label)?
↓
Ja → Gelabelte Daten → Supervised Learning (z.B. Klassifikation, Regression).
Nein → Ungelabelte Daten → Unsupervised Learning (z.B. Clustering, Anomalien).
↓
Gemischt → Teilweise gelabelt, viele ungelabelt → Semi-supervised Learning möglich.
Semi-supervised Learning
Semi-supervised Learning kombiniert wenige gelabelte mit vielen ungelabelten Daten, um das Beste aus beiden Welten zu nutzen.
- Ein kleiner gelabelter Datensatz trainiert ein erstes Modell.
- Das Modell erzeugt Pseudo-Labels für viele ungelabelte Beispiele.
- Diese Pseudo-Labels werden (vorsichtig) zur weiteren Verbesserung genutzt.
- Ziel: bessere Performance als nur mit wenigen gelabelten Daten – bei geringeren Labelkosten.
Flussdiagramm: Semi-supervised Learning
1. Kleine Menge gelabelter Daten sammeln.
↓
2. Erstes Modell mit gelabelten Daten trainieren.
↓
3. Modell auf viele ungelabelte Daten anwenden → Pseudo-Labels erzeugen.
↓
4. Gelabelte + ausgewählte Pseudo-gelabelte Daten kombinieren.
↓
5. Modell erneut trainieren und evaluieren.
↓
Ergebnis: Besseres Modell mit weniger manuellem Labelaufwand.
Datenpools und Einsatzmöglichkeiten
Beispiele für typische Datenquellen und geeignete Einsätze:
| Datenpool | Beispiele (mit Links) | Geeignete Aufgaben |
|---|---|---|
| Transaktions- & Logdaten (strukturiert, meist ungelabelt) |
Web-Logs (eigene Systeme), Klickdaten (Analytics), Sensorwerte Inspiration für Beispiel-Datensätze: – kaggle.com/datasets – registry.opendata.aws |
Clustering, Anomalieerkennung, Semi-supervised für Betrugserkennung |
| CRM-/ERP-Daten (strukturiert, oft gelabelt) |
Eigene CRM-/ERP-Systeme (Salesforce, SAP, HubSpot) Produktseiten: – salesforce.com – sap.com – hubspot.com |
Churn-Prediction, Next-Best-Offer, Risikoscoring |
| Textdaten |
E-Mails, Tickets, Dokumente aus eigenen Systemen Open-Textdaten: – data.europa.eu – opendata.swiss |
Textklassifikation, Sentiment, Clustering von Themen |
| Bild- & Videodaten |
Produktbilder, Qualitätskontrolle, Kamerastreams Open-Datasets: – image-net.org – cocodataset.org |
Objekterkennung, Qualitätsprüfung, Semi-supervised für seltene Klassen |
| Open Data & externe Daten |
Open-Data-Portale, Wetter-, Geo-, Markt-Daten – govdata.de – opendata.dwd.de – data.europa.eu |
Feature-Erweiterung, Kontextinformationen, Explorationsanalysen |
| Web-Scraping & APIs |
Produktpreise, Stellenanzeigen, Bewertungsportale, News, Social Media Typische APIs/Webquellen: – openweathermap.org/api – newsapi.org – developer.twitter.com |
Datenaufbau bei „Nullbestand“, Marktbeobachtung, Feature-Anreicherung für Modelle |
Was tun, wenn keine eigenen Daten vorhanden?
-
Open Data nutzen:
– data.europa.eu
– govdata.de
– opendata.swiss -
APIs anzapfen (strukturierte Daten direkt beziehen):
– OpenWeatherMap
– NewsAPI
– Twitter API - Web-Scraping: Daten von Webseiten extrahieren (Rechtslage beachten!) – z.B. Preisportale, Jobbörsen, Bewertungsplattformen.
-
Synthetische Daten generieren (für Prototypen): z.B. mit
– scikit-learn sample generators
– eigenen Simulationsskripten.
Web-Scraping & APIs
Grundprinzip: HTML-Inhalte parsen oder strukturierte Daten über API abrufen.
-
Typische Tools:
– BeautifulSoup (HTML-Parsing)
– Scrapy (Framework für Crawler)
– Selenium (für dynamische Seiten) -
APIs (REST, JSON):
– OpenWeatherMap
– NewsAPI
– Twitter API - Rechtlich: robots.txt, AGB und DSGVO sorgfältig prüfen; sensible Daten vermeiden.
Gruppenarbeit: Use Case & Datenquellen
Bildet Gruppen à 3–4 Personen. Arbeitet 30 Minuten an folgendem:
- Wählt einen Use Case (z.B. Preisvergleich, Sentiment-Analyse).
- Identifiziert mögliche Datenquellen (Webseiten, APIs, Open Data).
- Skizziert, welche Felder ihr scrapen/abfragen würdet.
- Bereitet eine 2-Minuten-Präsentation vor (Use Case, Quelle, Felder).
Takeaways für deinen Kurs
- Gelabelte Daten = „Daten mit Lösung“ → nötig für Vorhersagemodelle.
- Ungelabelte Daten = „Rohmaterial“ → reichlich vorhanden, gut für Muster.
- Semi-supervised Learning kombiniert beides, um Kosten und Performance auszubalancieren.
- Datenpools bewusst auswählen: Welche Quellen passen am besten zu deinem Use Case?
- Auch ohne eigene Daten kannst du starten – dank Open Data, APIs und Web-Scraping.
Fragen & Diskussion
Welche Datenquellen und Scraping-Ideen aus der Gruppenarbeit wollt ihr als nächstes konkret ausprobieren?