1. Phase: Daten beschaffen

E-Mails einlesen: Wir laden die gelabelten Mails als Dataset nach Azure ML.
Vorverarbeiten: Wir wandeln den E-Mail-Inhalt in eine Abfolge aus Zahlen um. Worte entsprechen danach Zahlen.

2. Phase: Modelle trainieren

Training: Wir erstellen Modelle, die wir mit den vorverarbeiteten Texten und Kategorien aus dem vorherigen Schritt trainieren.
Evaluation: Wir evaluieren die Performance und passen die Modelle, falls sie nicht zufriedenstellend sind, an. Wir wählen das beste Modell für das Deployment aus.

3. Phase: Modell bereitstellen

Deployment: Modell über Rest-API auf einem Inference Cluster anbieten.
Monitoring: Azure ML sammelt die Eingabedaten und die Vorhersagen, um Data Drift zu erkennen und Leistungseinbussen früh festzustellen.

4. Phase: Wiederholung Phase 1 bis 3

Der Kreis schliesst sich, indem wir das Modell mit den neu gesammelten Daten weiter trainieren.

Speziell für die Schweiz müssen wir in allen drei Phasen die Mehrsprachigkeit beachten, um gute Resultate zu erzielen. Pro Sprache haben wir unterschiedliche Mengen an Daten, aus welchen wir sprachspezifische Modelle erstellen.

In der Umsetzung unterstützt uns Azure ML mit verschiedenen Konzepten, welche die Entwicklung vereinfachen. Datasets geben uns versionierten Zugriff auf unsere E-Mails, unabhängig davon auf welcher Recheninstanz wir uns befinden. Resultate, Plots und andere Informationen, welche wir während dem Training aufzeichnen, können wir für jeden Durchlauf im Webinterface einsehen und damit verschiedene Runs vergleichen. Die Klassifikationsmodelle erfassen wir in der Model Registry. Sie gibt uns einen Überblick über alle Modelle und Modellversionen und vereinfacht uns die Modellauswahl. Mit Azure ML können wir mühelos fertige Modelle übers Internet anbieten und danach überwachen lassen. Azure ML erstellt dafür eine REST API für Modellabfragen. Pipelines geben uns die Möglichkeit bestehende Modelle mit den frisch gesammelten Daten zu trainieren. Zudem bietet Azure ML weitere Features wie zum Beispiel Auto ML, um das Bauen von Modellen zu automatisieren.

Hast du auch einen spannenden Use Case? Let's talk!

Andreas Schneider