Wie die Onedot KI von Daten und Feedback lernt
Diese Seite beschreibt wie die KI von Daten und Feedback von Benutzern über die Zeit lernt.
Einführung
Die Onedot Plattform wird über die Zeit und wird immer besser und präziser bezüglich Vorschläge während des Produktdaten-Onboardings. Wie genau wird dies erreicht?
Die Begriffe “AI” (Artificial Intelligence), die deutsche Übersetzung “KI” (Künstliche Intelligenz) sowie “ML” (Machine Learning) werden hier synonym verwendet.
Die Onedot Plattform verwendet Künstliche Intelligenz (KI) und fortgeschrittenes Maschinelles Lernen (ML) um kontinuierlich aus den verarbeiteten Daten und Feedback von Benutzern in Feedback-Aufgaben zu lernen.
Bei jedem Produktdaten-Onboarding werden hauptsächlich in den Modulen Attributextraktion, Klassifizierung, Attribut-Mapping, Normalisierung, Segmentierungen wie Golden Record Generation, etc. KI/ML Modelle verwendet, um initiale Vorschläge zur Datenverarbeitung zu generieren, welche anschliessend in Feedback-Aufgaben korrigiert und/oder bestätigt werden.
Verwendete KI Modelle
Onedot verwendet verschiedene Typen von KI/ML Modellen:
Large Language Models (LLMs): Diese Modelle verwenden hauptsächlich Generative Pretrained Transformer (GPT) Ansätze und modellieren komplexere Verhältnisse und Semantik von Allgemeinwissen wie Produkteigenschaften, Materialien, Oberflächen, Farben, Dimensionen wie
10 x 100 cm, etc.Embedding Modelle: Diese Modelle basieren hauptsächlich auf Word- oder Sentence-Embedding Ansätzen und kommen zum Einsatz, wenn Synonyme oder Beschreibungen gelernt werden sollen, zum Beispiel dass die Bezeichnung Swiss Cow Design als Schwarz-Weiss Muster Farbangabe zu interpretieren ist.
NLP Tagging Modelle: Diese Modelle dienen zur Identifikation von Grammatik und Worttypen, um beispielsweise Präpositionen wie ohne, mit, etc. in Verbindung mit Produkteigenschaften wie Akkuschrauber mit mitgeliefertem Ladegerät korrekt zu identifieren.
Hierarchical Multi-Label Classifier Modelle: Diese Modelle dienen zur Identifikation von möglichen Produkttypen, Klassifikationen, Kategorien im Web-Shop, etc. als auch zur Identifikation von assoziierbaren Quell- und Ziel-Attributen/Werten.
Statistische Modelle: Diese Modelle dienen vorwiegend zur Identifikation von möglichen Assoziationen wo Quell- und Ziel Name von Attributen welche keinen semantischen Zusammenhang habe, aber durch die statistische Verteilung der Quell- und Zielwerte mögliche Kandidaten für eine Assoziation sind.
Syntaktische Modelle: Diese Modelle werden vorwiegend mit Hilfe von Distanzmetriken implementiert, um syntaktisch ähnliche Bezeichnungen, zum Beispiel mit Abkürzungen und Schreibfehlern, korrekt zu identifizieren.
Modelle wie LLMs, Embedding Modelle und NLP Tagging Modelle werden unabhängig von Kunden und Produktdaten auf Petabyte-grossen öffentlich verfügbaren Internet Datenquellen trainiert und danach mit Produktdaten aus weiteren Quellen verfeinert.
Modelle wie Classifier werden werden im Falle von öffentlichen Standards wie ECLASS, UNSPSC, etc. aus öffentlich verfügbaren Internet Datenquellen trainiert. Bei kundenspezifischen Klassifikationen und Kategoriebäumen werden Classifier hauptsächlich durch Produktdatenexporte (PDEs) und durch Feedback aus Klassifikationsaufgaben trainiert.
Knowledge Datenbank
Darüber hinaus verwendet Onedot auch eine proprietäre Knowledge-Datenbank um Benutzer-Feedback von Produktdatenexperten auf Ebene Feedback-Aufgabe, Datenquelle, Kunde, oder einzelnem Auftrag wie einem Produktdaten-Onboarding, zu speichern, und so menschliches Feedback mit Priorität in Folgeaufträgen und Aufträgen für denselben Kunden zu verwenden. Benutzer-Feedback kann beispielsweise Information zu assoziierten Quell- und Zielattributen oder verwendete Klasse/Kategorie für bestimmte Produkte enthalten. Benutzer-Feedback wird strukturiert erhoben als einfache Ja/Nein Fragen oder Auswahl von vordefinierten Listen von Attributen, Klassen, Werten aus Wertelisten, etc.
Kunden können durch einfachen Opt-In ihr Benutzerfeedback Onedot zu Verfügung stellen, um gemeinsame KI/ML Modelle über Kunden/Lieferantengrenzen hinweg zu trainieren. Im Gegenzug profitieren Kunden natürlich auch durch Benutzerfeedback von anderen Kunden welche ebenfalls Opt-In gewählt haben, und können so von Markt Know-How und Daten Know-How anderer Onedot Plattform Anwender profitieren und schneller eine hohe Präzision der Vorschläge erreichen.
Selbstverständlich wird der Inhalt der Knowledge-Datenbank und Produktdatenexporte (PDE) auch als Trainingsdaten für das Training der oben stehenden KI/ML Modelle verwendet, um dadurch über die Zeit noch besser und präziser auf die kundenspezifischen Bedürfnisse und Terminologie eingehen zu können.