Die Ursprünge von Deeplink

Dieser Artikel wurde automatisch übersetzt. Lesen Sie das Original auf Englisch.

Auf dem holprigen Weg zur Entwicklung eines Chatbots zur Beziehungsberatung

Eines Tages kam meine Mitarbeiterin zu mir und erzählte mir: „Ich wurde gebeten, einen Chatbot-Proof-of-Concept zu erstellen“.

Das Thema: Liebesbeziehungen.

Nach einer gründlichen Analyse mit einem Therapiespezialisten (da wir nicht die besten Ansprechpartner für Beziehungsratschläge sind) beschlossen wir, dass der Bot zwölf der häufigsten Beziehungsprobleme verstehen sollte, darunter Trennungen, Eifersucht (seitens des Benutzers oder seines Partners), Gewalt, Sex, Kinder, Kommunikation und die Zukunft der Beziehung.

Die erste NLP-Aufgabe für uns war klar definiert: Sätze wie „Meine Freundin ist verrückt, sie geht jeden Abend meine Telefonnachrichten durch“ in das Thema Eifersucht und Sätze wie „Ich bin schon zu lange verheiratet und brauche wohl eine Veränderung“ in die Kategorie „Beziehungszukunft“ einzuordnen.

Wie bei den meisten Aufgaben des maschinellen Lernens begannen wir mit dem Sammeln von Daten.

1. Erster Versuch: Durchforstung des Internets.

Wir besuchten Psychologie-Websites und suchten nach Aussagen in den oben genannten Kategorien. Wir zerschnitten sie in Sätze und klassifizierten manuell die, die wie echte Chatbot-Antworten aussahen.

Wir ließen diesen ersten Datensatz durch einen NLP-Klassifikator (den von Rasa) laufen und erhielten absteigende Ergebnisse. Also verschoben wir einen Satz und verwendeten den trainierten Klassifikator in unserem Chatbot-Prototyp.

Als wir den Chatbot unseren Freunden zum Testen gaben, stellten wir fest, dass er deren Antworten ziemlich schlecht klassifizieren konnte.

Lektion gelernt: Man schreibt kein Zeugnis, das man jedem im Internet zugänglich macht, so wie man mit einem Chatbot sprechen würde…

2. Zweiter Versuch: Lasst uns Daten sammeln (und unsere Frauen fragen)

Als wir wieder am Anfang standen, beschlossen wir, auf andere Weise Daten zu sammeln. Wir haben uns die Zeit genommen, viele Versionen von „Ich betrüge meine Frau“ zu schreiben . Das Gleiche haben wir mit allen anderen Kategorien gemacht.

Wir baten auch unsere Ehefrauen, dasselbe zu tun (da alle unsere Freundinnen unseren Chatbot irgendwie leid waren).

Als Ergebnis erhielten wir einen Datensatz mit 1000 Sätzen. Wir trainierten unseren Klassifikator neu und gaben dem Chatbot einen weiteren Versuch. Er funktioniert immer noch nicht gut..

Lektionen gelernt: Nun, zwei Dinge: 1000 Sätze für 12 Kategorien sind eindeutig nicht genug. Und da die Sätze von 4 Personen mit dem gleichen Bildungsniveau stammten, waren die Daten irgendwie verzerrt.

3. Dritter Versuch: Bitten Sie um (bezahlte) Hilfe

Wir erinnerten uns an eine Facebook-Forschungsveröffentlichung, in der es um die Sammlung von Daten mithilfe von Crowd-Sourcing-Plattformen ging.

Wir besuchten diese Plattformen, um herauszufinden, ob sie Tools zur Unterstützung dieser Datenerhebung anbieten. Das Einzige, was zur Verfügung stand, war eine kalkulationsähnliche Schnittstelle, über die wir die Leute bitten konnten, Daten einzugeben. Nicht gerade die beste Art, Menschen in den Kontext eines Bots zu stellen.

Glücklicherweise können wir auch einen externen Umfragelink an unsere Nutzer senden! Hurra!

Also schrieben wir Chatbotstrap, das jetzt in Deeplink umbenannt wurde, mit der Idee, es zum „Doodle“ der Chatbot-Erstdatenerfassung zu machen:

  • Öffnen Sie das Tool, definieren Sie die Intentionen, die der Chatbot verstehen soll.
  • Dann entwerfen Sie einige Mockup-Dialoge, die den Benutzer zu der Absicht führen, die er ausdrücken soll.
Definieren Sie Szenarien, um die Benutzer in einen Kontext zu stellen
  • Besorgen Sie sich einen Umfragelink, verschicken Sie ihn (über Amazon Mechanical Turk, Clickworker, Ihre Freunde, Ihre Kollegen, Ihre Studenten oder Ihren Partner) und beginnen Sie, Trainingssätze zu erhalten.
Die ursprüngliche Schnittstelle für Umfragen

Der allererste Anwendungsfall von Chatbotstrap war unser Beziehungs-Chatbot. Innerhalb weniger Tage haben wir mehr als 4500 Trainingssätze gesammelt. Der F1-Wert unseres Chatbots stieg von 0,55 auf 0,75 und wir waren zuversichtlich genug, um ihn dem Kunden vorzuführen.

Schlussfolgerung

Leider wurde das Beziehungs-Chatbot-Projekt abgebrochen. Nichtsdestotrotz haben wir Chatbotstrap umgeschrieben, um es zu mehr als einem einmaligen Tool zu machen, und wir haben es bei anderen Projekten eingesetzt(sehen Sie sich unseren Firmen-Chatbot an).

Probieren Sie die Deeplink-Plattform aus (kostenlos), wenn Sie wie wir Schwierigkeiten haben, geeignete Trainingsdaten für Ihre Bots zu finden (Export in CSV, Rasa, Luis und Flair sind verfügbar)