Die erste war die Reaktionsgeschwindigkeit von ChatGPT. Viele erwarten, dass ChatGPT auf alle Benutzeranfragen sofort und fehlerfrei antwortet. In der Praxis sieht das jedoch anders aus, da das ChatGPT-Modell recht groß ist und die Nachfrage nach der OpenAI-API täglich steigt. Daher dauert es selbst bei einfachen Anfragen, die der Nutzer an unsere Schnittstelle in TravelPlanBooker stellt, fünf bis zehn Sekunden, eine einfache Reise mit ein oder zwei Orten zu bearbeiten. Eine längere und komplexere Reiseanfrage kann bis zu 30 Sekunden dauern. Aus diesem Grund mussten wir viele Diskussionen mit unserem Kunden führen, der schnellere Antworten erwartete. Die Latenz von LLM-basierten Chatbots ist eine ernsthafte Herausforderung, vor der wir und viele andere KI-Teams stehen.
Um dieses Problem zu entschärfen, haben wir unseren Workflow optimiert und Aufrufe unterschiedlicher APIs so weit wie möglich parallelisiert. Außerdem haben wir eine Caching-Schicht für unterschiedliche API-Antworten, die wiederverwendet werden können, eingeführt.
Solche Maßnahmen beschleunigen die Reaktion der Plattform. Der größte Engpass bleibt jedoch die Reaktionsgeschwindigkeit der ChatGPT-API selbst.
Die zweite Herausforderung war die Qualitätskonsistenz der Antworten von ChatGPT. Bei jedem LLM-basierten Projekt sollte immer das Risiko von Halluzinationen des Modells berücksichtigt werden. Es kann passieren, dass das Modell in einem von 100 Fällen eine nicht existierende Stadt oder einen nicht existierenden Ort vorschlägt. Wir haben dieses Problem behoben, indem wir die von ChatGPT vorgeschlagenen Orte und Sehenswürdigkeiten überprüfen. Dafür senden wir einen ausgewählten Ort an MapBox (eine API, die Google Maps ähnelt und zur Überprüfung von Objekten, Namen und Standorten dient), um ihn zu prüfen und eine Route dorthin zu erstellen. Wir überprüfen außerdem die Orte in der API des Kunden auf Verfügbarkeit in der Datenbank. Das gibt jedoch immer noch keine hundertprozentige Garantie dafür, dass das Modell beispielsweise nicht auf Französisch mit dem Benutzer kommuniziert, nur weil er nach Frankreich reisen möchte, selbst wenn die Anfrage auf Englisch gestellt wurde. Hier ergreifen wir bestimmte Maßnahmen, um das Auftreten solcher Probleme zu minimieren, aber es besteht immer noch eine geringe Wahrscheinlichkeit für ihr Auftreten.
Dies war ein herausforderndes, aber lohnendes LLM-Projekt für uns, da wir nun die Herausforderungen, die bei solchen Projekten auftreten, besser verstehen und Wege finden können, sie zu überwinden und gleichzeitig die Erwartungen des Kunden zu erfüllen.