Entwickler:innen aus renommierten Universitäten wie UC Berkeley und Stanford haben kürzlich einen Open-Source-Chatbot namens Vicuna-13B vorgestellt. Dieser Chatbot soll fast an die Leistung von ChatGPT heranreichen und basiert auf Metas Llama-Sprachmodell.
- Lernen von ChatGPT
- Verbesserungen und Evaluierung
- Schwächen der KI
- Vicuna: Vergleich und Ergebnisse
- Herausforderungen und Halluzinationen
- Verfügbarkeit und Zukunftsaussichten
Lernen von ChatGPT
Für das Training von Vicuna-13B haben die Entwickler:innen auf rund 70.000 öffentliche ChatGPT-Konversationen von ShareGPT.com zurückgegriffen. Durch diese Methode konnte der Chatbot von den Fähigkeiten und Kenntnissen von ChatGPT profitieren.
Verbesserungen und Evaluierung
Die Entwickler:innen haben auch die Trainingsskripte von Stanford Alpaca optimiert, unter anderem durch die Erhöhung der Kontextlänge. Vicuna-13B wurde mit 80 Fragen evaluiert, wobei GPT-4 als Bewerter fungierte und die Leistung von Vicuna mit anderen Chatbots verglich.
Schwächen der KI
Während des Evaluierungsprozesses stellten die Forscher:innen fest, dass GPT-4 Schwierigkeiten hatte, Matheaufgaben richtig zu bewerten. Diese Einschränkung betraf auch die anderen Sprachmodelle wie Llama-13b, Alpaca-13b, Bard und ChatGPT-3.5.
Vicuna: Vergleich und Ergebnisse
Im direkten Vergleich entschied sich GPT-4 in 90 Prozent der Fälle für Vicuna gegenüber Llama oder Alpaca. Gegenüber ChatGPT erzielte Vicuna-13B einen Score von 90 Prozent, wobei 45 Prozent der Antworten als gleichwertig angesehen wurden.
Herausforderungen und Halluzinationen
Trotz der vielversprechenden Ergebnisse weisen die Entwickler:innen auf das Problem der Halluzinationen hin, das auch im Hacker-News-Forum diskutiert wird. Daher sollten die Angaben des Chatbots mit Vorsicht betrachtet werden.
Verfügbarkeit und Zukunftsaussichten
Vicuna kann online ausprobiert werden, und der Code ist auf GitHub verfügbar. Im Open-Source-Bereich der Sprachmodelle gibt es zudem weitere Entwicklungen wie das kürzlich von Databricks vorgestellte „Dolly“. Expert:innen zufolge werden in Zukunft immer mehr freie Sprachmodelle verfügbar sein.