Mixtral 8x7B
Dez 2023
Mixtral 8x22B
Apr 2024
2024
Für Präsentation und Weitergabe
Als Bild in die Folien legen oder als einzelne HTML-Datei herunterladen und einbauen.
Bild
Alle Releases
Zu dieser Auswahl gibt es keinen Eintrag.
-
Mixtral 8x7B Sprache
- Erstes starkes offenes Sparse-Mixture-of-Experts-Modell aus Europa.
- 47B Parameter gesamt, aber nur rund 13B je Token aktiv.
- Erreichte GPT-3.5-Niveau bei hoher Geschwindigkeit, Apache 2.0.
-
Mixtral 8x22B Sprache
- Größeres MoE mit 141B Parametern gesamt, rund 39B aktiv je Token.
- 64k-Kontext, stark in Mathematik, Code und mehrsprachigen Aufgaben.
- Apache 2.0, eines der leistungsfähigsten offenen Modelle seiner Zeit.
Gefüllter Punkt: Hauptversion. Offener Punkt: Zwischenstand oder Punkt-Release. Stand der Daten: Apr 2024.