Modellreihe · MISTRAL AI

Mixtral

2 Releases · Dez 2023 bis Apr 2024 · im Schnitt alle 4 Monate

digitalpfade digitalpfa.de/zeitstrahl/modell/mixtral
Mixtral 8x7B Dez 2023 Mixtral 8x22B Apr 2024 2024

Alle Releases

  1. Mixtral 8x7B Sprache

    • Erstes starkes offenes Sparse-Mixture-of-Experts-Modell aus Europa.
    • 47B Parameter gesamt, aber nur rund 13B je Token aktiv.
    • Erreichte GPT-3.5-Niveau bei hoher Geschwindigkeit, Apache 2.0.

  2. Mixtral 8x22B Sprache

    • Größeres MoE mit 141B Parametern gesamt, rund 39B aktiv je Token.
    • 64k-Kontext, stark in Mathematik, Code und mehrsprachigen Aufgaben.
    • Apache 2.0, eines der leistungsfähigsten offenen Modelle seiner Zeit.