Sparsames Mixture-of-Experts-Modell, das an das Billionen-Parameter-Flaggschiff von Ant Group heranreicht, dabei aber deutlich weniger Parameter je Token aktiviert.
Steht für den Trend, Spitzenleistung nicht über Größe, sondern über Effizienz zu erreichen.
Ling-3.0-tiny Sprache
Kleines offenes Modell mit 7,9 Milliarden Parametern. Pro Wort rechnen nur 1,3 Milliarden davon mit.
Es läuft auf einem Notebook und verarbeitet 256.000 Zeichen Kontext.
Der Nutzer schaltet zwischen schneller Antwort und ausführlichem Nachdenken um.