Phi

Alle Releases

1. Jun 2023

   Phi-1 Code

   • Winziges 1,3B-Code-Modell, trainiert auf Lehrbuch-Qualitätsdaten.
   • Zeigte, dass Datenqualität wichtiger sein kann als Modellgröße.
   • Starke Python-Leistung trotz minimaler Parameterzahl.

2. Dez 2023

   Phi-2 Sprache

   • 2,7B-Modell, das oft 25-mal größere Modelle erreichte.
   • Belegte die These der Lehrbuch-Qualitätsdaten weiter.
   • Beliebt für Forschung zu kleinen, effizienten Sprachmodellen.

3. Apr 2024

   Phi-3 Sprache

   • Familie kleiner Modelle (mini 3,8B bis medium 14B) für Edge.
   • Mini lief auf dem Smartphone und erreichte Mixtral-8x7B-Niveau.
   • Lange Kontextvarianten bis 128k, MIT-Lizenz.

4. Aug 2024

   Phi-3.5 Sprache

   • Update der Phi-3-Reihe mit mini, einem MoE und einem Vision-Modell.
   • Phi-3.5-MoE aktivierte nur einen Bruchteil seiner Parameter je Token.
   • Starke Reasoning-Leistung bei kleiner Größe, MIT-Lizenz.

5. Dez 2024

   Phi-4 Sprache

   • 14B-Modell mit Fokus auf komplexes Reasoning und Mathematik.
   • Schlug teils viel größere Modelle in MINT-Benchmarks.
   • Später als offene Gewichte unter MIT auf Hugging Face.