Microsoft

Alle Releases

1. Dez 2015

   ResNet Grundlagen

   • Residual-Verbindungen ermöglichten Netze mit hunderten Schichten.
   • Löste das Problem verschwindender Gradienten in tiefen Netzen.
   • Gewann ImageNet 2015 und prägte moderne CNN-Architekturen.

2. Jun 2023

   Phi-1 Code

   • Winziges 1,3B-Code-Modell, trainiert auf Lehrbuch-Qualitätsdaten.
   • Zeigte, dass Datenqualität wichtiger sein kann als Modellgröße.
   • Starke Python-Leistung trotz minimaler Parameterzahl.

   Reihe Phi

3. Dez 2023

   Phi-2 Sprache

   • 2,7B-Modell, das oft 25-mal größere Modelle erreichte.
   • Belegte die These der Lehrbuch-Qualitätsdaten weiter.
   • Beliebt für Forschung zu kleinen, effizienten Sprachmodellen.

   Reihe Phi

4. Apr 2024

   Phi-3 Sprache

   • Familie kleiner Modelle (mini 3,8B bis medium 14B) für Edge.
   • Mini lief auf dem Smartphone und erreichte Mixtral-8x7B-Niveau.
   • Lange Kontextvarianten bis 128k, MIT-Lizenz.

   Reihe Phi

5. Aug 2024

   Phi-3.5 Sprache

   • Update der Phi-3-Reihe mit mini, einem MoE und einem Vision-Modell.
   • Phi-3.5-MoE aktivierte nur einen Bruchteil seiner Parameter je Token.
   • Starke Reasoning-Leistung bei kleiner Größe, MIT-Lizenz.

   Reihe Phi

6. Dez 2024

   Phi-4 Sprache

   • 14B-Modell mit Fokus auf komplexes Reasoning und Mathematik.
   • Schlug teils viel größere Modelle in MINT-Benchmarks.
   • Später als offene Gewichte unter MIT auf Hugging Face.

   Reihe Phi