GPT-J
Jun 2021
GPT-NeoX-20B
Feb 2022
Pythia
Apr 2023
2022
2023
Für Präsentation und Weitergabe
Als Bild in die Folien legen oder als einzelne HTML-Datei herunterladen und einbauen.
Bild
Alle Releases
Zu dieser Auswahl gibt es keinen Eintrag.
-
GPT-J Sprache
- 6B-Modell von EleutherAI als offene GPT-3-Alternative.
- Trainiert auf dem Pile-Datensatz, lange ein beliebtes Basismodell.
- Zeigte früh, dass die Community große Modelle bauen kann.
-
GPT-NeoX-20B Sprache
- 20B-Modell, eines der größten offenen LLMs seiner Zeit.
- Auf dem Pile trainiert, mit eigenem verteiltem Training-Framework.
- Wichtiger Schritt zu frei verfügbaren Großmodellen.
-
Pythia Sprache
- Suite von 16 Modellen (70M bis 12B) für Forschungszwecke.
- Mit 154 Checkpoints je Modell zur Analyse des Trainingsverlaufs.
- Standardwerkzeug zum Studium von Lerndynamik und Skalierung.
Gefüllter Punkt: Hauptversion. Offener Punkt: Zwischenstand oder Punkt-Release. Stand der Daten: Apr 2023.