Anbieter

EleutherAI

3 Releases · Jun 2021 bis Apr 2023 · im Schnitt alle 11 Monate

digitalpfade digitalpfa.de/zeitstrahl/firma/eleutherai
GPT-J Jun 2021 GPT-NeoX-20B Feb 2022 Pythia Apr 2023 2022 2023

Alle Releases

  1. GPT-J Sprache

    • 6B-Modell von EleutherAI als offene GPT-3-Alternative.
    • Trainiert auf dem Pile-Datensatz, lange ein beliebtes Basismodell.
    • Zeigte früh, dass die Community große Modelle bauen kann.

  2. GPT-NeoX-20B Sprache

    • 20B-Modell, eines der größten offenen LLMs seiner Zeit.
    • Auf dem Pile trainiert, mit eigenem verteiltem Training-Framework.
    • Wichtiger Schritt zu frei verfügbaren Großmodellen.

  3. Pythia Sprache

    • Suite von 16 Modellen (70M bis 12B) für Forschungszwecke.
    • Mit 154 Checkpoints je Modell zur Analyse des Trainingsverlaufs.
    • Standardwerkzeug zum Studium von Lerndynamik und Skalierung.