crumb/shrink-v1

200m-ish parameter model (I think the param count in the graphic here is wrong, but the bench values are correct) with the token embedding and language modelling head of Llama2-70b attached, with linear transformations from Llama2-70b’s 8192d space down to this model’s 1024d space. !image/png

Модальности:
Генерация текста

Задача: Генерация текста
Автор: crumb
Теги: shrink, llama, custom_code, en
Лайков: 3  |  Загрузок: 18

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.