Небольшая модель декодера с 81 млн параметров (всего), работающая за счет связывания внедрений ввода/вывода. Это первая версия модели. — Скрытый размер 768, 6 слоев — стандартное многоголовое внимание (24 головки), длина контекста 1024 — привязаны вложения ввода/вывода — обучение с нуля. Эта контрольная точка представляет собой «сырую» предварительно обученную модель и не была настроена для более конкретной задачи. В большинстве случаев его следует настроить перед использованием. — немного больший параметр 101M, предварительно обученная версия GQA: здесь. Версию этой модели для чата см. здесь.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BEE-spoke-data
Теги: llama, smol_llama, llama2, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 233
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
