Небольшая модель декодера параметров (всего) на 101 МБ. Это первая версия модели. — Скрытый размер 768, 6 слоев — GQA (24 головы, 8 значений ключа), длина контекста 1024 — Обучение с нуля — эта модель была предварительно обучена на одном графическом процессоре в течение 5 вычислительных дней. Вы также можете провести предварительную тренировку своими руками! — 0% обучающих данных (насколько нам известно) поступает из синтетической генерации OpenAI. Эта контрольная точка представляет собой «сырую» предварительно обученную модель и не была настроена для более конкретной задачи. В большинстве случаев его следует настроить перед использованием. — Контрольная точка параметра smol-er 81M с привязанными входными и выходными встраиваниями: здесь — Точная настройка pypi для генерации кода Python — ссылка — Версию этой модели для чата см. здесь. Если вы найдете этот эксперимент полезным и захотите добавить несколько слов в свой .bib-файл, это нас порадует.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: BEE-spoke-data
Теги: llama, smol_llama, llama2, en, text-generation-inference, endpoints_compatible
Лайков: 33 | Загрузок: 1,632
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
