Это эксперимент по сокращению слоев, основанный на оригинальном llama-3-8b: — 8 слоев, удаленных с помощью PruneMe/MergeKit — слои выбраны с помощью BEE-spoke-data/fineweb-100k_en-med — краткое последующее продолжающееся предварительное обучение @ ctx 4096 — данные: 10 тыс. строк FineWeb (отличных от данных обрезки) + некоторые тщательно подобранные данные — wandb здесь hf (pretrained=pszemraj/Llama-3-6.3b-v0.1,trustremotecode=True,dtype=bfloat16), genkwargs: (Нет), предел: Нет, numfewshot: Нет, Batch_size: 1
Модальности:
Генерация текста
Задача: Генерация текста
Автор: pszemraj
Теги: llama, axolotl, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
