LLäMmlein 7B — это немецкая модель LLaMa, обученная с нуля с использованием нашей адаптированной кодовой базы Tinyllama на немецкой части RedPajama V2. Чтобы повысить качество данных, мы дополнительно дедуплицировали набор данных на уровне абзаца и отфильтровали его с помощью фильтра соотношения токенов к словам. Полученный набор данных можно найти здесь. Мы предоставляем модели трех размеров: LLäMmlein 7B ← Вы здесь LLäMmlein 1B * LLäMmlein 120M Более подробную информацию можно найти на нашей странице и в нашем препринте! Вы можете использовать LLäMmlein с библиотекой преобразователей. (Необязательно: установите flash-attn для достижения максимальной эффективности.) Помимо финальной контрольной точки модели, мы публикуем промежуточные контрольные точки на протяжении всего процесса обучения в виде уникальных ветвей в этом репозитории. Конкретную контрольную точку можно загрузить следующим образом: рядом с самой моделью каждая ветвь содержит все точки данных, которые использовались для обучения модели до этой точки. В соответствующей папке, названной в честь контрольной точки, вы можете найти несколько файлов .log (в зависимости от количества графических процессоров) следующего формата: Мы выпускаем модели LLäMmlein под лицензией RAIL-M только для исследований. Подробности смотрите на License.md. Удаление данных
Модальности:
Генерация текста
Задача: Генерация текста
Автор: LSX-UniWue
Теги: llama, de, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 4,453
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
