Каузальная языковая модель с параметром 125,6M, обученная с нуля на WikiText-103 и TinyStories. Нет предварительно подготовленных весов. Пользовательский токенизатор BPE. Базовые модели лучше работают с более длинными подсказками в стиле документа: более низкая температура (0,7) и top_k (40) дают более согласованный вывод, чем значения по умолчанию.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: MaheshwariSujal
Теги: causal-lm, from-scratch, librarian, en
Лайков: 3 | Загрузок: 0
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.