Это тщательно продуманная тонкая настройка LFM2.5-1.2B с использованием нескольких наборов данных (4) через Unsloth через локальное оборудование, Linux (для Windows) с точностью 16 бит, ЗАТЕМ объединенных Nightmedia. Мышление/рассуждение было полностью заменено. Рассуждения компактные, но подробные (очень подробные) и прямо «в точку», так сказать. Рассуждения влияют на: — общую работу модели. — Генерация результатов — Контрольные показатели. Особенности модели: — Контекст 128k — Диапазон температур от 0,1 до 2,5. — Рассуждение стабильно во времени. ВАЖНЫЕ НАСТРОЙКИ/КОЛИЧЕСТВА: — Настоятельно рекомендуется использовать точность q5, q6, q8 или 16 бит ИЛИ Imatrix IQ3_M мин. — Реп-ручка с 1,05 по 1,1. Настройки: ЧАТ / РОЛЕВАЯ И/или ПЛАВНАЯ работа этой модели: в «KoboldCpp» или «oobabooga/text-generation-webui» или «Silly Tavern»; -> если вы используете GGUF, вам нужно использовать «llama_HF» (что включает в себя загрузку некоторых файлов конфигурации из SOURCE-версии этой модели) https://huggingface.co/collections/DavidAU/d-au-source-files-for-gguf-exl2-awq-gptq-hqq-etc-etc-66b55cb8ba25f914cbf210be — увеличьте количество повторений до от 1,1 до 1,15 (вам не нужно этого делать, если вы используете «smoothing_factor») — если интерфейс/программа, которую вы используете для запуска AI MODELS, поддерживает «квадратическую выборку» («сглаживание»), просто сделайте…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: DavidAU
Теги: lfm2, unsloth, finetune, All use cases, bfloat16, creative, creative writing, fiction writing
Лайков: 9 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
