Это новый «Llama-3.2-3B-Instruct», максимальный контекст 131 000 (128 КБ) с набором данных NEO IMATRIX Science Fiction and Story. Мощность этого 3B (для его размера) откровенно ошеломляет… и составляет 90 токенов в секунду + на графическом процессоре. Эта модель пуленепробиваемая и работает со всеми параметрами, включая настройки температуры от 0 до 5. Для расширения творческих возможностей к ней был применен набор данных NEO IMATRIX V2. (см. несколько примеров ниже) Это модель LLAMA 3.2, для нее требуется шаблон Llama3, но она может работать с другими шаблонами и имеет максимальный контекст 128 КБ. Если вы используете шаблон «Command-R», ваш результат будет сильно отличаться от использования шаблона «Llama3». { «name»: «Llama 3», «inferenceparams»: { «inputprefix»: «usernn», «inputsuffix»: «assistantnn», «preprompt»: «Вы полезный, умный, добрый и эффективный ИИ-помощник. Вы всегда выполняете запросы пользователя в меру своих возможностей.», «prepromptprefix»: «systemnn», «prepromptsuffix»: «», «antiprompt»: [ «», «» ] } } Дополнительную информацию о работе см. на оригинальной карточке модели этой модели от Meta-Llama. Кванты Imatrix лучше всего работают на IQ3 и IQ4, затем на Q4, ниже на Q5 и снижаются на Q6. Рекомендую: IQ4_XS для…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: DavidAU
Теги: gguf, creative, creative writing, fiction writing, plot generation, sub-plot generation, story generation, scene continue
Лайков: 12 | Загрузок: 1,126
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
