Он был квантован до 4 бит с использованием: https://github.com/turboderp/exllamav2.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: TigerResearch
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Оптимизация предпочтений самостоятельного воспроизведения для согласования языковой модели (https://arxiv.org/abs/2405.00675) Эта модель была разработана с использованием оптимизации предпочтений самостоятельного...
О боже, новая модель архитектуры в Трансформерах! Пора заняться с ним нечестивыми вещами. Что, если вместо обучения МО...
Это нецензурированная версия модели OpenAi 20B, дополненная Brainstorm 20x от DavidAU. Он имеет 820 тензоров, 43 слоя и...
Или вы можете просмотреть более подробную инструкцию здесь: unsloth.ai/blog/deepseekr1-dynamic 1. Не забывайте про и токены! — Или используйте...
