— Кванты 2.25bpw6h (протестированы и работают на одном RTX 3090 24 ГБ с длиной контекста 16 КБ) — Кванты 4.0bpw8h (протестированы и работают на двух процессорах 3090 с контекстом/кэшем 32 КБ) — Кванты 4.4bpw8h (протестированы и работают на двух процессорах 3090 с контекстом 32 КБ и кешем Q4 64 КБ) (для CFG или параллелизма) с tabbyAPI) Все тесты проводились на автономном экземпляре Linux без активной среды рабочего стола для максимизации VRAM. Это первая из серии моделей, призванных воспроизвести прозаическое качество моделей Claude 3, в частности Sonnet и Opus. Эта модель доработана на базе Qwen-2 72B Instruct. Модель была настроена с учетом форматирования ChatML. Типичный запрос будет выглядеть так: — Sao10K за помощь (и очистку!) набора данных. — альпиндейл для обучения. — kalomaze за помощь в настройке гиперпараметра. — Другим людям за их постоянную помощь при настройке параметров и возобновлении неудачных запусков. В произвольном порядке: Доктор Шотган, Люси, Нопм, Манго и остальные Глупые Тилли. И последнее, но не менее важное: мы хотели бы поблагодарить Кирма за спонсирование вычислений, необходимых для обучения этой модели. Обучение проводилось с использованием 55 миллионов токенов высококачественных данных RP за 1,5 эпохи. Мы использовали…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: heni86
Теги: qwen2, chat, conversational, en, zh, endpoints_compatible
Лайков: 4 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
