Квантование осуществлялось в кастомной ветке autoawq. Гиперпараметры для квантования следующие. Это сработало с использованием vllm. Он может не работать с другими платформами, поскольку они не были протестированы. Представляем KULLM3, модель с расширенными возможностями выполнения инструкций и возможностью свободного общения в чате. Он показал замечательную производительность в следовании инструкциям, особенно благодаря точному следованию gpt-3.5-turbo. Насколько нам известно, это одна из лучших публично открытых моделей корейского языка. Это карточка модели трансформера 🤗, которая была размещена на Хабе. — Разработано: NLP&AI Lab — Язык(и) (NLP): корейский, английский — Лицензия: CC-BY-NC 4.0 — Точная настройка на основе модели: upstage/SOLAR-10.7B-Instruct-v1.0 — В преобразователях>=4.39.0 функция генерации() работает некорректно. (по состоянию на 2024.4.4.) — vicgalle/alpaca-gpt4 — Смешанные данные корейских инструкций (сгенерированные gpt, созданные вручную и т. д.) — Всего использовано около 66000+ примеров — Детали оценки, такие как данные тестирования, метрики, записаны в github. — Без системной подсказки, используемой на этапе обучения, KULLM будет показывать более низкую производительность, чем ожидалось.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: taeminlee
Теги: llama, conversational, en, ko, text-generation-inference, endpoints_compatible, 4-bit, awq
Лайков: 7 | Загрузок: 6
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
