Это квантование exllama V2 https://huggingface.co/Gryphe/MythoMax-L2-13b. Эта конкретная версия разработана для максимального качества за счет размера. Я заметил, что предыдущая версия 8bpw использовала небольшой битрейт для некоторых слоев и сообщала о более низком квантованном ppl, чем базовый ppl, подразумевая, что оптимизатор слоев переподгонял набор данных. В ответ я отредактировал файл Measure.json, добавив ошибку +1 ко всем битрейтам, кроме 8,13 (максимум). (Не используйте этот файл повторно для других квантов!!) Это означает, что эта версия использует лучший режим квантования 8 бит-32 ГБ для всех слоев. В выборочных тестах это вызывает чуть большее недоумение, чем 8-битная версия. Данные калибровки: https://huggingface.co/datasets/wikitext/resolve/refs%2Fconvert%2Fparquet/wikitext-2-v1/test/0000.parquet Улучшенный, потенциально даже усовершенствованный вариант MythoMix, мой MythoLogic-L2 и Huginn объединяются с использованием весьма экспериментальной техники слияния тензорного типа. Основное отличие MythoMix заключается в том, что я позволил большему количеству Huginn смешиваться с отдельными тензорами, расположенными в начале и конце модели, что привело к повышению согласованности всей структуры. Сценарий и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: QMB15
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
