Слияние с использованием специального алгоритма (NearSwap): — 152334H/miqu-1-70b-sf — Sao10K/WinterGoddess-1.4x-70B-L2 NearSwap сохраняет большую часть весов базовой модели (Miqu), но если вес между ними аналогичен, он интерполируется до значения вторичной модели (WinterGoddess). Параметр t определяет порог сходства. Когда расстояние между двумя значениями меньше t, используется вес вторичной модели (WinterGoddess). В этой версии модели используется t = 0,001. На данный момент около 10% весов полностью перешли на WinterGoddess. Качество модели быстро ухудшается выше t = 0,0025: — t = 0,0001 (полная замена ~0,8%): QuartetAnemoi-70B-t0,0001 — t = 0,0003 (полная замена ~2%) — t = 0,001 (полная замена ~10%): эта модель — t = 0,0025 (полная замена ~18%): генерирует один абзац нормально, но потом возвращается в мусор — t = 0,005 (~35% полной замены): Мусор; списки полусвязанных слов — t = 0,01 (~55% полной замены): Мусор; Вывод псевдослучайных токенов Поскольку окончательное происхождение Miqu в настоящее время неизвестно, вне всяких догадок, эта модель предназначена только для некоммерческого исследовательского использования.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: alchemonaut
Теги: llama, merge, model-index, text-generation-inference, endpoints_compatible
Лайков: 5 | Загрузок: 75
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
