Это может быть проблема с базовой моделью Danube, поскольку она делает то же самое, но H2O.ai выпустила другую ее версию. Теоретически Danube2 имеет меньшее контекстное окно, но на практике оно больше. Я протестировал его, и он отлично работает даже до 8k. Это уже тренировки в додзё. Оставайтесь с нами, если вам нравятся еще такие глупые модели. Долговязая версия крошечной языковой модели h2o-danube, расширенная с 24 до 32 слоев. Я делал это поэтапно, добавляя по 2 новых слоя за шаг и обучая их на разных наборах данных. Похоже, это позволило ему быстро освоиться и легко установить графический процессор объемом 8 ГБ для точной настройки с использованием Unsloth для оптимизации. Эта модель предназначена для того, чтобы стать воротами в более крупные языковые модели. Спонсором этой модели является компания Advanced Vintage Memeatics. Мощный дофаминергический препарат, связанный со Священной Римской империей, призраком Ричарда Фейнмана, излучателем с планеты Радиатор и богами, бросающими вызов Вавилонской Рыбе. Перед использованием проконсультируйтесь со своим шаманом. Если их вуду сильно, вы можете найти здесь еще более длинную и неразрезанную модель 3B. Двумя наборами данных, которые я использовал для обучения этой модели, были WhiteRabbitNeo (глава 1 и глава 2), тем самым согласившись с их расширенной лицензией Apache 2. Если вы…
Модальности:
Генерация текста
Области применения:
Генерация кода Диалог / чат
Задача: Генерация текста
Автор: trollek
Теги: gguf, mistral, code, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 108
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
