— 20.09.2024 — Наша статья принята в EMNLP’24. — 12 марта 2024 г. — Мы выпускаем Qwen2idae-16x14B-v1.0 для 🤗 HuggingFace, который показывает высокие результаты в математике и кодировании с активированными параметрами 15B. — 07.02.2024 — Serp-ai добавляет поддержку unsloth для более быстрого и эффективного обучения нашему параметрически эффективному разреженному крафтингу и выпускает новые разреженные модели на основе мистраля-7B. — 10.01.2024 — Модели Camelidae теперь доступны на 🤗 HuggingFace. — 04.01.2024 г. — Мы выпускаем статью «Параметрически эффективное создание разреженности от плотного к смешанному экспертному составу для настройки инструкций для общих задач». — 22.12.2023 — Мы выпускаем обучающий репозиторий, в котором создается плотная модель с архитектурой LLaMA для модели MoE. Модели Camelidae и Qwen2idae обучаются с использованием методов создания разреженности с эффективным использованием параметров. Мы представляем метод создания с эффективным использованием параметров разреженности, чтобы помочь плотным моделям изучать знания из различных областей (включая код и математику). Этот подход выполняет настройку инструкций и эффективно использует структуру MoE. В частности, в технологии разреженности с эффективным использованием параметров используются методы с эффективным использованием параметров, включая QLoRA и адаптер, для выполнения эффективного разреженного обновления. Верблюдовые-8x7B | 🤗…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: hywu
Теги: camelidae, custom_code, en, endpoints_compatible
Лайков: 29 | Загрузок: 1,868
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
