Эта модель представляет собой llama-3-8b-instruct от Meta (загруженную unsloth), обученную на полном наборе данных Codefeedback из 65 000 + дополнительном наборе данных 150 000 отфильтрованных инструкций с обратной связью по коду вместе взятых. Вы можете найти этот набор данных по ссылке ниже. Эта модель ИИ была обучена с помощью нового метода Qalore, разработанного моим хорошим другом в Discord и коллегой по Replete-AI из Walmartbag. Метод Qalore использует обучение Qlora вместе с методами Galore для дополнительного сокращения видеопамяти, позволяя загружать llama-3-8b в 14,5 ГБ видеопамяти. Это позволило пройти обучение на RTX A4000 16 ГБ за 130 часов менее чем за 20 долларов. — https://colab.research.google.com/drive/1bX4BsjLcdNJnoAf7lGXmWOgaY8yekg8p?usp=sharing
Модальности:
Генерация текста
Области применения:
Диалог / чат Генерация кода Следование инструкциям
Задача: Генерация текста
Автор: rombodawg
Теги: llama, text-generation-inference, unsloth, trl, sft, conversational, en, endpoints_compatible
Лайков: 54 | Загрузок: 26
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
