effi 7b — это модель с 7 миллиардами параметров, созданная AI Planet. Вдохновленные ламой, мы создали усовершенствованную версию llama7b с помощью qlora. Процедура обучения и версии структуры представлены ниже вместе с весами модели. Эта модель была доработана на основе наборов данных «Цепочка мыслей», которые имеют контекст из смешанных источников с соответствующим обоснованием. Окончательно настроенная модель большого языка (LLM) продемонстрировала расширенные возможности решения новых задач за счет обоснования. — Разработчик: AI Planet — Тип модели: Только случайный декодер — Язык(и) (NLP): Английский — Лицензия: Apache 2.0 — Точная настройка на основе модели: Llama-2-7b-chat-hf Во время обучения использовалась следующая конфигурация квантования bitsandbytes: — loadin8bit: False — loadin4bit: True — llmint8threshold: 6.0 — llmint8skipmodules: нет — llmint8enablefp32cpuoffload: False — llmint8hasfp16weight: False — bnb4bitquanttype: nf4 — bnb4bitusedoublequant: True — bnb4bitcomputedtype: bfloat16
Модальности:
Генерация текста
Задача: Генерация текста
Автор: aiplanet
Теги: llama, endpoints_compatible
Лайков: 4 | Загрузок: 87
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
