Обновленная версия https://huggingface.co/tiiuae/falcon-7b-instruct для сред с низким объемом оперативной памяти (например, Colab, Kaggle) в безопасном руководстве: https://medium.com/@vilsonrodrigues/run-your-private-llm-falcon-7b-instruct-with-less-than-6gb-of-gpu-using-4-bit-quantization-ff1d4ffbabcc ——————|—————|————|————————————| Обратите внимание, что этот вариант модели не оптимизирован для тестов NLP. Falcon-7B — это модель, предназначенная только для каузального декодера, обученная задаче моделирования каузального языка (т. е. прогнозирования следующего токена). Архитектура в целом адаптирована из статьи GPT-3 (Brown et al., 2020) со следующими отличиями: позиционные вложения: поворотные (Su et al., 2021); Внимание: многозапрос (Shazeer et al., 2019) и FlashAttention (Dao et al., 2022); Декодер-блок:** параллельное внимание/MLP с однослойной нормой. Falcon-7B-Instruct прошел обучение на AWS SageMaker на 32 графических процессорах A100 40 ГБ в экземплярах P4d. Falcon-7B-Instruct прошел обучение на специальной базе распределенного обучения Gigatron. Он использует подход 3D-параллелизма в сочетании с ZeRO и высокопроизводительными ядрами Triton (FlashAttention и т. д.). Скоро появится бумага 😊. Тем временем вы можете использовать…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: vilsonrodrigues
Теги: falcon, custom_code, en, text-generation-inference, endpoints_compatible
Лайков: 26 | Загрузок: 9,263
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
