Квантованные файлы модели GGUF для TinyLlama-1.1B-Chat-v0.6 от TinyLlama Целью проекта TinyLlama является предварительное обучение модели 1.1B Llama на 3 триллионах токенов. При правильной оптимизации мы можем достичь этого «всего» за 90 дней, используя 16 графических процессоров A100-40G 🚀🚀. Обучение началось 01.09.2023. Мы использовали ту же архитектуру и токенизатор, что и Llama 2. Это означает, что TinyLlama можно подключать и использовать во многих проектах с открытым исходным кодом, созданных на основе Llama. Кроме того, TinyLlama компактна и имеет всего 1,1 млрд параметров. Эта компактность позволяет ему обслуживать множество приложений, требующих ограниченного объема вычислений и памяти. Это модель чата, настроенная поверх TinyLlama/TinyLlama-1.1B-intermediate-step-955k-2T. Мы следуем тренировочному рецепту Зефира HF. Модель «изначально была доработана на варианте набора данных UltraChat, который содержит разнообразный набор синтетических диалогов, сгенерированных ChatGPT. Затем мы дополнительно согласовали модель с 🤗 DPOTrainer TRL на наборе данных openbmb/UltraFeedback, который содержит 64 тыс. подсказок и завершений модели, которые ранжируются по GPT-4». Вам понадобятся трансформаторы >=4.34. Для получения дополнительной информации посетите страницу Github TinyLlama.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: afrideva
Теги: gguf, ggml, quantized, q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k
Лайков: 11 | Загрузок: 264
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
