jeff31415/TinyLlama-1.1B-1.5T-OpenOrca-Alpha - Каталог нейросетей
Генерация текста

jeff31415/TinyLlama-1.1B-1.5T-OpenOrca-Alpha

Добавлено:
jeff31415/TinyLlama-1.1B-1.5T-OpenOrca-Alpha

https://huggingface.co/TinyLlama/tinyLlama-intermediate-checkpoints/tree/step-720k-token-1510B Эта тонкая настройка была выполнена на «ранней» версии tinyllama-1.5T, в которой имеется ошибка при обработке набора данных. См. https://github.com/jzhang38/TinyLlama/issues/67. Несмотря на то, что он страдает от сбоя, его производительность, похоже, не пострадала и все еще демонстрирует улучшение (необходимы метрики). Точная настройка на подмножестве OpenOrca GPT4 для 1 эпохи. Использование формата CHATML. Формат GGUF: https://huggingface.co/s3nh/jeff31415-TinyLlama-1.1B-1.5T-OpenOrca-Alpha-GGUF. Аппаратное обеспечение: 1 * RTX. A5000, ~16 часов на прохождение 1 эпохи. Графический процессор с autodl.com стоит около 3 долларов за эту тонкую настройку. https://wandb.ai/jeff200402/TinyLlama-1.5T-alpha-Orca?workspace= для более подробной информации.

Модальности:
Генерация текста


Задача: Генерация текста
Автор: jeff31415
Теги: llama, en, text-generation-inference, endpoints_compatible
Лайков: 4  |  Загрузок: 49

Открыть на HuggingFace →

Описание основано на материалах HuggingFace. Перевод выполнен автоматически.