Как человек с ограниченным доступом и вычислительными возможностями, я задавался вопросом, смогу ли я какое-то время построить достойную модель большого языка. Поскольку крупные мегакорпорации сосредоточены на создании все более и более крупных моделей, я стремлюсь к уменьшению! В результате я поставил следующие цели для предварительного обучения модели 300M Llama со следующими ограничениями: 1. Мой общий бюджет составляет 500 долларов. 2. Необходимо предварительно обучить LLM с нуля, используя набор данных и модель с полностью открытым исходным кодом. 3. Не разрешено производить точную настройку модели или использовать другой LLM, например GPT-4, для создания каких-либо обучающих данных. Этот проект в значительной степени основан на TinyLlama, замечательном проекте с открытым исходным кодом, предназначенном для предварительного обучения модели Llama 1.1.1B на токенах 1T. Этот проект находится в стадии разработки. В настоящее время я потратил 280 долларов США на вычисления с использованием 4 видеокарт Nvidia 4090 на Vast.ai и 3 доллара США на хранилище AWS S3 после 4 дней обучения модели 300M Llama с 50B токенами. Я модифицировал TinyLlama для поддержки следующих функций (я выпущу свою раздвоенную версию исходного кода после некоторой очистки): 1. Предварительно обучить модель меньшего размера 300M на Slimpajama. 2. Удалить данные Starcoder, чтобы моя модель могла сосредоточиться на Slimpajama. Это также означает, что моя модель, вероятно, не сможет кодировать без…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: keeeeenw
Теги: llama, en, model-index, text-generation-inference, endpoints_compatible
Лайков: 53 | Загрузок: 388
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
