В Azurro мы последовательно придаем большое значение использованию технологий с открытым исходным кодом как в работе над проектами, так и в повседневной жизни. Мы решили поделиться обученной нами базовой языковой моделью. Мы уверены, что меньшие языковые модели имеют большой потенциал, а прямой доступ к ним для всех людей, заинтересованных в таких моделях, еще больше демократизирует эту важную и динамично меняющуюся область. Обучение больших языковых моделей требует больших вычислительных мощностей и предназначено для крупных игроков рынка. Однако означает ли это, что отдельные лица или небольшие компании не могут обучать языковые модели, способные выполнять конкретные задачи? Мы решили ответить на этот вопрос и с нуля обучить собственную языковую модель. мы используем 1 потребительскую графическую карту. Мы обучаем модель только с помощью польского корпуса. * Для обучения модели мы используем вручную отобранные тексты высокого качества. Почему мы сделали такие заявления? Стоит отметить, что обучение модели требует в несколько раз больше ресурсов, чем ее использование. Проще говоря, можно предположить, что она примерно в 3-4 раза больше. Следовательно, если модель можно запустить с графической картой с 6 ГБ видеопамяти, то обучение этой модели…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Azurro
Теги: llama, ALLaMo, pl, text-generation-inference
Лайков: 14 | Загрузок: 2,396
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
