В Azurro мы последовательно придаем большое значение использованию технологий с открытым исходным кодом как в работе над проектами, так и в повседневной жизни. Мы решили поделиться обученной нами базовой языковой моделью. Мы уверены, что меньшие языковые модели имеют большой потенциал, а прямой доступ к ним для всех людей, заинтересованных в таких моделях, еще больше демократизирует эту важную и динамично меняющуюся область. Обучение больших языковых моделей требует больших вычислительных мощностей и предназначено для крупных игроков рынка. Однако означает ли это, что отдельные лица или небольшие компании не могут обучать языковые модели, способные выполнять конкретные задачи? Мы решили ответить на этот вопрос и с нуля обучить собственную языковую модель. Мы сделали следующие заявления: мы используем 1 потребительскую графическую карту; мы обучаем модель только с помощью польского корпуса; * мы используем вручную отобранные тексты высокого качества для обучения модели. Почему мы сделали такие заявления? Стоит отметить, что обучение модели требует в несколько раз больше ресурсов, чем ее использование. Проще говоря, можно предположить, что она примерно в 3-4 раза больше. Поэтому, если модель можно запустить с видеокартой с 6…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Azurro
Теги: llama, ALLaMo, pl, text-generation-inference
Лайков: 4 | Загрузок: 11
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
