В Azurro мы постоянно придаем большое значение использованию технологий с открытым исходным кодом, как при работе над проектами, так и в повседневной жизни. Мы решили поделиться базовой языковой моделью, обученной нами. Мы уверены, что небольшие языковые модели имеют большой потенциал, и прямой доступ к ним для всех людей, которые заинтересованы в таких моделях, еще больше демократизирует эту значимую и динамично меняющуюся область. Обучение большим языковым моделям требует больших вычислительных мощностей и предназначено для крупных игроков рынка. Однако означает ли это, что отдельные лица или небольшие компании не могут обучать языковые модели, способные выполнять конкретные задачи? Мы решили ответить на этот вопрос и обучить собственную языковую модель с нуля. Мы сделали следующие заявления: мы используем 1 потребительскую видеокарту, мы обучаем модель только с польским корпусом *, мы используем вручную подобранные высококачественные тексты для обучения модели. Почему мы сделали такие заявления? Стоит отметить, что обучение модели требует в несколько раз больше ресурсов, чем ее использование. Проще говоря, можно предположить, что это примерно в 3-4 раза больше. Поэтому, если модель может быть запущена с графической картой, которая имеет 6…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Azurro
Теги: llama, ALLaMo, pl, text-generation-inference
Лайков: 3 | Загрузок: 395
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
