Goldfish — это набор одноязычных языковых моделей, подготовленных для 350 языков. Эта модель представляет собой модель удмуртского языка (кириллица), обученную на 51 МБ данных (все наши данные на языке) с учетом расчетной надбавки в байтах 1,74; Для кодирования соответствующего по содержанию текста на удмуртском языке требуется в среднем в 1,74 раза больше байтов UTF-8, чем на английском языке. Модели «Золотая рыбка» обучаются в первую очередь для обеспечения сопоставимости между языками и языками с ограниченными ресурсами; Производительность Goldfish для языков с высокими ресурсами не рассчитана на сравнение с современными моделями больших языков (LLM). Все подробности обучения и гиперпараметров можно найти в нашей статье «Золотая рыбка: одноязычные языковые модели для 350 языков» (Chang et al., 2024). Обучающий код и пример использования: https://github.com/tylerachang/goldfish. Чтобы программно получить доступ ко всем сведениям о модели Goldfish, см. https://github.com/tylerachang/goldfish/blob/main/model_details.json. Все модели обучаются с добавлением токена [CLS] (так же, как [BOS]) и последовательностей, разделяющих токен [SEP] (то же, что и [EOS]). Для достижения наилучших результатов убедитесь, что [CLS] добавлен к вашей входной последовательности (см. пример использования, приведенный выше)! Подробности конкретно по этой модели: Архитектура: gpt2…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: goldfish-models
Теги: gpt2, goldfish, udm, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 8
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
