Для тех, кто заинтересован в создании приложений НЛП для эстонского языка: Llammas 🐑 больше не является лучшей доступной для него моделью с открытым весом. Подробное сравнение открытых программ LLM по эстонскому языку можно найти в нашей недавней статье. Для получения актуальной таблицы лидеров как проприетарных, так и открытых моделей посетите baromeeter.tartunlp.ai (и рассмотрите возможность внести свой вклад, если вы говорите по-эстонски ☺️). Инструкция Llama-2-7B настроена на эстонский язык в два этапа: 1. Продолжение предварительного обучения: 5B токенов CulturaX с 75% документов на эстонском языке и 25% на английском языке (см. базу Llammas), 2. Настройка инструкций: очистка Alpaca, Alpaca-est, разговоры на английском языке OASST1 top-1, CoT и FLAN-V2 после открытых инструкций (обе 10 000), данные о разработке англо-эстонского перевода WMT18 (в виде документов), общие англо-эстонские данные проверки MTee. Alpaca-est — это набор данных инструкций, созданный для эстонского языка с помощью gpt-3.5-turbo-0613 в соответствии с Alpaca. Подробности в нашей статье. Дополнительные ресурсы: Документ: https://aclanthology.org/2024.findings-naacl.210/ Код: github.com/TartuNLP/llammas Базовая модель: tartuNLP/Llammas-base 4-битная квантованная модель в GGUF: AlbertUnn/LlammasGGUF * Набор данных Alpaca-est: github.com/TartuNLP/alpaca-est Использование…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: tartuNLP
Теги: llama, conversational, et, en, eval-results, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 527
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
