polka-1.1b использует модель TinyLlama-1.1B и совершенствует ее, продолжая предварительное обучение на дополнительных 5,7 миллиардах польских токенов, полученных в основном из набора данных MADLAD-400. Токены были отобраны в соотношении 10:1 между польскими и английскими шардами с использованием DSIR. Кроме того, Polka расширяет словарь токенизатора TinyLlama до 43 882 токенов, повышая его эффективность при генерации польского текста. Обучение заняло 680 часов использования графического процессора на одной машине с 8 процессорами RTX 4090 и DeepSpeed ZeRO-2. Эта базовая модель изначально была разработана как основа для настройки инструкций, результатом которой стал polka-1.1b-chat. Тем не менее, я делюсь им с сообществом, потому что вижу потенциальную ценность в сочетании относительно хорошей производительности и эффективного двуязычного токенизатора. Модель способна воспроизводить связный польский текст, но из-за своего размера у нее могут возникнуть галлюцинации. ModelPerplexity Английские модели мета-лама/Llama-2-7b-hf24.3 мета-лама/Llama-2-13b-hf21.4 mistralai/Mistral-7B-v0.121.4 TinyLlama/TinyLlama-1.1B40.4 Польские модели sdadas/polish-gpt2-small134.4 sdadas/польский-gpt2-medium100.8 sdadas/польский-gpt2-large93.2 sdadas/польский-gpt2-xl94.1 Azurro/APT3-275M-Base129.8…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: eryk-mazus
Теги: llama, pl, en, text-generation-inference, endpoints_compatible
Лайков: 8 | Загрузок: 634
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
