🚨 Нет никакой гарантии, что вы используете последние улучшенные версии сторонних квантований, поскольку веса модели перезагружаются! 🚨 После выпуска Meltemi-7B 26 марта 2024 года мы рады приветствовать Крикри в семье открытых греческих программ LLM ILSP. Крикри построен на базе Llama-3.1-8B и расширяет свои возможности для греческого языка за счет постоянной предварительной подготовки на большом корпусе высококачественных и местных греческих текстов. Мы представляем Llama-Krikri-8B-Instruct вместе с базовой моделью Llama-Krikri-8B-Base. Расширение словарного запаса токенизатора Llama-3.1 греческими токенами. Длина контекста 128 тыс. (около 80 000 греческих слов). Мы расширяем предварительную подготовку Llama-3.1-8B, добавляя дополнительные знания греческого языка, используя большой учебный корпус. Этот корпус включает 56,7 миллиардов одноязычных греческих токенов, созданных на основе общедоступных ресурсов. Кроме того, чтобы смягчить катастрофическое забывание и обеспечить двуязычность модели, мы используем дополнительные субкорпуса с одноязычными английскими текстами (21 миллиард токенов) и параллельными греко-английскими данными (5,5 миллиарда токенов). Учебный корпус также содержит 7,8 миллиардов математических и…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: ilsp
Теги: gguf, text-generation-inference, el, en, endpoints_compatible, conversational
Лайков: 14 | Загрузок: 550
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
