🚨 ЭТО БАЗОВАЯ МОДЕЛЬ. РАССМОТРИТЕ ИСПОЛЬЗОВАНИЕ Krikri 8B Instruct ДЛЯ ПРИЛОЖЕНИЙ В ЧАТЕ 🚨 После выпуска Meltemi-7B 26 марта 2024 года мы рады приветствовать Krikri в семье открытых греческих программ LLM ILSP. Крикри построен на базе Llama-3.1-8B и расширяет свои возможности для греческого языка за счет постоянной предварительной подготовки на большом корпусе высококачественных и местных греческих текстов. Мы представляем Llama-Krikri-8B-Base, а также инструктирующую версию Llama-Krikri-8B-Instruct. — Расширение словарного запаса токенизатора Llama-3.1 греческими токенами — Длина контекста 128 тыс. (около 80 000 греческих слов) — Мы расширяем предварительную подготовку Llama-3.1-8B, добавляя дополнительные знания греческого языка, используя большой обучающий корпус. Этот корпус включает 56,7 миллиардов одноязычных греческих токенов, созданных на основе общедоступных ресурсов. Кроме того, чтобы смягчить катастрофическое забывание и обеспечить двуязычность модели, мы используем дополнительные субкорпуса с одноязычными английскими текстами (21 миллиард токенов) и параллельными греко-английскими данными (5,5 миллиарда токенов). Учебный корпус также содержит 7,8 миллиардов математических и кодовых жетонов. Этот корпус был обработан, отфильтрован и…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: ilsp
Теги: llama, text-generation-inference, conversational, el, en, endpoints_compatible
Лайков: 21 | Загрузок: 699
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
