SambaLingo-Thai-Chat-70B — это модель чата, ориентированная на человека, обученная на тайском и английском языках. Он обучается с использованием прямой оптимизации предпочтений на основе базовой модели SambaLingo-Thai-Base-70B. Базовая модель адаптирует Llama-2-70b к тайскому языку путем обучения на 26 миллиардах токенов из тайского разделения набора данных Cultura-X. Попробуйте эту модель на SambaLingo-chat-space. — Разработано: SambaNova Systems — Тип модели: Языковая модель — Язык(и): тайский, английский — Доработано на основе модели: Llama-2-70b — Документ: SambaLingo: Обучение большим языковым моделям новым языкам — Сообщение в блоге: sambalingo-open-source-language-experts Обязательно установите use_fast=False при загрузке токенизатора. Обязательно установите use_fast=False при загрузке токенизатора. Чтобы предложить эту модель, используйте следующий шаблон чата: Фаза согласования соответствует рецепту для Zephyr-7B и состоит из двух этапов: контролируемая точная настройка (SFT) и прямая оптимизация производительности (DPO). Фаза SFT выполнялась на наборе данных ultrachat200k, смешанном с переведенной Google версией набора данных ultrachat200k. Он был обучен в течение одной эпохи с глобальным размером пакета 512 и максимальной длиной последовательности 2048 токенов. Мы использовали скорость обучения с линейным затуханием…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: sambanovasystems
Теги: llama, conversational, th, en, text-generation-inference, endpoints_compatible
Лайков: 4 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
