Мы разработали и выпустили семейство lamama3. Эта семья изначально понимает аудио и текстовый ввод. Мы продолжаем расширять нашу последнюю контрольную точку jan-hq/Jan-Llama3s-0708 с помощью 1,3 млрд токенов из набора данных Instruction Speech v1.5. Варианты предполагаемого использования Это семейство в первую очередь предназначено для исследовательских приложений. Эта версия направлена на дальнейшее улучшение LLM по возможностям понимания звука. За пределами области применения Использование llama3-s любым способом, нарушающим применимые законы и правила, строго запрещено. Изображение показателей обучения: ниже представлен снимок кривой потерь при обучении. Конфигурация графического процессора: кластер из 8x NVIDIA H100-SXM-80GB. Использование графического процессора: — Постоянное обучение: 14 часов. После более длительного обучения модель начала лучше понимать семантику звука и текста.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Menlo
Теги: llama, sound language model, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 18 | Загрузок: 7
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
