Мы разработали и выпустили семейство llama3-s. Эта семья изначально понимает аудио и текстовый ввод. Мы продолжаем расширять Meta-Llama-3-8B-Instruct возможностями понимания звука, используя набор данных Instruction Speech v1 из 700 миллионов токенов. Варианты предполагаемого использования Это семейство в первую очередь предназначено для исследовательских приложений. Эта версия направлена на дальнейшее улучшение LLM по возможностям понимания звука. За пределами области применения Использование llama3-s любым способом, нарушающим применимые законы и правила, строго запрещено. Изображение показателей обучения: ниже представлен снимок кривой потерь при обучении. Конфигурация графического процессора: кластер из 8x NVIDIA H100-SXM-80GB. Использование графического процессора: — Постоянное обучение: 8 часов. Несмотря на недостаточную подготовку, модель демонстрирует новое понимание семантики звука и текста.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Menlo
Теги: llama, sound language model, conversational, en, text-generation-inference, endpoints_compatible
Лайков: 10 | Загрузок: 15
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
