1. Краткое описание модели 2. Ограничения 3. Обучение 4. Лицензия 5. Цитирование SmolLM — это серия современных малых языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Эти модели построены на Cosmo-Corpus, тщательно подобранном высококачественном наборе обучающих данных. Cosmo-Corpus включает Cosmopedia v2 (28 миллиардов токенов синтетических учебников и рассказов, сгенерированных Mixtral), Python-Edu (4 миллиарда токенов образовательных образцов Python из The Stack) и FineWeb-Edu (220 миллиардов токенов дедуплицированных образовательных веб-образцов из FineWeb). Модели SmolLM показали многообещающие результаты по сравнению с другими моделями в своих категориях размеров в различных тестах, проверяющих здравый смысл и мировые знания. Подробную информацию об обучении, тестах и производительности можно найти в полной версии нашего блога. Хотя модели SmolLM были обучены на разнообразном наборе данных, включая образовательный контент и синтетические тексты, у них есть ограничения. Модели в основном понимают и генерируют контент на английском языке. Они могут создавать тексты на самые разные темы, но сгенерированный контент не всегда может быть фактически точным, логически последовательным или свободным от предвзятости, присутствующей в обучающих данных…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: onnx, llama, en, text-generation-inference, endpoints_compatible
Лайков: 251 | Загрузок: 165,684
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
