1. Краткое описание модели 2. Ограничения 3. Обучение 4. Лицензия 5. Цитирование SmolLM — это серия современных малых языковых моделей, доступных в трех размерах: параметры 135M, 360M и 1,7B. Эти модели созданы на основе Cosmo-Corpus — тщательно подобранного высококачественного набора обучающих данных. Cosmo-Corpus включает Cosmopedia v2 (28 миллиардов токенов синтетических учебников и рассказов, сгенерированных Mixtral), Python-Edu (4 миллиарда токенов образовательных образцов Python из The Stack) и FineWeb-Edu (220 миллиардов токенов дедуплицированных образовательных веб-образцов из FineWeb). Модели SmolLM показали многообещающие результаты по сравнению с другими моделями в своих категориях размеров в различных тестах, проверяющих здравый смысл и мировые знания. Подробную информацию об обучении, тестах и производительности можно найти в полной версии нашего блога. импортировать факел из трансформаторов import AutoTokenizer, AutoModelForCausalLM checkpoint = «HuggingFaceTB/SmolLM-360M» tokenizer = AutoTokenizer.from_pretrained(checkpoint) model = AutoModelForCausalLM.frompretrained(checkpoint, devicemap=»auto», torchdtype=torch.bfloat16) inputs = tokenizer.encode(«def printhelloworld():», returntensors=»pt»).to(«cuda») выводит =…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: HuggingFaceTB
Теги: onnx, llama, en, text-generation-inference, endpoints_compatible
Лайков: 70 | Загрузок: 32,946
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
