Эта модель была построена на основе базовой модели SmolLM-1.7B с использованием комбинации непрерывного предварительного обучения (CPT), контролируемой точной настройки (SFT) и DPO. !image/png Модель была обучена на общедоступных наборах данных и корпусе из около 5000 научных статей в области биоматериалов. На этапе CPT используется необработанный текст всех статей. Во время SFT и ORPO модели отображается высококачественное сочетание пар вопрос-ответ и тройек вопрос-ответ-отклонено соответственно, а также другие наборы данных для обучения модели инструкциям и взаимодействию в чате. В модели используется шаблон ChatML (с токеном завершения): Какая интересная тема! Как ученый-материаловед, меня всегда заинтриговало взаимодействие коллагена, повсеместного белка в биологических системах, и древней стратегической игры «Игра в бисер». На первый взгляд коллаген и игра в бисер могут показаться совершенно разными понятиями. Коллаген — это структурный белок, содержащийся в соединительных тканях, обеспечивающий прочность, гибкость и поддержку различных биологических структур. Напротив, «Игра в бисер» — это стратегическая настольная игра, родом из древней Месопотамии,…
Модальности:
Генерация текста Компьютерное зрение
Области применения:
Генерация кода Диалог / чат Биология Химия Следование инструкциям
Задача: Генерация текста
Автор: lamm-mit
Теги: llama, nlp, code, vision, chemistry, engineering, biology, bio-inspired
Лайков: 5 | Загрузок: 24
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
