AI 와 빅데이터 분석 전문 기업인 Linkbricks의 데이터사이언티스트인 지윤성(Saxo) 이사가 мета-лама/Llama-3.2-3B-Instruct 베이스모델을 사용해서 H100-80G 8개를 통해 CPT (продолжение предварительной подготовки) 한 한글 언어 모델 5 дней в году, когда вы хотите, чтобы это произошло с 35% на 35%. 튜닝한 한글 기본 모델로 SFT, DPO 를 통해 용도에 맞게 튜닝하면 됩니다. -토크나이저는 확장 없이 베이스 모델을 그대로 사용 -128k-Context Window -한글 Вызов функции 및 Вызов инструмента 지원 -Deepspeed Stage=3, rslora 및 BAdam Layer Mode 사용 Доктор Юнсунг Джи (Saxo), специалист по данным из Linkbricks, компании, специализирующейся на искусственном интеллекте и анализе больших данных. Модель корейского языка CPT (продолжение предварительного обучения) с 8 H100-80G с использованием базовой модели мета-лама/Llama-3.2-3B-Instruct. Базовая модель корейского языка, в которой около 35% общих параметров перенастроены на основе различных корейских языков. корпус, включающий 50 миллионов корейских новостей, которые необходимо настроить с помощью SFT и DPO. -Tokenizer использует базовую модель без расширения слов -128k -Контекстное окно -Поддержка корейских вызовов функций и инструментов -Deepspeed Stage=3, используйте rslora и режим слоя BAdam
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: Saxo
Теги: llama, conversational, ko, en, jp, cn, text-generation-inference, endpoints_compatible
Лайков: 7 | Загрузок: 12
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
