Модель представляет собой настроенный с помощью инструкций вариант rinna/gemma-2-baku-2b, использующий вектор чата и оптимизацию предпочтений соотношения шансов (ORPO) для точной настройки. Он соответствует формату чата gemma-2. 26-слойная языковая модель на основе преобразователя скрытого размера с 2304 уровнями. Подробную информацию об архитектуре модели можно найти в карточке модели Gemma 2. Объединение моделей. Базовая модель была наделена возможностями следования инструкциям посредством процесса сложения векторов чата. Вектор чата был получен путем вычитания векторов параметров google/gemma-2-2b из google/gemma-2-2b-it следующим образом. ~~~~text rinna/gemma-2-baku-2b + 1.0 * (google/gemma-2-2b-it — google/gemma-2-2b) ~~~~ Во время этого процесса слой внедрения был исключен во время вычитания и сложения векторов параметров. ORPO был применен с использованием подмножества следующего набора данных для дальнейшего улучшения производительности объединенной модели. ~~~~python из импорта трансформаторов AutoTokenizer, AutoModelForCausalLM import torch model_id = «rinna/gemma-2-baku-2b-it» dtype = torch.bfloat16 tokenizer = AutoTokenizer.frompretrained(modelid) model = AutoModelForCausalLM.frompretrained( modelid, devicemap=»cuda», torchdtype=dtype,…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: rinna
Теги: gemma2, conversational, ja, text-generation-inference, endpoints_compatible
Лайков: 30 | Загрузок: 62
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
