Что это такое? Лама 2 13b в некоторых областях расширилась до размеров модели Ламы 1 33b, а пустое окружающее пространство было заполнено данными Ламы 33b. (Базовая модель: https://huggingface.co/chargoddard/llama2-22b-blocktriangular). Затем это настраивается на 3090 путем создания больших лорас и их объединения. Когда я впервые начал работать с моделями 22b, я искал признаки передачи знаний, но не увидел их, так что это не цель — цель состоит в том, чтобы просто передать в нее много данных, пока она не адаптируется хорошо к своим хирургически имплантированным частям. Используемые наборы данных представляют собой смесь инструкций, ролевых игр и разговорных данных, часто тщательно подобранных. Продолжение https://huggingface.co/nkpz/llama2-22b-daydreamer-v2 Дали ему эпоху https://huggingface.co/datasets/jondurbin/airoboros-gpt4-1.4.1-mpt, которую он никогда раньше не видел — он видел только Airoboros 2.0. Я исключил все строки кодирования из этого набора данных — по моему мнению, для этого лучше подойдет специальная модель. Я хотел, чтобы основное внимание уделялось хорошим ответам на английском языке. Я подумал, что это довольно хорошее улучшение. Его способность разыгрывать ролевые игры и имитировать стили речи улучшилась, и я чувствую, что он все еще оттачивает свои навыки решения проблем. Его стиль вывода именно такой, какой я хочу — сухой и…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nkpz
Теги: llama, text-generation-inference, endpoints_compatible
Лайков: 11 | Загрузок: 1,011
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
