Предполагаемое использование — в качестве эскизной модели Llama-3-70B-Instruct. Для этой цели подойдет Llama3-8B-Instruct, но он более тяжел для черчения. Вторая цель — изучить возможность замены словаря либо для адаптации небольших моделей, таких как Qwen2-0.5b, для создания черновиков для других моделей, либо для обеспечения совместимости между несходными языковыми моделями в целом. Вывод по этому поводу таков: метод работает, но, поскольку требуется тонкая настройка, для более крупных моделей он будет дорогостоящим. Было бы интересно изучить в качестве альтернативы низкоранговую или квантованную точную настройку. Словарь был заменен путем создания нового слоя внедрения (исходная модель использует связанные внедрения, поэтому выходной уровень тот же) и его инициализации следующим образом: — каждый токен L3, который точно соответствует токену Qwen2, инициализируется с соответствующим внедрением — каждый токен L3, который декодирует и перекодирует в несколько токенов Qwen2, инициализируется средним значением этих внедрений — не существует токенов L3, которые нельзя преобразовать в один или больше токенов Qwen2 (оба словаря заполнены). Замена словаря с помощью описанного выше метода дает в основном связную, но все же очень запутанную модель.…
Модальности:
Генерация текста
Области применения:
Диалог / чат Следование инструкциям
Задача: Генерация текста
Автор: turboderp
Теги: qwen2, conversational, text-generation-inference, endpoints_compatible
Лайков: 17 | Загрузок: 38
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
