> Кенсё: светлое пробуждение, когда завеса иллюзий растворяется, раскрывая безграничную истину нашей взаимосвязанной сущности, приглашая нас в танец с бесконечностью. Это хак вокруг библиотеки pytorch + Huggingface Transformers, позволяющий оригинальному Dolphin Phi-2 вести себя так, как это было в статье Meta «MobileLLM: Оптимизация языковых моделей с субмиллиардным параметром для случаев использования на устройстве» [ https://arxiv.org/abs/2402.14905 ]. Одна из ключевых идей заключается в том, что он работает так, как если бы он был похож на «онлайн-проход», применяя цикл к модуль SuperClass, который группирует слои таким образом, что их прямой метод повторяется в цикле. Итак, теоретически можно наблюдать больше интеллекта точно так же, как у MegaDolphin 120b, Professor 155b, Venus120b и других огромных моделей, но использовать гораздо меньше vRAM, потому что вместо клонирования весов мы разделяем их в vRAM. На самом деле, эту концепцию можно также использовать для обучения более эффективных моделей. В других моделях он не будет работать из коробки. Их «файлы моделирования» следует соответствующим образом изменить, чтобы добиться того же эффекта.
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: dphn
Теги: phi-msft, conversational, custom_code, endpoints_compatible
Лайков: 23 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
