Github: https://github.com/normal-computing/extended-mind-transformers/ ArXiv: https://arxiv.org/abs/2406.02332 Оригинальная архитектура и код от Mosaic ML. Разработано: Normal Computing, адаптировано на основе Mosacic ML. Лицензия: Apache 2.0. Эта модель является частью коллекции Extended Mind Transformers и реализует методы, описанные в нашей статье. Эта модель извлекает и обрабатывает внешний кеш пар ключ-значение (или память) и не подвергалась точной настройке (веса исходной модели не редактировались). Передача внешних воспоминаний в модель проста. Просто передайте идентификаторы токенов модели во время создания экземпляра, как показано в следующих примерах. Генерация и кэширование памяти выполняется внутри, во время первого вызова model.generate(). Вы можете обновить память, используя следующую последовательность команд: Установитеtrustremotecode=True, чтобы избежать предупреждений. Передайте воспоминания модели в виде списка идентификаторов токенов. После этого вы можете генерировать текст с моделью как обычно. Модель будет автоматически использовать воспоминания во время генерации. Вы можете обновить любые параметры конфигурации (мы установили topk ниже), передав новые значения в метод model.generate(). Просто установив…
Модальности:
Генерация текста
Области применения:
Диалог / чат
Задача: Генерация текста
Автор: normalcomputing
Теги: extended-mpt, custom_code
Лайков: 11 | Загрузок: 23
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
