Jambert — экспериментальная доработанная модель, основанная на Jamba и специализированных задачах RAG и синтезе документов. Учитывая вопрос и список литературы, Жамбер напишет обобщенную версию. В качестве первоначального теста Джамберт на данный момент обучается контекстному окну из 4096 токенов, но с ожиданием выполнения последующих итераций со значительно более длинными текстами благодаря архитектуре Mamba. Джамбер обучался у Аксолотля набору административных документов и связанному с ними синтезу на французском и английском языках. Это может сработать и на других языках, поскольку доказано, что эту задачу можно легко перенести на другой язык. Репозиторий предоставляет как 4-битную версию, которая может легко работать на любом графическом процессоре 80b или даже 40b, так и оригинальный адаптер для использования в сочетании с базовой моделью.
Модальности:
Генерация текста
Задача: Генерация текста
Автор: Pclanglais
Теги: tensorboard, jamba, axolotl, custom_code, fr, endpoints_compatible, 4-bit, bitsandbytes
Лайков: 5 | Загрузок: 4
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
