Поезд модели проверки концепции на наборе данных MegaMath, способный решать задачи как по цепочке мышления, так и на языке программирования.
Модальности:
Генерация текста
Области применения:
Генерация кода Математика
Задача: Генерация текста
Автор: IFM
Теги: llama, math, code, cot, pal, en, text-generation-inference, endpoints_compatible
Лайков: 3 | Загрузок: 91
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
Это уменьшенная модель 1,5B, обученная по рецепту all-hands/openhands-lm-32b-v0.1. Он предназначен для использования для спекулятивного декодирования. Автономные агенты разработки...
🏠 Блог о выпуске WizardLM-2 🤗 HF Repo • 🐱 Github Repo • 🐦 Twitter • 📃 [WizardLM]...
Чат и поддержка: сервер Discord TheBloke Хотите внести свой вклад? Страница TheBloke на Patreon Работа TheBloke в области...
项目地址: Светлячок (流萤): 中文对话式大语言模型,如果您觉得此模型对您有帮助，请like此模型并在Github项目中star我们。 !firefly_logo Firefly（流萤) Инструкции Настройка) ZeRO、张量并行等技术,有效降低显存消耗和提高训练效率。在训练中,我们使用了更小的模型参数量,以及更少的计算资源。流萤（萤火虫的别称）是中华传统文化的一个符号，虽说腐草为萤,带有悲悯意味,但萤火虽小,也能凭借其淡淡荧光,照亮夜空。本项目的名称取自杜牧的《秋夕》:银烛秋光冷画屏, 轻罗小扇扑流萤。也希望本项目能够像流萤一般发出淡淡微光, 为中文NLP开源社区尽绵薄之力,添砖加瓦。主要工作如下: — 数据集:Поезд-светлячок-1,1М ，一份高质量的包含1.1M中文多任务指令微调数据集,包含23种常见的中文NLP任务的指令数据。对于每个任务,由人工书写若干指令模板,保证数据的高质量与丰富度。 — 模型裁剪:LLMPruner:大语言模型裁剪工具，使用词表裁剪技术对多语种大语言模型进行权重裁剪,保留预训练知识的前提下,有效减少模型参数量,提高训练效率,并分享裁剪后的多种参数规模的Bloom模型权重. — 权重分享:在bloom-1b4-zh...
