Коллективное познание v1.1 — это современная модель, доработанная с использованием подхода Mistral. Эта модель особенно примечательна своей производительностью: она превосходит многие модели 70B в тесте TruthfulQA. Этот тест оценивает модели на предмет распространенных заблуждений, потенциально указывающих на уровень галлюцинаций. — Быстрое обучение: эта модель была обучена всего за 3 минуты на одном 4090 с qlora и конкурирует с моделями Llama-2 в масштабе 70B на TruthfulQA. — Ограниченные данные: несмотря на исключительную производительность, он был обучен только на СТО точках данных, все из которых были собраны с платформы, напоминающей ShareGPT. — Экстремальный тест TruthfulQA: эта модель сильно конкурирует с лучшими моделями 70B в тесте TruthfulQA, несмотря на небольшой набор данных и обучение qlora! Особая благодарность @a16z и всем участникам набора данных коллективного познания за то, что сделали возможной разработку этой модели. Модель была обучена с использованием данных с сайта Collective Cognition. Эффективность этого набора данных демонстрируется великолепной производительностью модели, что позволяет предположить, что дальнейшее расширение этого набора данных может дать еще более многообещающие результаты. Данные напоминают об этом…
Модальности:
Генерация текста
Области применения:
Следование инструкциям
Задача: Генерация текста
Автор: teknium
Теги: mistral, mistral-7b, instruct, finetune, gpt4, synthetic data, distillation, sharegpt
Лайков: 77 | Загрузок: 18
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
