LLaMA с 3,5 миллионами параметров, запоминающая каждый кадр «Плохого яблока»!! музыкальное видео в формате ASCII (1745 кадров, ~8760 токенов каждый). Дайте ему номер кадра, получите 58 строк . и @ символы назад. Средняя точность 99,78% для 1745 кадров. Это началось как шутка. В первой версии использовалась специальная архитектура и токенизатор, где каждый кадр представлял собой один токен. Он достиг 100% точности за несколько минут тренировки процессора. Слишком просто, неинтересно. Следующая цель: сделать то же самое, но сделать его совместимым с llama.cpp. Это означало работу в архитектуре LLaMA, использование реального токенизатора и посимвольную генерацию кадров по примерно 8760 токенам. То же самое, но с более жесткими ограничениями. Словарь состоит из , , , , четырех токенов символов (n, ., @, ) и одного токена на номер кадра (от «0» до «1744»). Каждый кадр составляет ~8760 токенов. Модель генерирует полный кадр на основе запроса из двух токенов: за которым следует токен номера кадра. Лучшая контрольная точка: эпоха 3380 (потеря 0,000888). Оценено на 71 кадре (каждый 25-й + последний): inference.py использует llama-cpp-python (GGUF), если он доступен, и возвращается к чистому PyTorch. Требуется badapple.txt (15,4 МБ, 1745 кадров, разделенных nekomark). На графическом процессоре L4…
Модальности:
Генерация текста
Задача: Генерация текста
Автор: nyuuzyou
Теги: gguf, llama, text-generation-inference, endpoints_compatible
Лайков: 6 | Загрузок: 40
Описание основано на материалах HuggingFace. Перевод выполнен автоматически.
