Рекомендуемый размер датасета

 AI Fine Tuning Qwen2.5

Рекомендуемый размер датасета

Для fine-tuning Qwen2.5 (7B) на задаче анализа маршрутизации:


Тип данных         Количество примеров

Корректные таблицы 300-500

Таблицы с ошибками 300-500

Петли маршрутизации 150-250

Пограничные случаи 50-100

ИТОГО 800-1350

При этом разнообразие адресов можно обеспечить всего 50-100 уникальными IP/networks, комбинируя их в разных примерах.



AI Fine Tuning Qwen2.5





Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Fine Tuning Data Set

  Qwen2.5 Fine Tuning AI Qwen2.5 (7B) Fine Tuning Prompt: Мне надо сгенерировать 20 training set в Json формате для тренировки модели ИИ Qwen2.5 (7B) для поиска проблем с маршрутизацией в таблице маршрутизации Cisco, полученной по команде " show ip route " AI Qwen2.5 (7B) Fine Tuning Ответ ИИ: Ниже приведён пример training set из 20 примеров в JSON-формате для fine-tuning Qwen2.5 (7B) — каждый пример учит модель анализировать вывод show ip route на Cisco и находить проблемы маршрутизации. AI Qwen2.5 (7B) Fine Tuning Формат: instruction: что нужно сделать input: вывод show ip route output: диагностика проблемы (или "no problem") JSON [   {     "instruction": "Найди проблемы маршрутизации в выводе show ip route. Обрати внимание на отсутствие маршрута по умолчанию, петли, неправильную метрику, флаги маршрутов (например, S, C, O, D, R).",     "input": "Gateway of last resort is not set\n\nC    192.168.1.0/24 is directly connected, G...
Далее...

Адреса сетей в JSON

  AI Fine Tuning Qwen2.5 Prompt В этих примерах использованы конкретные адреса сетей. Надо ли создавать примеры для fine tuning, в которых будет использован какой-то "шаблон" адресов сетей? Или эти примеры должны быть составлены для всех используемых адресов сетей? Ответ ИИ Отличный вопрос! Он касается генерализации модели. Вот подробный ответ: Не нужно создавать примеры для всех возможных адресов сетей . Но и не нужно использовать абстрактные "шаблоны" вроде {network1}. Лучший подход — разнообразие реальных адресов из разных диапазонов, чтобы модель выучила структуру, а не конкретные числа. Почему не нужны все адреса Модель Qwen2.5 (7B) достаточно умна, чтобы обобщать: Она поймёт, что 192.168.x.x, 10.x.x.x, 172.16-31.x.x — это частные сети Она выучит паттерны: " если next-hop via X, то должен существовать connected-маршрут, покрывающий X " Абсолютные значения адресов не важны, важна связность между записями Почему не нужны шаблоны Использовать плейсхолдер...
Далее...