Структура Датасета
AI Fine Tuning Qwen2.5
Структура датасета и готовый код для fine-tuning Qwen2.5 под задачу анализа таблиц маршрутизации. Основной подход — синтетическая генерация данных и обучение с Chain-of-Thought (CoT), что доказало свою эффективность для сетевых задач
Структура обучающего датасета
Формат данных должен имитировать реальный диалог с моделью, где на вход подается таблица и вопрос, а на выходе — рассуждение (CoT) и ответ.
JSON
{
"messages": [
{
"role": "system",
"content": "You are a network routing expert. Analyze the routing table, detect issues, and provide step-by-step reasoning."
},
{
"role": "user",
"content": "Routing table:\n<show ip route output>\n\nQuestion: Does this routing table contain a routing loop or summarization error?"
},
{
"role": "assistant",
"content": "<reasoning>\n1. I will examine the routing table for duplicate routes with equal metrics.\n2. I will check for overlapping networks that indicate poor summarization.\n3. [Step-by-step analysis of the specific table]\n</reasoning>\n<answer>\nYes, a potential routing loop exists between ...\n</answer>"
}
]
}
Рекомендации по созданию данных:
Синтетическая генерация: Используйте LLM (DeepSeek-R1, Qwen 2.5 72B) для генерации разнообразных примеров таблиц маршрутизации с различными ошибками . Генерация должна быть целевой: вы создаете запросы, в которых указываете, какие ошибки должна содержать таблица (петли, неверная суммаризация).
Структуризация: Используйте инструменты вроде promptwright для масштабной генерации на основе графа тем .
Баланс: Обеспечьте разнообразие примеров: "здоровые" таблицы, таблицы с петлями, ошибками суммаризации, проблемами next-hop и т.д.
Комментарии
Отправить комментарий