AI Fine Tuning

  AI Fine Tuning Qwen2.5 PROMPT для генерации JSON-датасета для fine-tuning моделей анализа таблиц маршрутизации Cisco РОЛЬ И ЗАДАЧА Ты — эксперт по генерации синтетических обучающих данных для fine-tuning компактных LLM (7B-14B параметров). Твоя задача — генерировать высококачественные JSON-примеры для обучения модели анализу таблиц маршрутизации Cisco (`show ip route`). СТРУКТУРА КАЖДОГО ПРИМЕРА Каждый пример должен строго соответствовать формату:  json {   "messages": [     {       "role": "system",       "content": "You are a network routing expert. Analyze the routing table, detect issues, and provide step-by-step reasoning. Use the format: <reasoning>...step-by-step analysis...</reasoning><answer>...concise answer...</answer>"     },     {       "role": "user",       "content": "Routing table:\n<show ip route OUTPUT>\n\nQuestion: <SPECIFIC QUEST...

  AI Fine Tuning Qwen2.5 Промпт для генерирования Datasets для дообучения (fine tuning) локальной модели ИИ анализу таблицы маршрутизации Детальный PROMPT для генерации JSON-датасета для fine-tuning моделей анализа таблиц маршрутизации Cisco РОЛЬ И ЗАДАЧА Ты — эксперт по генерации синтетических обучающих данных для fine-tuning компактных LLM (7B-14B параметров). Твоя задача — генерировать высококачественные JSON-примеры для обучения модели анализу таблиц маршрутизации Cisco (`show ip route`). СТРУКТУРА КАЖДОГО ПРИМЕРА Каждый пример должен строго соответствовать формату:  json {   "messages": [     {       "role": "system",       "content": "You are a network routing expert. Analyze the routing table, detect issues, and provide step-by-step reasoning. Use the format: <reasoning>...step-by-step analysis...</reasoning><answer>...concise answer...</answer>"     },     {       "r...

  AI Fine Tuning Qwen2.5 Код для Fine-Tuning (PyTorch + LoRA) Использование LoRA позволяет эффективно дообучать 7B-модель с ограниченными ресурсами PYTHON import torch from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from datasets import load_dataset from trl import SFTTrainer # 1. Загрузка модели и токенизатора model_name = "Qwen/Qwen2.5-7B-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) tokenizer.pad_token = tokenizer.eos_token # 2. Настройка LoRA (эффективная адаптация) lora_config = LoraConfig(     r=16,     lora_alpha=32,     target_modules=["q_proj", "v_proj", "k_proj", "o_proj"], # Основные модули внимания     lora_dropout=0.05,     bias="none",     task_type="CAUSAL_LM", ) # 3. Подготовка модели model = AutoModelForCausalLM.from_pretrained(     model_...

  AI Fine Tuning Qwen2.5 20 примеров. Сбалансированный датасет с различными сценариями, включая здоровые таблицы и различные типы ошибок. JSON [   {     "messages": [       {         "role": "system",         "content": "You are a network routing expert. Analyze the routing table, detect issues, and provide step-by-step reasoning."       },       {         "role": "user",         "content": "Routing table:\nS    10.1.1.0/24 [1/0] via 192.168.1.1\nS    10.1.2.0/24 [1/0] via 192.168.1.1\nS    10.1.3.0/24 [1/0] via 192.168.1.1\nO    10.2.0.0/16 [110/2] via 10.0.0.2\nC    192.168.1.0/24 is directly connected, GigabitEthernet0/0\n\nQuestion: Identify any routing issues in this table."       },       {         "role": "assistant",       ...

  AI Fine Tuning Qwen2.5 Структура датасета и готовый код для fine-tuning Qwen2.5 под задачу анализа таблиц маршрутизации. Основной подход — синтетическая генерация данных и обучение с Chain-of-Thought (CoT), что доказало свою эффективность для сетевых задач Структура обучающего датасета Формат данных должен имитировать реальный диалог с моделью, где на вход подается таблица и вопрос, а на выходе — рассуждение (CoT) и ответ. JSON {   "messages": [     {       "role": "system",       "content": "You are a network routing expert. Analyze the routing table, detect issues, and provide step-by-step reasoning."     },     {       "role": "user",       "content": "Routing table:\n<show ip route output>\n\nQuestion: Does this routing table contain a routing loop or summarization error?"     },     {       "role": "assistant",       "content"...

  AI Fine Tuning Qwen2.5 Python скрипт для генерирования JSON примеров для fine tuning локальной модели Qwen2.5 (7B) для анализа динамической маршрутизации - анализа результатов выполнения команды Cisco "show ip route" Ниже представлен полноценный Python-скрипт, который генерирует синтетический датасет в формате .jsonl (JSON Lines), готовый для fine-tuning моделей семейства Qwen (через LLaMA-Factory, Axolotl или Unsloth). Скрипт создает как здоровые сценарии (чтобы модель не искала ошибки там, где их нет), так и сценарии с инжектированными ошибками (Null0 Blackhole, Missing Default Route, Unreachable Next-hop). Python-скрипт для генерации датасета (generate_dataset.py) Python import json import random import ipaddress from typing import List, Dict, Tuple # ========================================== # 1. Базовые шаблоны и пулы данных # ========================================== INTERNAL_SUBNETS = ["10.10.0.0/16", "10.20.0.0/16", "172.16.1.0/24", ...