graph LR
    A[音视频流] --> B[ASR + 说话人分离]
    B --> C[长文本分段与语义切片]
    C --> D[指令微调 LLM 行动项抽取]
    D --> E[约束解码输出 JSON Schema]
    E --> F[实体链接与归一化]
    F --> G[跨会议依赖推理引擎]
    G --> H[依赖知识图谱构建]
    H --> I[下游系统集成 API]

{
  "instruction": "从会议转录文本中抽取所有行动项，输出严格符合 JSON Schema 的结构化列表。注意：1) 必须包含责任人、截止时间、优先级、前置依赖描述；2) 若信息缺失，字段置 null 而非臆造；3) 识别跨会议引用（如‘按上周会议结论’）。",
  "input": "【会议标题】Q3 核心指标复盘n【参会者】张三(PM)、李四(Tech Lead)...n【转录文本】张三: 大家好... 李四: 接口联调依赖上周架构评审确认的新版 Schema...",
  "output": [
    {
      "action_item": "完成订单服务新版 Schema 接口联调",
      "owner": "李四",
      "due_date": "2024-08-15",
      "priority": "P0",
      "dependency_description": "依赖上周架构评审会议确认的新版 Schema 文档产出",
      "source_meeting_id": "meet_20240801_001",
      "referenced_meeting_keywords": ["架构评审", "Schema", "上周"]
    }
  ]
}

from outlines import generate, models
from pydantic import BaseModel, Field
from typing import List, Optional
from datetime import date

class ActionItem(BaseModel):
    action_item: str = Field(..., description="具体行动描述")
    owner: str = Field(..., description="责任人姓名")
    due_date: Optional[date] = Field(None, description="ISO 8601 日期")
    priority: str = Field(..., pattern="^(P0|P1|P2|P3)$")
    dependency_description: Optional[str] = None
    source_meeting_id: str
    referenced_meeting_keywords: List[str] = Field(default_factory=list)

# 编译为有限状态机，解码时强制合法转移
llm = models.transformers("Qwen2-7B-Instruct-AWQ", device="cuda")
generator = generate.json(llm, ActionItem)

# 推理时直接获得合法对象，无需后处理修复
result = generator(prompt, max_tokens=1024, temperature=0.1)

Layer 1: 显式引用匹配（规则+检索）
    ├─ 关键词召回：BM25 + 向量混合检索历史会议
    ├─ 实体对齐：责任人、项目代号、文档编号精确匹配
    └─ 时间窗口：限定近 90 天会议

Layer 2: 隐性依赖推理（LLM 判别式微调）
    ├─ 输入：当前 Action Item + Top-5 候选历史会议摘要
    ├─ 任务：二分类/多标签判断是否存在依赖
    └─ 训练数据：人工标注 2,000 对（正负样本 1:1）

Layer 3: 依赖类型细分（提示工程 + Few-shot）
    ├─ 阻塞型：必须等待前置产出（如 Schema、设计稿）
    ├─ 协同型：需并行配合（如联调、评审）
    └─ 信息型：仅需知晓结论（如决策同步）

# 伪代码：双指针动态聚合，保证每片含完整“议题-讨论-结论”三元组
def semantic_chunk(transcript: List[Utterance], max_tokens=6000) -> List[Chunk]:
    chunks, cur_chunk, cur_tokens = [], [], 0
    for utt in transcript:
        # 话题边界判断：嵌入相似度 < 0.65 或 显式转场词（“接下来讨论”、“最后总结”）
        if is_topic_boundary(utt, cur_chunk[-1] if cur_chunk else None):
            if cur_chunk: chunks.append(merge_chunk(cur_chunk))
            cur_chunk, cur_tokens = [utt], utt.tokens
        elif cur_tokens + utt.tokens > max_tokens:
            chunks.append(merge_chunk(cur_chunk))
            cur_chunk, cur_tokens = [utt], utt.tokens
        else:
            cur_chunk.append(utt); cur_tokens += utt.tokens
    if cur_chunk: chunks.append(merge_chunk(cur_chunk))
    return chunks

graph TD
    A[全量切片] --> B[阶段一：并行粗抽<br/>小模型 1.5B/3B<br/>仅抽取候选 Action Item Span]
    B --> C[候选去重合并<br/>Embedding 相似度 > 0.92 视为同一项]
    C --> D[阶段二：串行细聚<br/>大模型 7B/14B<br/>补全字段+依赖推理+结构化输出]
    D --> E[全局一致性校验<br/>责任人/时间/依赖跨片冲突消解]

视频流 → 关键帧抽取(场景变化阈值 SSIM<0.85) → OCR(PP-OCRv4) + 图表理解(InternVL-2B) → 文本块
音频流 → ASR + 说话人分离 → 文本块
时间戳对齐 → 跨模态实体链接 → 统一语义单元

{
  "name": "create_jira_task",
  "description": "在 Jira 创建任务并关联 Epic/Sprint",
  "parameters": {
    "type": "object",
    "properties": {
      "summary": {"type": "string", "maxLength": 255},
      "description": {"type": "string", "description": "包含会议链接、依赖描述、原文引用"},
      "assignee_account_id": {"type": "string"},
      "labels": {"type": "array", "items": {"type": "string"}, "default": ["auto-meeting"]},
      "custom_fields": {
        "type": "object",
        "properties": {
          "source_meeting_id": {"type": "string"},
          "dependency_ticket_keys": {"type": "array", "items": {"type": "string"}}
        }
      }
    },
    "required": ["summary", "assignee_account_id"]
  }
}

sequenceDiagram
    participant Planner as 规划 Agent (7B)
    participant Executor as 执行 Agent (3B + Tool Router)
    participant User as 责任人确认
    participant System as 下游系统
    
    Planner->>Executor: 结构化执行计划 DAG
    Executor->>System: 并行调用 create_jira_task / send_lark_msg / create_calendar_event
    System-->>Executor: 返回 Ticket URL / Message ID
    Executor->>User: 推送确认卡片（含原文溯源链接）
    User-->>Executor: 确认/修改/驳回
    Executor->>Planner: 反馈结果 → 更新依赖图谱状态

L1: 实时护栏指标 (分钟级)
    ├─ JSON 合规率、字段非空率、推理延迟 P99
    └─ 异常自动熔断 → 降级规则模板

L2: 业务代理指标 (天级)
    ├─ 行动项“被确认率”(责任人 24h 内点击确认/修改)
    ├─ 依赖边“被采纳率”(下游系统实际建立链接比例)
    └─ 负反馈率(驳回/删除/标记错误)

L3: 模型能力指标 (周级/版本级)
    ├─ 标注一致性: 双盲人工复核 200 条/周
    ├─ 回归集 F1 漂移监控
    └─ 长尾场景覆盖率(新项目代号/新黑话/新组织架构)

# 伪代码：每日离线跑批，自动生成训练补丁
def daily_hard_case_mining():
    # 1. 召回负样本
    bad_cases = db.query("""
        SELECT * FROM action_items 
        WHERE user_feedback = 'reject' 
           OR (confirmed = false AND created_at < now() - '24h')
           OR dependency_broken = true
        LIMIT 500
    """)
    
    # 2. 聚类去重
    clusters = embed_cluster(bad_cases, threshold=0.88)
    
    # 3. 优先级打分
    for c in clusters:
        c.priority = c.size * c.business_impact_weight
    
    # 4. Top-K 自动生成 SFT 样本 (LLM-as-Judge 修正输出)
    top_clusters = sorted(clusters, key=lambda x: x.priority, reverse=True)[:20]
    new_samples = llm_correct_and_format(top_clusters)
    
    # 5. 推送至标注平台预标注队列
    annotation_platform.push_prelabeled(new_samples, tag="auto_mined")

{
  "trace_id": "meet_20240815_001_extract_003",
  "span_id": "llm_infer_002",
  "timestamp": "2024-08-15T14:32:10.123Z",
  "service": "action-item-extractor",
  "model_version": "qwen2-7b-instruct-v1.3.2-lora-r64",
  "input_hash": "sha256:abc123...",  // 脱敏后输入哈希
  "prompt_template_version": "v2.1.0",
  "decoding_constraints": "json_schema_v3",
  "output": {"action_items": 3, "tokens": 456},
  "latency_ms": 1200,
  "compliance_tags": ["pii_masked", "on_premise", "gdpr_ok"]
}

{
  "action_item": "完成订单服务新版 Schema 接口联调",
  "evidence_chain": [
    {
      "source": "audio",
      "segment_id": "seg_45",
      "speaker": "李四",
      "text": "接口联调得等架构组把新 Schema 发过来，上周评审会定的。",
      "timestamp": "00:45:12"
    },
    {
      "source": "visual",
      "frame_id": "frame_120",
      "description": "屏幕共享：Confluence 页面《Q3 架构评审结论 - Schema v2.1》",
      "ocr_text": "Schema v2.1 发布时间: 8月10日 负责人: 王五"
    }
  ],
  "reasoning_trace": "依赖描述 '上周架构评审会议' 通过关键词召回 meet_20240808_002，Layer 2 判别模型置信度 0.94 确认阻塞型依赖。"
}