graph TD
    A[音视频流] --> B(ASR 语音识别)
    B --> C[文本清洗 & 说话人分离]
    C --> D[NLP 理解层]
    D --> E[行动项抽取模型]
    D --> F[决策/风险/关键信息抽取]
    E --> G[实体链接 & 知识图谱入库]
    G --> H[任务工作流引擎]
    H --> I[跨会议关联推理]
    I --> J[可视化看板 & 提醒触达]

// 示例：行动项入图谱
MERGE (t:Task {id: 'ACT-20240520-001'})
SET t.content = '完成 Q3 预算初稿',
    t.due = date('2024-06-15'),
    t.priority = 'P1'
MERGE (u:User {uid: 'U1001'})-[:OWNER]->(t)
MERGE (m:Meeting {mid: 'M-20240520-003'})-[:GENERATED]->(t)

DRAFT → CONFIRMED → IN_PROGRESS → BLOCKED → DONE
                ↓              ↓
             REJECTED      DEFERRED

graph LR
    T1[ACT-001 初稿] -->|延续| T2[ACT-005 评审修改]
    T2 -->|拆解| T3[ACT-012 细化人力成本]
    T2 -->|拆解| T4[ACT-013 细化云资源预算]
    T3 -->|合并| T5[ACT-020 定稿提交]
    T4 -->|合并| T5

graph LR
    subgraph 输入层
        A1[音频流] --> B1(ASR + 声纹)
        A2[屏幕流 1080p/5fps] --> B2(OCR + LayoutLMv3)
        A3[白板流] --> B3(笔迹向量化 + 图形识别)
        A4[摄像头/会议室 IoT] --> B4(人脸/姿态/人数统计)
    end
    subgraph 对齐层
        B1 --> C[时间戳对齐 & 说话人-内容绑定]
        B2 --> C
        B3 --> C
        B4 --> C
    end
    subgraph 融合推理层
        C --> D[多模态大模型<br/>Qwen-VL / InternVL / 自研 MoE]
        D --> E[统一语义表征 Space]
    end
    E --> F[下游任务：行动项/风险/知识图谱]

# 伪代码：跨模态实体链接
def cross_modal_entity_linking(asr_segments, ocr_results, vlm_caption):
    # 1. VLM 生成屏幕内容摘要
    screen_summary = vlm.caption(ocr_results.keyframes)
    # 2. 实体对齐：语音实体 -> 屏幕坐标框
    linked_entities = []
    for ent in asr_entities:
        bbox = ocr_results.fuzzy_match(ent.text, threshold=0.85)
        if bbox:
            linked_entities.append(EntityLink(text=ent.text, 
                                              source='audio', 
                                              target_bbox=bbox, 
                                              screen_context=screen_summary))
    # 3. 补全行动项上下文
    for action in action_items:
        if action.missing_context:
            action.context = retrieve_screen_context(action.timestamp, linked_entities)
    return action_items

# Agent 配置示例
name: MeetingPostProcessor
role: 会后资产生成专家
tools:
  - asr_corrector: 纠错专用小模型 API
  - entity_linker: 知识图谱写入/查询
  - task_creator: 工作流引擎创建任务
  - calendar_api: 查询参会人日历冲突
  - rag_search: 历史会议/文档检索
memory:
  short_term: 当前会议全量上下文 (32k tokens)
  long_term: 组织级任务演进图谱、人员偏好画像
planning_strategy: "Tree-of-Thought + Self-Consistency"

<system>
你是资深项目经理，擅长从混乱会议纪要中提取可执行行动项。
输出必须符合 JSON Schema，字段含义：
- owner_uid: 必须从 attendee_list 中精确匹配，禁止臆造
- due_date: 相对时间必须结合 meeting_date 转绝对 ISO8601
- dependency: 仅引用本次会议已生成的 action_id
</system>
<user>
会议元数据: {{meeting_meta}}
参会人名单: {{attendee_list}}
多模态转写文本: {{multimodal_transcript}}
屏幕共享关键帧摘要: {{screen_summary}}
历史关联任务: {{rag_retrieved_tasks}}

请按步骤输出：
1. 识别所有候选行动句
2. 逐个补全要素，标注置信度
3. 冲突检查：同一人同天双 P0 任务、依赖循环
4. 输出最终 JSON 数组
</user>

sequenceDiagram
    participant Server as 联邦参数服务器 (中心/云)
    participant ClientA as 企业 A (私有化部署)
    participant ClientB as 企业 B (私有化部署)
    Note over Server, ClientB: 第 1 轮：全局模型下发
    Server->>ClientA: Global Model (LoRA Adapters)
    Server->>ClientB: Global Model (LoRA Adapters)
    Note over ClientA, ClientB: 本地训练 (数据不出域)
    ClientA->>ClientA: Local Epochs=3, DP-SGD (σ=1.2)
    ClientB->>ClientB: Local Epochs=3, DP-SGD (σ=1.2)
    Note over ClientA, ClientB: 加密聚合
    ClientA->>Server: Enc(ΔW_A) + ZKP(Proof of Honest Execution)
    ClientB->>Server: Enc(ΔW_B) + ZKP
    Server->>Server: SecAgg (Threshold Paillier / CKKS)
    Server->>Server: Global Update → New Global Model

// 核心数据结构：可视化配置 -> 可执行 JSON
interface LowCodeWorkflowDef {
  version: "2.0";
  nodes: NodeDef[];          // 拖拽画布生成
  edges: EdgeDef[];
  globalVars: Record<string, VariableDef>; // 表单字段、系统变量
  plugins: PluginRef[];      // 自定义节点插件 (NPM 包动态加载)
}

// 运行时执行引擎 (TypeScript -> WASM 隔离)
class WorkflowRuntime {
  async execute(inst: WorkflowInstance, ctx: ExecutionContext) {
    // 1. 沙箱加载用户自定义脚本 (如复杂条件判断、数据转换)
    const sandbox = new WasmSandbox({ 
      memoryLimit: "64MB", 
      timeout: "5s",
      allowedImports: ["lodash", "dayjs", "@sys/api-client"] 
    });
    
    // 2. 事件驱动状态机推进
    for await (const task of this.topologicalStream(inst.currentNode)) {
      if (task.type === "SCRIPT") {
        await sandbox.run(task.code, { $input: task.input, $vars: ctx.vars });
      } else if (task.type === "SERVICE") {
        await this.serviceBus.invoke(task.serviceId, task.input);
      }
      // 3. 持久化快照 (Event Sourcing)
      await this.eventStore.append(inst.id, { node: task.id, output: result });
    }
  }
}

# 模型卡片标准元数据 (存入 Model Registry / MLflow)
model_card:
  name: "action-item-extractor-v3.2"
  base_model: "Qwen2-7B-Instruct"
  training:
    method: "LoRA (r=32, alpha=64) + DPO"
    data_version: "meeting-corpus-202405-v4 (含 12k 人工修正样本)"
    compute: "8x Ascend 910B, 6h"
  evaluation:
    benchmark: "internal-test-set-202406 (500 meetings)"
    metrics:
      f1: 0.912
      element_completeness: 0.935
      hallucination_rate: 0.018
      latency_p95_ms: 1800
  deployment:
    target: "Ascend 910B x 4 (Tensor Parallel)"
    quantization: "W4A8 (Calib: 1024 samples)"
    config: "max_batch=8, max_seq_len=8192"
  lineage:
    parent: "v3.1"
    git_commit: "a1b2c3d"
    data_hash: "sha256:f4e5..."

graph TD
    A[线上流量 100%] --> B{流量分发网关}
    B -->|95%| C[稳定版 v3.1]
    B -->|5%| D[候选版 v3.2]
    C --> E[业务指标采集]
    D --> E
    E --> F[自动化对比报告]
    F -->|指标回归/报警| G[一键熔断回滚]
    F -->|指标持平/提升| H[逐步放量 5%→25%→50%→100%]
    
    subgraph 影子模式
        B -.->|镜像流量 100%| I[影子版 v3.2]
        I --> J[仅记录输出, 不影响业务]
        J --> K[离线 Diff 分析: JSON Diff / 语义相似度 / 业务规则校验]
    end

# 1. 基础环境 (建议使用 Conda + Pixi 管理)
pixi init -c conda-forge -c pytorch -c nvidia python=3.10 pytorch=2.3 cudatoolkit=12.1

# 2. 核心依赖
pixi add transformers==4.41.2 accelerate==0.30.1 peft==0.11.1 bitsandbytes==0.43.1
pixi add vllm==0.5.3 --pip  # 含 FlashAttn2
pixi add mlflow==2.14.1 tritonclient[http]==2.49.0

# 3. 国产算力适配 (以昇腾为例)
# 需在宿主机预装 CANN 8.0.RC1 + 驱动 24.0.0
pip install torch_npu==2.3.0.post1 -f https://repo.huaweicloud.com/ascend/
pip install ascend-speed==1.0.0  # Megatron-LM 昇腾分支

# 4. 低代码前端 (Monorepo 推荐 pnpm)
pnpm create vite@latest wf-designer -- --template react-ts
cd wf-designer && pnpm add bpmn-js@11.5.0 @bpmn-io/properties-panel zustand immer

# 5. 一键启动推理服务 (示例: 7B W4A8 量化模型)
vllm serve /models/Qwen2-7B-Instruct-W4A8 
  --tensor-parallel-size 2 
  --gpu-memory-utilization 0.9 
  --max-model-len 8192 
  --quantization awq 
  --served-model-name action-extractor 
  --enable-prefix-caching