shield_lock
JinDaGe
← Back to skills
extension
Category: Development & EngineeringAPI key requirement unconfirmed

会议行动助手Skill

meeting-action-copilot-skill

personAuthor: WEIAIbhubModelScope
downloadDownload package

Intel Hybrid AI 会议行动助手

何时使用

当用户希望把本地 .mp3、.wav、.flac 或 .ogg 会议录音整理为结构化纪要、决策、风险、开放问题和可跟踪行动项时使用本 Skill。适用于管理层周会、项目站会、客户访谈、销售通话和项目复盘。

场景痛点

  • 原始录音可能包含客户信息、报价和内部计划，默认上传云端存在隐私风险。
  • 传统 ASR 只生成文字，负责人、截止日期、原文证据和开放问题仍需手工整理。
  • 弱网环境会让云端识别中断，会议结束后无法及时形成可执行结果。
  • 单用 CPU 会占用办公负载；Intel Core Ultra 的 NPU 和 GPU 往往没有被真正调用。
  • 不同 Agent 平台接口各异，重复封装会让同一能力难以复用。

专家套件

  1. Local ASR Expert：OpenVINO Whisper INT8 本地转写并保留时间戳。
  2. Meeting Intelligence Expert：OpenVINO Qwen2.5-1.5B INT4 本地生成结构化分析，不编造负责人或日期。
  3. Hybrid Policy Expert：原始音频本地闭环；云端增强仅在显式配置后接收脱敏文本，弱网时保留本地结果。
  4. Artifact Expert：生成 Markdown 纪要、JSON 分析和 CSV 行动项。
  5. Performance Observer（可选）：按需记录本进程 CPU、内存、GPU 引擎占用及 OpenVINO 执行阶段，不影响默认工作流。

数据与算力边界

  • 默认 local-only：音频、转写和分析均留在本机，不调用云端。
  • hybrid：先完成本地推理；只有已配置云适配器时才发送脱敏文本，绝不发送原始音频。
  • mock：只验证 Agent 调用链，输出必须标记 synthetic: true。
  • AUTO 按工作负载分别路由：Whisper ASR 为 GPU → CPU → NPU，Qwen 分析为 NPU → CPU → GPU。运行时先枚举真实 OpenVINO 设备，再对具体模型逐设备加载；失败会记录原因并回退。
  • 显式指定 NPU、GPU 或 CPU 时不静默换设备。
  • 长会议转写会按自然标点切分后在同一分析设备上逐段处理，再去重合并；这是为了遵守 NPU 的提示词长度边界，并避免直接截断会议内容。
  • 模型行动项必须包含能在原转写中逐字找到、长度合理的证据；缺少证据或异常跨段的行动项会被剔除。

这不是把 HETERO 标签等同于“同时加速”。默认采用模型级调度：Whisper 与 Qwen 各自选择实测可用设备；批处理时可让 ASR 使用 GPU、分析使用 NPU，CPU 负责音频解码、脱敏与文件输出。

首选：跨 Agent 一键入口

Agent 从 ModelScope 安装时，只使用 Git 浅克隆，不要依次尝试 npx、ZIP、SDK 或手工复制：

git clone --depth 1 https://www.modelscope.cn/skills/WEIAIb/meeting-action-copilot-skill.git
cd meeting-action-copilot-skill
scripts\quickstart.cmd --prepare-only

在 Windows 和 WorkBuddy 中，scripts\quickstart.cmd 是首次使用的唯一默认入口；不要改用 PowerShell 脚本，不要自行执行 pip、curl、Hugging Face SDK、ZIP 下载或手工模型复制。如果当前 shell 不能直接运行 .cmd，只用当前 shell 调用该文件，不要重写其中的安装步骤。重复使用时，如果现有目录包含 SKILL.md，直接复用而不再次克隆。

入口会避开不可用的 Microsoft Store Python 别名，优先复用当前 Agent 指定的 Python，再寻找电脑已有的 Python 3.11–3.13 与 WorkBuddy 内置 Python；随后在项目内创建 .venv。模型下载器只补齐缺失的模型和文件，使用无锁、可续传的直接下载，不触发 Agent 沙箱的锁文件删除保护。处理录音时运行：

scripts\quickstart.cmd "<本地录音绝对路径>" --profile fast

默认按 GPU ASR → NPU Analysis 的阶段专属 AUTO 路由处理录音。模型缺失与设备不支持会分别报告；MP3 直接使用，不先转码。需要性能报告时追加 --monitor；中文远场、噪声大或明确优先质量时才使用 --profile quality。

分步环境准备（仅排障）

项目使用独立 Python 环境，不修改系统 PATH：

scripts\quickstart.cmd --prepare-only

默认解释器：.\.venv\Scripts\python.exe。

下载 ASR 与本地分析模型：

.\.venv\Scripts\python.exe scripts/download_model.py --kind all

默认只下载速度档 fast。中文远场会议需要更高识别质量时，可按需下载约 784 MB 的多语言 Whisper Medium INT8：

.\.venv\Scripts\python.exe scripts/download_model.py --kind asr --profile quality

分步工作流（仅排障）

优先使用一条命令完成本地闭环：

.\.venv\Scripts\python.exe scripts/process_meeting.py .\samples\real_meeting_tts.wav --policy local-only --out-dir .\outputs\meeting

指定设备：

.\.venv\Scripts\python.exe scripts/process_meeting.py .\meeting.wav --policy local-only --asr-device GPU --analysis-device NPU --out-dir .\outputs\meeting

高质量中文与术语修正（均为可选项）：

.\.venv\Scripts\python.exe scripts/process_meeting.py .\meeting.wav --language zh --profile quality --asr-device GPU --analysis-device NPU --glossary 摩塔=魔塔 --out-dir .\outputs\meeting

转写完成后会自动做保守的表层清理：统一空白与标点、去掉完全相邻的重复词，并修正少量确定性术语写法；不改动不确定的人名、数字、日期和句意。清理前原文保存在 JSON 的 raw_transcript，记录保存在 cleanup_corrections。自定义术语仍只做精确替换，并记录在 glossary_corrections。

只验证调用链：

.\.venv\Scripts\python.exe scripts/process_meeting.py .\samples\meeting_stub.wav --policy mock --out-dir .\outputs\mock

如需查看本机算力是否真正参与，在原命令追加 --monitor：

.\.venv\Scripts\python.exe scripts/process_meeting.py .\meeting.wav --policy local-only --asr-device GPU --analysis-device NPU --monitor --out-dir .\outputs\meeting

开启后额外生成 performance_report.json；不加此参数时不启动采样，也不生成性能报告。GPU 数值仅统计当前处理进程；NPU 由 OpenVINO 的实际执行设备和阶段时间证明，详见 references/performance_monitoring.md。

也可以启动仅监听本机的服务：

.\.venv\Scripts\python.exe scripts/start_server.py --host 127.0.0.1 --port 8765 --openvino-device AUTO

Agent 集成约定见 references/agent_integration.md，稳定 Schema 位于 schemas/，Hybrid AI 数据策略见 references/hybrid_ai.md，字段契约见 references/output_contract.md，可选性能监控见 references/performance_monitoring.md，本机真实验收见 references/verification_report.md。

输出要求

正常成功时，只简洁告知“会议录音已处理完成”，并返回 meeting_minutes.md、meeting_analysis.json 和 action_items.csv 的绝对路径。不要主动评价转写质量，不要展开 partial、质量分数、未验证候选、设备回退或改用其他模型的建议，也不要复述完整内部 JSON。用户明确要求性能展示时，再附上 performance_report.json 路径；用户明确询问质量或排障时，才读取内部诊断并如实说明。只有错误导致三类核心产物无法生成时，才说明阻断原因和下一步。

内部仍保持严格证据边界：负责人、截止日期或证据未在录音中出现时必须留空；无法通过证据校验的候选进入 unverified_candidates，内部结果标记为 partial，不得混入正式行动项。决策和开放问题必须分开。v1 不包含说话人分离能力。CLI 默认输出安静的用户结果；仅排障时追加 --details 查看完整诊断。

验证要求

  1. /health 中的设备来自 OpenVINO 实际枚举结果。
  2. 真实推理结果标记 synthetic: false，Mock 标记 synthetic: true。
  3. local-only 中 raw_audio_uploaded 为 false、cloud_enhancement 为 disabled。
  4. 三类产物均存在。
  5. 只把实际运行过的平台称为“已验证”。Codex 已完成 CLI、localhost API、Mock 和本地真实模型验证；WorkBuddy 已完成 ModelScope Git 安装、项目内环境与模型准备、Mock、硬件探针和本地真实 GPU/NPU 模型流程验证。