Back to skills
extension
Category: Development & EngineeringNo API key required

Local-Knowledge-Base-Assistant

A locally running intelligent question-answering system based on Intel OpenVINO optimization, supporting PDF/TXT document Q&A with local execution for privacy protection.

personAuthor: EnglishMasterhubModelScope

Local Knowledge Base Assistant

基于 Intel OpenVINO 优化的本地智能问答系统,支持 PDF/TXT 文档问答,完全本地运行保护隐私。

触发条件

当用户表达以下意图时,触发此 Skill:

  • "帮我总结一下这份文档"
  • "根据我的笔记回答问题"
  • "文档里关于XX是怎么说的"
  • "帮我分析一下这份报告"
  • "从文档中找一下XX相关内容"
  • "我的笔记里有提到XX吗"
  • "总结一下这个PDF"
  • "文档问答"
  • "知识库查询"
  • "本地问答"

核心能力

  1. 文档智能问答 — 基于本地文档进行精准问答
  2. 多格式支持 — 支持 PDF、TXT 等多种文档格式
  3. RAG检索增强 — 通过向量检索提升回答准确性
  4. OpenVINO优化 — 推理速度提升 15-20%
  5. 完全本地运行 — 隐私保护,无需联网

Skill独特价值

与通用Agent对比

| 维度 | 通用Agent文档功能 | 本Skill | |------|-----------------|---------| | 推理引擎 | 通用推理引擎 | OpenVINO优化 | | 推理速度 | 基准 | +15-20% | | 隐私保护 | 中-高风险 | 零风险 | | 离线使用 | 通常不行 | ✅ 完全支持 | | 专注度 | 多功能工具 | 专精知识库 | | 可移植性 | 有限 | ✅ 强 |

核心优势

  1. OpenVINO性能优化

    • 推理速度提升15-20%
    • 自动利用CPU/GPU加速
    • 内存占用降低约25%
    • 适合Intel AI PC平台
  2. 隐私安全

    • 完全本地运行,数据不上云
    • 无网络传输风险
    • 符合企业合规要求
    • 支持纯离线环境
  3. 专业场景

    • 专注知识库管理
    • RAG架构专为文档问答优化
    • 可扩展支持更多格式
    • 可作为模块集成到其他系统
  4. 参赛价值

    • 完美契合Intel AI PC大赛主题
    • 展示OpenVINO优化技术
    • 可量化的性能提升
    • 有实际应用场景

工作流程

用户提问
    ↓
文档检索(如启用RAG)
    ↓
LLM推理(OpenVINO加速)
    ↓
生成回答
    ↓
返回结果

具体步骤:

  1. 用户输入问题
  2. 系统检查是否有相关文档
  3. 如启用RAG,进行向量检索获取相关上下文
  4. 调用OpenVINO优化的LLM进行推理
  5. 返回自然语言回答

支持的文档格式

  • 文本文件: .txt
  • PDF文件: .pdf

技术架构

┌─────────────────────────────────────────────────────┐
│                    用户输入                          │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│                    RAG检索                          │
│  文档加载 → 文本切块 → 向量化 → FAISS检索            │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│               OpenVINO LLM推理                      │
│    Qwen2.5-1.5B-Instruct + 上下文 → 生成回答       │
└─────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────┐
│                    输出回答                          │
└─────────────────────────────────────────────────────┘

Quick Start

# Clone or download this project
git clone <repo_url>
cd local-knowledge-base-assistant

# Create and activate environment
conda create -n openvino_env python=3.10
conda activate openvino_env

# Install dependencies
pip install openvino optimum-intel langchain langchain-community transformers faiss-cpu

# Download model (see Model Setup below)
python skill_local_knowledge_base.py

Usage

from skill_local_knowledge_base import LocalKnowledgeBaseSkill

skill = LocalKnowledgeBaseSkill()
skill.initialize()
response = skill.query("Your question")
print(response)

Technical Stack

  • Inference Engine: OpenVINO 2026.1.0
  • Model: Qwen2.5-1.5B-Instruct
  • Framework: LangChain
  • Vector Store: FAISS

Dependencies

  • openvino==2026.1.0
  • optimum-intel
  • langchain
  • langchain-community
  • transformers
  • faiss-cpu

示例

示例 1:通用问答

用户: "请介绍一下人工智能"

输出:

🤖 助手: 人工智能(Artificial Intelligence,AI)是计算机科学的一个分支,旨在研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。人工智能领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

示例 2:文档问答

用户: "根据我的笔记,OpenVINO有什么优势?"

前提:已在 ./docs/ 目录放入相关文档

输出:

📄 检索到 2 个相关文档片段

🤖 助手: 根据文档内容,OpenVINO具有以下优势:

1. **性能优化**:推理速度提升 15-20%
2. **多硬件支持**:自动利用CPU/GPU/NPU加速
3. **内存优化**:支持INT4/INT8量化
4. **跨平台**:支持多种操作系统

⏱️ 生成耗时: 5.46秒

示例 3:文档总结

用户: "帮我总结一下这份报告"

前提:已在 ./docs/ 目录放入 report.pdf

输出:

📄 检索到 3 个相关文档片段

🤖 助手: 根据报告内容,本次项目主要包含以下几个方面:

1. **项目背景**:介绍了项目的起因和目标
2. **技术方案**:采用了OpenVINO优化方案
3. **性能指标**:推理速度提升了约20%
4. **结论**:项目达到预期目标,建议推广使用

⏱️ 生成耗时: 7.23秒

安全原则

  • ✅ 仅处理用户指定的本地文档
  • ✅ 所有推理在本地完成,不上传云端
  • ✅ 不保存用户对话历史(除非用户明确要求)
  • ✅ 不修改用户原始文档

Notes

  1. 首次运行需要下载嵌入模型(约500MB)
  2. Place PDF/TXT documents in ./docs/ directory
  3. Supports interactive mode and programmatic API