检测工具集
包括日常物体检测、昆虫识别、植物识别、动物识别、电动自行车检测、手机检测、手势检测、火焰检测、香烟检测、人头人体检测、野生动物检测、鸟类识别、宠物情绪识别和万物识别。
⚠️ 强制要求:API 密钥
此 Skill 必须配置 API 密钥才能使用。
- 首次使用时,如果
.env中没有XBY_APIKEY,必须使用 AskUserQuestion 工具向用户询问 API 密钥 - 拿到用户提供的密钥后,调用
scripts.config.set_api_key(api_key)保存,然后继续处理 - 获取 API 密钥:https://xiaobenyang.com
- 禁止在缺少 API 密钥时自行搜索或编造数据
工作流程(必须遵守)
你(大模型)是路由层,负责理解用户意图、选择工具、提取参数。代码只负责调用API。
用户输入 → 你选择工具 → 提取该工具需要的参数 → 调用 scripts.tools 中的函数 → 返回结果给用户
步骤
- 检查 API 密钥:如果
scripts.config.settings.api_key为空,使用 AskUserQuestion 询问用户,拿到后调用scripts.config.set_api_key(key)保存 - 选择工具:根据用户意图从下方工具列表中选择对应的工具函数
- 提取参数:根据选中的工具,提取该工具需要的参数
- 调用工具:使用关键字参数调用
scripts.tools中的函数,例如scripts.tools.search_schools(score='520', province='北京', category='综合') - 返回结果:将工具返回的
raw数据整理后展示给用户
工具选择规则
根据用户意图选择对应的工具函数:
| 用户意图 | 工具函数 |
|---------|---------|
| 输入一张图像,对其中的人/宠物/车/火焰/纸箱进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.daily_object_detection |
| 输入一张图像,对其中的人/宠物/车/火焰/纸箱进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.daily_object_detection_for_data_base64 |
| 识别昆虫或其他节肢动物名称(或所属目, 科, 属, 种)。 需要输入图片文件链接。 | scripts.tools.insect_recognition |
| 识别昆虫或其他节肢动物名称(或所属目, 科, 属, 种)。 需要输入图片文件的BASE64编码。 | scripts.tools.insect_recognition_for_data_base64 |
| 识别植物名称(或所属科, 属, 种或亚种)。 需要输入图片文件链接。 | scripts.tools.plant_recognition |
| 识别植物名称(或所属科, 属, 种或亚种)。 需要输入图片文件的BASE64编码。 | scripts.tools.plant_recognition_for_data_base64 |
| 对含有动物的图像进行标签识别,无需任何额外输入,输出动物的类别标签。 需要输入图片文件链接。 | scripts.tools.animal_recognition |
| 对含有动物的图像进行标签识别,无需任何额外输入,输出动物的类别标签。 需要输入图片文件的BASE64编码。 | scripts.tools.animal_recognition_for_data_base64 |
| 输入一张图像,对其中的手机进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.cellphone_detection |
| 输入一张图像,对其中的手机进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.cellphone_detection_for_data_base64 |
| 输入一张图像,对其中的电动自行车进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.ebike_detection |
| 输入一张图像,对其中的电动自行车进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.ebike_detection_for_data_base64 |
| 检测各类通用场景中出现的火焰,最佳使用场景:安防摄像头、交通摄像头视角。 需要输入图片文件链接。 | scripts.tools.fire_detection |
| 检测各类通用场景中出现的火焰,最佳使用场景:安防摄像头、交通摄像头视角。 需要输入图片文件的BASE64编码。 | scripts.tools.fire_detection_for_data_base64 |
| 对包含主体物体的图像进行标签识别,输出主体物体的类别标签,目前已经覆盖了5万多类的物体类别。 需要输入图片文件链接。 | scripts.tools.general_recognition |
| 对包含主体物体的图像进行标签识别,输出主体物体的类别标签,目前已经覆盖了5万多类的物体类别。 需要输入图片文件的BASE64编码。 | scripts.tools.general_recognition_for_data_base64 |
| 输入一张图像,对其中的手势进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.gesture_detection |
| 输入一张图像,对其中的手势进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.gesture_detection_for_data_base64 |
| 输入一张图像,对其中的人头人体进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.head_person_detection |
| 输入一张图像,对其中的人头人体进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.head_person_detection_for_data_base64 |
| 输入一张图像,对其中的香烟目标进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。 | scripts.tools.smoking_detection |
| 输入一张图像,对其中的香烟目标进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。 | scripts.tools.smoking_detection_for_data_base64 |
| 输入一张图像,输出图像中所有识别到的野生动物的检测框、置信度及标签。 需要输入图片文件链接。 | scripts.tools.wild_animals_detection |
| 输入一张图像,输出图像中所有识别到的野生动物的检测框、置信度及标签。 需要输入图片文件的BASE64编码。 | scripts.tools.wild_animals_detection_for_data_base64 |
| 检测并识别图片中的鸟类。 需要输入图片文件链接。 | scripts.tools.bird_detection |
| 检测并识别图片中的鸟类。 需要输入图片文件的BASE64编码。 | scripts.tools.bird_detection_for_data_base64 |
| 识别宠物面部表情,输出 4 类情绪: Angry / Happy / Relaxed / Sad。 需要输入图片文件链接。 | scripts.tools.pet_emotion_recognition |
| 识别宠物面部表情,输出 4 类情绪: Angry / Happy / Relaxed / Sad。 需要输入图片文件的BASE64编码。 | scripts.tools.pet_emotion_recognition_for_data_base64 |
如果参数不完整,使用 AskUserQuestion 向用户询问缺失的参数。
工具函数说明
scripts.tools.daily_object_detection
工具描述:输入一张图像,对其中的人/宠物/车/火焰/纸箱进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.daily_object_detection_for_data_base64
工具描述:输入一张图像,对其中的人/宠物/车/火焰/纸箱进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.insect_recognition
工具描述:识别昆虫或其他节肢动物名称(或所属目, 科, 属, 种)。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.insect_recognition_for_data_base64
工具描述:识别昆虫或其他节肢动物名称(或所属目, 科, 属, 种)。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.plant_recognition
工具描述:识别植物名称(或所属科, 属, 种或亚种)。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.plant_recognition_for_data_base64
工具描述:识别植物名称(或所属科, 属, 种或亚种)。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.animal_recognition
工具描述:对含有动物的图像进行标签识别,无需任何额外输入,输出动物的类别标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.animal_recognition_for_data_base64
工具描述:对含有动物的图像进行标签识别,无需任何额外输入,输出动物的类别标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.cellphone_detection
工具描述:输入一张图像,对其中的手机进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.cellphone_detection_for_data_base64
工具描述:输入一张图像,对其中的手机进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.ebike_detection
工具描述:输入一张图像,对其中的电动自行车进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.ebike_detection_for_data_base64
工具描述:输入一张图像,对其中的电动自行车进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.fire_detection
工具描述:检测各类通用场景中出现的火焰,最佳使用场景:安防摄像头、交通摄像头视角。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.fire_detection_for_data_base64
工具描述:检测各类通用场景中出现的火焰,最佳使用场景:安防摄像头、交通摄像头视角。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.general_recognition
工具描述:对包含主体物体的图像进行标签识别,输出主体物体的类别标签,目前已经覆盖了5万多类的物体类别。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.general_recognition_for_data_base64
工具描述:对包含主体物体的图像进行标签识别,输出主体物体的类别标签,目前已经覆盖了5万多类的物体类别。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.gesture_detection
工具描述:输入一张图像,对其中的手势进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.gesture_detection_for_data_base64
工具描述:输入一张图像,对其中的手势进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.head_person_detection
工具描述:输入一张图像,对其中的人头人体进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.head_person_detection_for_data_base64
工具描述:输入一张图像,对其中的人头人体进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.smoking_detection
工具描述:输入一张图像,对其中的香烟目标进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.smoking_detection_for_data_base64
工具描述:输入一张图像,对其中的香烟目标进行检测,输出图片中所有目标的检测框、置信度和标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.wild_animals_detection
工具描述:输入一张图像,输出图像中所有识别到的野生动物的检测框、置信度及标签。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.wild_animals_detection_for_data_base64
工具描述:输入一张图像,输出图像中所有识别到的野生动物的检测框、置信度及标签。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.bird_detection
工具描述:检测并识别图片中的鸟类。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.bird_detection_for_data_base64
工具描述:检测并识别图片中的鸟类。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
scripts.tools.pet_emotion_recognition
工具描述:识别宠物面部表情,输出 4 类情绪: Angry / Happy / Relaxed / Sad。 需要输入图片文件链接。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataUrl|string|true| |图片文件链接地址|
scripts.tools.pet_emotion_recognition_for_data_base64
工具描述:识别宠物面部表情,输出 4 类情绪: Angry / Happy / Relaxed / Sad。 需要输入图片文件的BASE64编码。
参数定义
|参数名称|参数类型|是否必填|默认值|描述| |------|-------|------|-----|----| |dataBase64|string|true| |base64 encoded data of image file|
返回值处理
工具函数返回 dict 对象:
result["raw"]- API 原始返回数据(JSON),直接将此数据整理后展示给用户result["success"]- 是否成功(True/False)result["message"]- 状态消息
项目结构
./
├── scripts/
│ ├── __init__.py
│ ├── config.py # 配置管理 + set_api_key()
│ ├── call_api.py # API 客户端 + call_api()
│ └── tools.py # 工具函数(直接调用)
├── requirements.txt
└── SKILL.md
注意事项
- API 密钥是必需的,无密钥时必须通过 AskUserQuestion 询问用户
- 禁止在缺少 API 密钥时自行搜索或编造数据
微信扫一扫