🎤 Whisper 语音转文字
6种模型尺寸 · 4种输出格式 · 多语言 · 批量
模型尺寸 —— 越大越准，越小越快
把【meeting.wav】转成中文文字，用 tiny 模型 # 最快，适合实时
把【speech.mp3】转成英文文字，用 base 模型 # 轻度使用
把【lecture.wav】转成中文文字，用 small 模型 # 日常够用
把【podcast.mp3】转成中文文字，用 medium 模型 # 高准确率
把【interview.wav】转成中文文字，用 large-v2 模型 # 专业级
把【movie.wav】转成中文文字，用 large-v3 模型 # 最高精度
输出格式
把【speech.wav】转成中文 纯文字输出TXT
把【speech.wav】转成中文 SRT字幕 ，带精确时间戳
把【speech.wav】转成中文 VTT字幕 ，用于网页播放器
把【speech.wav】转成 JSON格式 ，包含每句话的起止时间
语言选项
把【speech.wav】转成 中文 文字
把【speech.wav】转成 英文 文字
把【speech.wav】转成 日文 文字
把【speech.wav】转成 韩文 文字
把【speech.wav】自动检测语言 并转文字
批量处理
把文件夹【C:/recordings】 里所有音频批量 转成中文SRT字幕，用large-v3模型
把文件夹【C:/mp3】 里所有MP3批量转英文纯文本，用medium模型
遍历【D:/calls】 下所有wav文件，自动检测语言转成VTT字幕
📝 FunASR 中文语音识别
VAD静音分段 · 标点恢复 · 热词增强 · 声纹分离
识别 & 分句
用FunASR把【speech.wav】转中文，开启VAD 自动分段
用FunASR把【speech.wav】转中文，开启标点恢复 自动加逗号句号
用FunASR把【speech.wav】转中文，不开启VAD ，不开启标点恢复
热词 —— 专业术语识别更准
用FunASR把【speech.wav】转中文，热词 包含 "OpenCode、龙虾、去水印"
用FunASR把【tech.mp3】转中文，热词 是 "卷积神经网络、反向传播、梯度下降"
说话人分离
用FunASR把【meeting.wav】做声纹分离 ，区分3个说话人
用FunASR把【interview.wav】做声纹分离 ，区分2个说话人 ，同时转成中文文字
📐 音文对齐
词级时间戳 · 口型同步
把【speech.wav】和【script.txt】做音文对齐 ，输出每个词的时间
把【speech.wav】和【script.txt】做中文音文对齐 ，用于生成口型同步字幕
把【speech.wav】和【script.txt】做英文音文对齐 ，输出JSON格式
👁 Florence-2 视觉识别 —— 14种任务
一张图能问14种不同的问题
图片描述 —— 从概括到极详细
用Florence-2对【photo.jpg】做简要描述 # caption
用Florence-2对【photo.jpg】做详细描述 # detailed_caption
用Florence-2对【photo.jpg】做极致详细描述 # more_detailed_caption
物体检测 —— 找到图中的东西在哪
用Florence-2检测【photo.jpg】中所有物体的位置 # object_detection
用Florence-2对【photo.jpg】做密集区域描述 ，每个区域都描述一遍 # dense_region_caption
用Florence-2提取【photo.jpg】中所有候选区域 # region_proposal
用Florence-2在【photo.jpg】中找到"一只猫"的位置 # phrase_grounding
用Florence-2在【photo.jpg】中检测"红色的汽车"和"穿蓝色衣服的人" # open_vocabulary_detection
OCR 文字识别
用Florence-2识别【screenshot.jpg】中所有的文字 # ocr
用Florence-2识别【screenshot.jpg】中的文字并标注每段字的位置区域 # ocr_with_region
语义分割 —— 像素级物体分离
用Florence-2对【photo.jpg】做语义分割 # segmentation
用Florence-2识别【photo.jpg】中每个区域属于什么类别 # region_to_category
用Florence-2描述【photo.jpg】中每个检测到的区域 # region_to_description
用Florence-2把【photo.jpg】的描述转换成检测位置 # caption_to_phrase_grounding
批量视觉识别
用Florence-2对文件夹【C:/images】 中所有图片批量做简要描述
用Florence-2对【C:/screenshots】 中所有图片批量做中文OCR
🔞 NSFW 图片内容审核
五分类 · 阈值过滤 · 批量扫描 · 自动隔离
单张 & 批量检测
检测【photo.jpg】 是否包含不适宜内容检查【image.png】 的内容安全性判断【pic.jpg】属于 drawings / hentai / neutral / porn / sexy 哪一类
扫描文件夹【C:/uploads】 中所有图片，NSFW检测
阈值控制 & 自动隔离
扫描文件夹【C:/photos】，违规阈值设为0.5 # 宽松
扫描文件夹【C:/photos】，违规阈值设为0.9 # 严格
扫描文件夹【C:/images】，自动把违规文件移动到隔离文件夹
扫描文件夹【C:/images】，阈值0.7 ，自动移动到【C:/flagged】
🔍 Real-ESRGAN 超分辨率
3种模型 · 多种放大倍数 · 视频帧批量
模型选择 —— 不同内容用不同模型
用通用模型 把【small.jpg】AI放大4倍 # realesr-general-x4v3，万金油
用写实模型 把【photo.jpg】AI放大4倍 # RealESRGAN_x4plus，适合真人照片
用动漫模型 把【anime.jpg】AI放大4倍 # RealESRGAN_x4plus_anime_6B，适合二次元
放大倍数
用通用模型把【small.jpg】AI放大2倍
用通用模型把【small.jpg】AI放大4倍
批量 & 视频帧处理
把文件夹【C:/small_images】 里所有图片用通用模型批量放大4倍
把【video.mp4】拆帧后 用写实模型逐帧放大4倍 ，再合回视频
✂ RMBG 背景移除
透明 / 替换纯色 · 边缘优化 · 批量
背景处理选项
把【photo.jpg】去背景，输出透明PNG
把【photo.jpg】去背景，背景换成纯白色 #FFFFFF
把【photo.jpg】去背景，背景换成纯蓝色 #0000FF
把【photo.jpg】去背景，打开边缘细化 让头发丝更干净
把【photo.jpg】去背景，替换成白色背景 ，边缘细化打开
把文件夹【C:/product_photos】 里所有产品图批量去背景换成白色 ，格式换成PNG
🎬 去水印 / 去字幕
4种类型 · 位置指定 · 输出格式 · 检测
按去除类型
把【video.mp4】底部的硬字幕去掉 # subtitle，位置bottom
把【video.mp4】右下角的台标水印去掉 # watermark
把【video.mp4】画面中所有的水印和字幕都去掉 # all
指定位置
把【video.mp4】底部 的硬字幕去掉
把【video.mp4】顶部 的滚动字幕去掉
把【video.mp4】左侧 的竖排水印去掉
把【video.mp4】中间 的弹幕水印去掉
把【video.mp4】右下角 的logo去掉
检测 & 输出格式
检测【video.mp4】中有哪些水印和字幕 把【video.mp4】的水印全去掉，输出MP4格式
把【video.mp4】的字幕去掉，输出AVI格式 保留原始质量
🔊 MOSS-TTS 语音合成
48kHz高音质 · 语速 · 不同采样率
采样率 & 语速
用MOSS-TTS把"你好，欢迎使用龙虾"转成语音，48kHz高音质
用MOSS-TTS把"你好，欢迎使用龙虾"转成语音，24kHz普通音质
用MOSS-TTS把"你好，欢迎使用龙虾"转成语音，16kHz电话音质
用MOSS-TTS把"你好，欢迎使用龙虾"转成语音，语速0.8倍慢速
用MOSS-TTS把"你好，欢迎使用龙虾"转成语音，语速1.5倍快速
用MOSS-TTS把【script.txt】 的文本内容转成48kHz高音质语音
🎵 Qwen3-TTS 语音合成 / 克隆
三种模式：指令式 · 声音克隆 · 零样本 + 情感控制
指令式 —— 无需参考音频，描述想要的音色
用Qwen3-TTS把"今天天气很好"转成语音，用指令模式
用Qwen3-TTS用温和的女声 说"你好，欢迎致电客服中心"
用Qwen3-TTS用沉稳的男中音 说"现在是北京时间下午三点整"
声音克隆 —— 提供参考音频模仿音色
用Qwen3-TTS用克隆模式 ，参考【voice.wav】 的音色说"你好世界"
用Qwen3-TTS用克隆模式 ，参考【speaker.wav】 的音色读【script.txt】
用Qwen3-TTS用克隆模式 ，参考【teacher.wav】 的音色说"今天我们来学习机器学习"
情感 & 零样本
用Qwen3-TTS用开心的语气 克隆【voice.wav】的音色说"恭喜你通过了"
用Qwen3-TTS用悲伤的语气 克隆【voice.wav】的音色说"很遗憾告诉你"
用Qwen3-TTS用生气的语气 克隆【voice.wav】的音色说"你给我出去"
用Qwen3-TTS用零样本模式 ，直接把"明天会下雨吗"说出来
🎶 dots.tts 连续AR合成
长文本 · 预设音色 · 语速
用dots.tts把【script.txt】 转成语音，用女声01号 音色
用dots.tts把【script.txt】转成语音，用男声03号 音色，语速0.9
用dots.tts把【story.txt】全文 转成语音，48kHz，语速1.0
查看dots.tts有哪些可用音色
🤖 GPT-SoVITS 全自动语音克隆
参考音频克隆 · 跨语言 · 情感
用GPT-SoVITS克隆【voice.wav】 的音色说"你好，这是AI合成的语音"
用GPT-SoVITS克隆【ref.wav】的音色说"今天天气真好"，参考文本是"今天天气真好"
用GPT-SoVITS用中文克隆【ref.wav】 的音色说一段长文本【script.txt】
用GPT-SoVITS克隆【en_speaker.wav】 的音色用英文 说"Hello, nice to meet you"
🎨 Z-Image 文生图
正负提示词 · 尺寸 · 推理步数
用Z-Image生成一张图"一只橘猫坐在窗台上，阳光洒在它身上"
用Z-Image生成"一座未来城市的夜景" 尺寸1024x1024
用Z-Image生成"卡通风格的机器人" 尺寸768x768 ，推理步数20
用Z-Image生成"一个安静的书房", 避免出现"人物、文字、模糊"
用Z-Image生成"赛博朋克的街道"尺寸1024x1024，排除"低质量、变形" ，步数30
📼 FFmpeg 视频 / 音频处理 （非插件，直接调用）
转码 · 裁剪 · 抽帧 · 拼接 · 字幕 · 缩放 · 变速 · 滤镜 · 音频 · 更多
转码 —— 编码 / 分辨率 / 帧率 / 码率
把【video.mp4】转成H.264编码
把【video.mp4】转成H.265编码 ，分辨率1920x1080
把【video.mp4】转成H.265编码，1080p，30帧，码率5Mbps
把【video.mp4】转成VP9编码 用于网页播放
把【video.mp4】转成AV1编码 ，分辨率3840x2160
把【video.mp4】转码，视频H.265，音频AAC 128kbps ，分辨率720p
转换格式 【video.mkv】到MP4 ，保持原始质量
裁剪 —— 按时间 / 秒数
把【video.mp4】从第5秒开始截取30秒
把【video.mp4】从00:01:30开始截取到00:03:00
把【video.mp4】从第10秒开始截取60秒，保留音频
把【video.mp4】掐头去尾 ，去前5秒和后3秒
提取音频 —— 多种格式和参数
从【video.mp4】提取音频保存为MP3
从【video.mp4】提取音频保存为WAV无损
从【video.mp4】提取音频保存为16kHz单声道WAV ，用于Whisper识别
从【video.mp4】提取音频保存为FLAC无损压缩
从【video.mp4】提取音频并自动音量归一化
抽帧 —— 不同频率 / 尺寸
把【video.mp4】每秒抽1帧 保存为PNG
把【video.mp4】每5秒抽1帧 保存为PNG # 用于场景变化检测
把【video.mp4】每秒抽5帧 保存为JPG，宽度1920
把【video.mp4】每秒抽1帧，质量100%无损PNG # 用于AI超分处理
把【video.mp4】每半秒抽1帧 # 用于精细逐帧分析
拼接 —— 多文件合并 + 转场
把【clip1.mp4】和【clip2.mp4】拼接成一个视频
把【list.txt】里列出的所有视频 按顺序拼接
把【clip1.mp4】【clip2.mp4】【clip3.mp4】拼接，加淡入淡出转场0.5秒
把多段视频拼接并转成H.265编码
字幕 —— 硬字幕烙印 / 软字幕流
给【video.mp4】加上【sub.srt】硬字幕烙印
给【video.mp4】加上【sub.srt】软字幕流 ，播放器可选开关
给【video.mp4】底部添加白色硬字幕，字体大小24 ，位置偏下
给【video.mp4】添加SRT字幕，字体颜色白色 ，字号20 ，位于画面顶部
画面缩放 —— 改分辨率 / 比例裁剪
把【video.mp4】缩放成1080x1920竖屏 # 9:16 手机
把【video.mp4】缩放成1920x1080横屏 # 16:9 电脑
把【video.mp4】缩放成1080x1080正方形 ，自动居中裁剪
把【video.mp4】缩放成800x800正方形 ，填充黑边
把横屏视频 【video.mp4】转成竖屏1080x1920 ，自动居中裁剪关键画面
变速 —— 加速 / 慢放 + 音调修正
把【video.mp4】1.5倍速播放
把【video.mp4】2倍速播放 ，修正音调不变尖
把【video.mp4】0.5倍慢放 ，保留音频同步
把【video.mp4】3倍速快放 做延时摄影效果
把【video.mp4】0.25倍慢放 做子弹时间效果
叠加 —— Logo / 水印 / 角标
在【video.mp4】右上角叠加logo.png
在【video.mp4】左上角叠加透明水印 ，透明度0.5
在【video.mp4】右下角加角标 ，大小120x40像素
在【video.mp4】中心叠加水印 ，尺寸200x200 ，透明度0.3
滤镜 —— 模糊 / 锐化 / 黑白 / 去噪 / 调色
把【video.mp4】画面上坐标(100,200)处模糊一个200x150的区域 # 隐私遮挡
把【video.mp4】整体做锐化处理
把【video.mp4】转成黑白影片风格
把【video.mp4】做视频去噪处理
把【video.mp4】调整色彩平衡增强对比度
音频处理 —— 音量 / 降噪 / 均衡器
把【audio.wav】音量提升1.5倍
把【audio.wav】音量降为原来的一半 （0.5倍）
把【audio.wav】做自适应降噪去除底噪
把【audio.wav】调均衡 ，低音+3，高音+2
音视频合并 —— 替换 / 混音
把【video.mp4】的音频替换成【new_audio.mp3】
把【video.mp4】的音频替换成【new_audio.mp3】，音频偏移0.5秒对齐
把【video.mp4】混入背景音乐【bgm.mp3】 ，保留原声
截图 / GIF / 元信息
从【video.mp4】第1分30秒处截一张图
从【video.mp4】自动每隔30秒截一张图 作为预览缩略图
把【video.mp4】第10秒到第13秒转成GIF动图
把【video.mp4】第5秒开始的5秒转成480宽的GIF，每秒10帧
查看【video.mp4】的详细编码信息
静音 & 分段切分
把【video.mp4】第5秒到第10秒静音
把【video.mp4】第0分10秒到0分20秒和第1分0秒到1分15秒两段静音
用场景检测算法 把【video.mp4】自动切成多个镜头
用场景检测把【video.mp4】切分，灵敏度0.3 ，最小2秒 一段
把【video.mp4】固定切成每60秒一段
复制全部
# 本地 AI 服务可用的函数列表
# 所有服务运行在 http://127.0.0.1:9003，认证方式：HTTP Basic Auth (admin / 你在客户端设置的密码)
# 15 个 AI 模型全部本地运行，不依赖任何云服务。另有 ffmpeg 可直接在命令行调用处理音视频。
[语音识别]
POST /plugin/whisper/infer
参数: audio(文件), model(tiny/base/small/medium/large-v2/large-v3), language(zh/en/ja/ko/auto), output_format(txt/srt/vtt/json)
返回: 文字内容
用途: 语音转文字，支持 6 种模型尺寸和 4 种输出格式
POST /plugin/whisper/batch
参数: folder(目录路径), model, language, output_format
返回: 批量识别结果
用途: 遍历目录所有音频批量转文字
POST /plugin/funasr/infer
参数: audio(文件), vad(true/false), punctuate(true/false), hotwords("逗号分隔的热词")
返回: 中文文字，带时间戳
用途: 中文专精识别，支持 VAD 静音分段、标点恢复、热词增强
POST /plugin/funasr/speaker_diarize
参数: audio(文件), speakers(说话人数量)
返回: 带说话人标签的时间轴文字
用途: 区分不同发言人，用于会议/访谈记录
POST /plugin/audio_align/infer
参数: audio(文件), text(文件或字符串), language(zh/en)
返回: 每个词的起止时间戳
用途: 音频与文本词级对齐，用于口型同步、字幕精确匹配
[视觉识别]
POST /plugin/florence2/infer
参数: image(文件), task(caption|detailed_caption|more_detailed_caption|object_detection|dense_region_caption|region_proposal|ocr|ocr_with_region|segmentation|phrase_grounding|caption_to_phrase_grounding|open_vocabulary_detection|region_to_category|region_to_description)
返回: 根据任务不同返回描述/坐标/分类
用途: 14 种视觉任务：描述图片、检测物体、OCR 提取文字、语义分割、区域定位等
POST /plugin/florence2/batch
参数: folder(目录), task, output(可选输出JSON路径)
返回: 批量结果
用途: 对目录内所有图片执行同一视觉任务
POST /plugin/nsfw/infer
参数: image(文件)
返回: {drawings, hentai, neutral, porn, sexy} 各类置信度百分比
用途: 图片内容审核，5 分类
POST /plugin/nsfw/batch
参数: folder(目录), threshold(阈值0-1,默认0.7), move_flagged(true/false)
返回: 审核报告JSON
用途: 批量扫描文件夹，自动隔离违规文件
[图像处理]
POST /plugin/realesrgan/infer
参数: image(文件), model(realesr-general-x4v3|RealESRGAN_x4plus|RealESRGAN_x4plus_anime_6B), outscale(2|4)
返回: 超分辨率后的图片
用途: AI 超分辨率，3 种模型：通用、写实（真人照片）、动漫
POST /plugin/realesrgan/batch
参数: folder(目录), model, outscale, from_video(true/false)
返回: 批量超分结果
用途: 批量超分，from_video=true 时处理帧序列
POST /plugin/rembg/infer
参数: image(文件), alpha_matting(true/false), bg_color(Hex 颜色如 #FFFFFF，空=透明)
返回: 去背景后的PNG
用途: AI 背景移除，输出透明或纯色背景
POST /plugin/rembg/batch
参数: folder(目录), bg_color, format(png)
返回: 批量去背景结果
POST /plugin/watermark/infer
参数: video(文件), remove_type(subtitle|watermark|logo|all), mask_area(top|bottom|left|right|center), output_format(mp4|avi)
返回: 去水印后的视频
用途: AI 去水印/去字幕/去台标
POST /plugin/watermark/detect
参数: video(文件)
返回: 水印位置和类型信息
用途: 检测视频中水印位置
[换脸]
POST /plugin/reactor/infer
参数: source(源人脸图片), target(目标图片), face_index(多人脸时选第几张,0开始), upscale(true/false)
返回: 换脸后的图片
用途: 图片换脸
POST /plugin/reactor/video_swap
参数: source(源人脸), target(目标视频), face_index, gpu_threads(并行线程数)
返回: 换脸后的视频
用途: 逐帧视频换脸
POST /plugin/reactor/detect_faces
参数: image(文件)
返回: 每张人脸的 bbox 坐标和置信度
用途: 检测图片中人脸位置
[视频分析]
POST /plugin/vdf/compare
参数: video1(文件), video2(文件), threshold(相似度阈值 0-1), sample_rate(每秒采样帧数)
返回: 相似度分数
用途: 检测两个视频是否相同（含裁剪/变速/画中画）
POST /plugin/vdf/find_in_library
参数: query(查询视频), library(素材库目录), threshold
返回: 匹配到的视频列表
用途: 在素材库中搜索相似视频
POST /plugin/vdf/batch_dedup
参数: folder(目录), threshold, action(report|move|delete)
返回: 重复文件清单
用途: 目录内批量去重
[语音合成]
POST /plugin/moss_tts/infer
参数: text(文本或@文件路径), speed(0.5~2.0), sample_rate(16000|24000|48000)
返回: 合成音频
用途: 语音合成，48kHz 高音质
POST /plugin/qwen3_tts/infer
参数: text, mode(instruction|clone|zero_shot), reference_audio(克隆模式必需), emotion(neutral|happy|sad|angry)
返回: 合成音频
用途: 3 种模式：指令式描述音色 / 声音克隆 / 零样本。支持情感控制
POST /plugin/dots_tts/infer
参数: text(或@文件路径), voice(预设音色名), speed(语速)
返回: 合成音频
用途: 连续自回归合成，适合长文本
GET /plugin/dots_tts/voices
返回: 可用音色列表
用途: 查询 dots.tts 有哪些音色
POST /plugin/gpt_sovits/infer
参数: text, reference_audio(3~10秒参考音频), reference_text(可选,参考音频对白), language(zh|en)
返回: 克隆后的语音
用途: 全自动语音克隆+合成
[文生图]
POST /plugin/zimage/infer
参数: prompt(正提示词), negative_prompt(负提示词,可选), width(512|768|1024), height, steps(推理步数 10~50)
返回: 生成的图片
用途: 文生图，6B 参数模型
[工具类]
GET /plugin/{name}/health
返回: ok / error
用途: 检查指定插件是否正常运行
GET /ffmpeg/probe?file=路径
返回: 编码/分辨率/时长/帧率/码率/音轨等完整元信息
POST /ffmpeg/{action}
可用 action: transcode / trim / extract_audio / extract_frames / concat / add_subtitle / scale / speed / overlay / filter / audio_process / merge_audio_video / screenshot / gif / mute / split
ffmpeg 不是插件，是系统级工具。LLM 已掌握 ffmpeg 的全部用法，这里仅列出可用端点。
[调用示例]
curl -u admin:你的密码 http://127.0.0.1:9003/plugin/whisper/infer -F audio=@speech.wav -F model=large-v3 -F language=zh -F output_format=srt
curl -u admin:你的密码 http://127.0.0.1:9003/plugin/nsfw/infer -F image=@photo.jpg
curl -u admin:你的密码 http://127.0.0.1:9003/plugin/realesrgan/infer -F image=@small.jpg -F model=realesr-general-x4v3 -F outscale=4
curl -u admin:yourpass http://127.0.0.1:9003/plugin/qwen3_tts/infer -F text="你好" -F mode=clone -F reference_audio=@voice.wav -F emotion=happy
curl -u admin:yourpass http://127.0.0.1:9003/ffmpeg/probe?file=C:/video.mp4
