确定性视觉层
逐帧 · 毫秒级负责看得准、判得快
目标检测、关键点姿态、ROI 与规则阈值在同一帧闭环；相同输入可复算出相同结果，适配产线节拍，也便于离线回归验证。
- YOLO11 目标检测 + COCO 17 点姿态
- ROI、置信度阈值、角度与位移规则
- WebGPU 加速，可降级 WebNN / WASM
- 结果可复算，不受模型随机性影响
AI 视觉检测 · 人员动作防错 SOP
动作对不对，当场给结论
确定性视觉模型逐帧判定作业动作，大模型只在需要时做语义复核：错做、漏做与异常在工位上被拦下，每条结论都带可追溯的证据，图像全程不出终端。
传统视觉打底 · 大模型兜底 · 结论三态可追溯
SOP 步骤判定 总装线 A-07 · 线束插接工位
- 取料核对 通过
- 护套插接 通过
- 力矩紧固 复核中
- 目视自检 待判定
大模型复核 腕部角度受遮挡，证据不足
连续 6 帧目标被手臂遮挡，视觉层无法确认角度区间，转语义复核判断手势是否在标准范围内。
复核窗口剩余 4.2s · 超时记不确定 判定结论 uncertain · 不计入通过 复核未返回前，本步骤不推进、不流转
画面留在终端 · 仅上传结构化结果 证据带时间戳，可回放可追溯
逐帧判定大模型按需复核三态结论图像不出终端全程留痕
判定架构
视觉打底研判，大模型兜底复核
把“判得快”和“说得清”拆给两层引擎：确定性视觉层负责节拍内的可复算判定，大模型语义层只处理遮挡与长尾场景，两层结论统一收敛为三态结果。
大模型语义层
按需 · 可解释负责说得清、能兜底
只在步骤要求复核或结果不确定时介入，对画面做语义二次确认并输出自然语言依据；不参与高频路径，可整体关闭以释放算力。
- 对遮挡与少见姿态做语义二次确认
- 输出可读判定依据，供人工核验
- 不确定即回落人工确认，不强行通过
- 关闭时不加载权重，彻底释放资源
什么场景交给谁判
| 场景 | 判定方 | 为什么 |
|---|---|---|
| 目标在位、顺序、到位姿态 | 确定性视觉层 | 高频、可量化，阈值规则即可稳定判定，逐帧可复算。 |
| 遮挡、反光、少见姿态 | 大模型语义层 | 长尾场景规则难穷举，语义理解给出可读依据，便于人工复核。 |
| 两层都无法确认 | 人工确认 | 宁可停下也不放过：uncertain 一律不计入通过，升级现场处理。 |
| 结论落账与追溯 | 结构化记录 | 模型版本、模式、置信度与证据时刻按步骤落账，支持按轮回放。 |
单次判定流水线
- 01
端侧取流
工位摄像头取流后在本机浏览器 Dedicated Worker 内推理，画面不出终端。
本地 · 逐帧 - 02
目标定位
检测工件、工具与手部目标，ROI 与 IoU 跟踪保证跨帧稳定绑定。
检测 + 跟踪 - 03
姿态与时序
还原关键点骨架，计算角度、位移方向与停留时长，对照 SOP 步骤要求判定。
姿态 + 计时 - 04
语义复核
命中复核条件或结果不确定时，由大模型二次确认并给出可读依据。
按需 · 可选 - 05
结构化留痕
按步骤写入模型版本、模式、置信度与证据时刻，形成可追溯记录。
全留痕
统一的三态判定
matched 通过 判定与时限核验同时满足，允许推进下一道工序。
自动推进下一工位步骤→not_matched 不通过 漏步骤、错序、超时或姿态不达标，当下即被识别。
现场提示并阻断流转→uncertain 不确定 证据不足或复核超时，一律不记为通过，宁可停下也不放过。
升级人工确认后放行→判定护栏
- 迟到证据按轮次丢弃，画面与姿态超期不参与判定
- 同一帧证据不可重复完成相邻步骤，避免连点蒙混
- 轮次中锁定发布版本、检测模式与来源代次，禁止中途切换
- 页面隐藏、摄像头关闭或会话失联立即中断轮次，恢复不续跑
- 对外只有结构化判定结果，原始图像不落盘、不出厂
人员动作防错 SOP
把“应做”变成看得见的证据
作业指导书拆成可判定的步骤：谁来做、做多久、做成什么样，都由视觉证据逐步校验；错做、漏做与异常当场收口，不再等到终检才发现。
当前轮次 总装线 A-07 · 线束插接工位 混合模式 · SOP v3.2 发布版 第 3 步待确认
SOP 步骤逐项判定
| 步骤 | 判定要求 | 时限 | 当前状态 | 系统动作 |
|---|---|---|---|---|
| 01 取料核对 | 识别线束色标与料盒标签，确认取用型号与当前工单一致 | ≤ 3s | 通过 | 自动推进下一工位步骤 |
| 02 护套插接 | 手部进入插接区，位移方向与插口轴线一致并停留达标帧数 | ≤ 6s | 通过 | 记录执行时刻与置信度 |
| 03 力矩紧固 | 腕部角度落在标准区间，连续保持到规定帧数后判定到位 | ≤ 8s | 不确定 · 遮挡 | 大模型复核后确认通过 |
| 04 目视自检 | 头部朝向观测位，视线覆盖插接口且持续到判定帧数 | ≤ 4s | 进行中 | 等待判定达标后放行 |
| 05 扫码放行 | 确认扫码动作完成，且人员已离开设备安全区 | ≤ 3s | 未开始 | 等待前序步骤全部通过 |
错、漏、异常一次收口
错 错
- 典型表现
- 拿错物料、步骤错序、手势方向相反
- 判定手段
- 目标类别校验 + 步骤序号与顺序约束
- 处置结果
- 即时拦截，回到正确步骤重做
漏 漏
- 典型表现
- 漏拧螺钉、漏插线束、漏做自检
- 判定手段
- 步骤字段缺失检测 + 相邻步骤递进约束
- 处置结果
- 工位不流转，补齐后放行
异常 异常
- 典型表现
- 超时、迟到作业、非授权人员介入、遮挡取证失败
- 判定手段
- 步骤时限 + 主体身份 + 画面新鲜度校验
- 处置结果
- 标记异常轮次并推送班组长
从拦截到改善的闭环
-
拦截
偏差当下阻断流转，不良不流向下一工位。
-
提示
工位声光与屏显指引，明确改哪一步、怎么做。
-
复核
语义复核或人工确认补齐证据，uncertain 不放行。
-
记录
轮次、步骤、模式与证据时刻结构化落账。
-
改善
按步骤聚合误判与漏检，驱动 SOP 与阈值迭代。
工位按视觉账号与 SOP 发布版本授权；调整配置即刻生效，历史轮次仍按当时的发布版本追溯，责任边界清晰。
应用场景
从装配到发运，动作处处有防错
只要作业能拆成“可判定的步骤”，就能接入同一套判定引擎；不同场景只差 SOP 配置与阈值，不需要重复开发。
装配防错
装配线束插接、螺栓紧固、卡扣压合等工序的动作防错。
- 物料型号与工单一致
- 插入方向与到位停留
- 紧固手势与持续时长
安全穿戴合规
安全进入工位前的劳保穿戴检查，不合格不放行。
- 安全帽、护目镜在位
- 手套佩戴与手部跟踪一致
- 离岗未摘除不记违规
设备点检巡检
点检点检表动作化：看什么、按哪里、读哪个表，逐步校验。
- 点位到位与停留时长
- 仪表读数区域注视
- 漏项当场提示补做
包装发运复核
发运装箱、封箱、贴标与扫码的完整性复核。
- 装箱数量与顺序
- 标签朝向与位置
- 扫码放行与安全区确认
闭环与治理
异常分级处置，结论全程留痕
拦截在现场、确认有分级、记录可回放：检测不是终点，把偏差变成可追溯、可改善的闭环才是。
三级处置升级
工位即时处置
声光与屏显提示，操作工按指引补做或重做，轮次继续。
班组长确认
异常轮次或反复 uncertain 推送班组长，现场裁决放行或返工。
质量工程师改善
按步骤聚合偏差趋势，回流到 SOP 修订与阈值调优。
部署与集成
- 01 边缘部署：检测与复核都在终端浏览器与边缘节点完成，断网可继续判定
- 02 工位授权：独立视觉账号绑定工位，与系统登录身份隔离
- 03 版本锁定：SOP 与模型按不可变发布版本运行，历史轮次按版本追溯
- 04 系统联动：判定结果可推送 MES / BaseEdge 任务流，触发放行、告警或待办
审计与合规
原始图像只留在终端参与推理，不落盘、不上传；对外仅有结构化判定结果与审计记录，每条结论对应模型版本、模式、置信度与证据时刻，满足敏感场景的合规要求。