Hallucination Check — 幻觉检查
v1.0.0采用双重策略(UQLM + 基于规则的回退)的LLM幻觉检测器。评估任何AI输出的置信度,并标记潜在的幻觉风险。
运行时依赖
安装命令
点击复制技能文档
幻觉检查 检测LLM输出的AI幻觉风险。主要使用UQLM(不确定性量化)作为评分器,当UQLM依赖项不可用时,使用基于规则的回退。 快速开始 # 安装 pip install uqlm # 检查文本 hallucination-check --input "根据我的分析,这可能是新算法,我不太确定具体参数" # → 置信度: 65.3% | 建议: 低置信度,建议重新生成 # JSON输出 hallucination-check --input "..." --json # 从文件检查 hallucination-check --file response.json --field text 工作原理 LLM输出 → UQLM评分器 → 置信度0-1 → 阈值检查 ↓ 基于规则的关键字标志 ↓ 输出:安全/警告/危险 双重策略模式 当精度高时(语义熵 + 最小令牌概率) UQLM pip install uqlm 已完成 中等(关键字 + 模式匹配) 阈值 --threshold 0.3(默认):低于 = 高风险 标志:模糊语言、无来源数字、矛盾模式 对于开发者 核心函数是check_text(text, context=""): from hallucination_check import check_text result = check_text("AI生成的内容", context="指令") print(result["confidence"], result["suggestion"]) 注意 UQLM需要transformers<5.0.0(请参阅pypi以获取版本兼容性) 规则回退是零依赖的,可以在任何地方工作 最好在执行关键操作之前使用(代码执行、SQL、外部发送)