研究原型 · 智能体安全
AgentGuard-Chain
面向 LLM Agent 的工具调用安全监督原型。安全边界放在 Agent 生成工具调用之后、工具真实执行之前,对文件访问、命令执行、API 调用和外发行为做审计、评分、阻断与留证,并检测“敏感读取 → 外部发送”这类跨步骤风险链。
角色:仓库贡献者列表仅含本账号,这不等于独立完成;参赛名称与结果待作者补充。
- Python
- Streamlit
问题与背景
背景Agent 生成的工具调用如果直接执行,会暴露在提示注入、工具调用劫持、危险命令执行、敏感文件访问、API 越权和多步外传等风险之下。项目面向比赛题目“面向大模型及其应用的安全性研究”,目标是监督工具调用本身,而不只是过滤 prompt。
已实现的功能
已实现- 输入风险标注:识别提示注入、越狱式请求和可疑上下文。
- 工具调用前审查:统一审查文件、命令、API、消息、邮件等调用。
- 行为链检测:检测“敏感读取 → 外部发送”“写脚本 → 执行脚本”等跨步骤风险链。
- 人工确认:决策分为 allow / ask / deny,ask 可自动拒绝、自动允许或交互确认。
- 结果审查与脱敏:检查工具返回内容中的密钥、密码、token 等敏感信息。
- 审计留证:以 JSONL 记录工具调用事件、网关决策、执行结果和解释,并在 Streamlit Dashboard 中展示指标、告警和风险链。
架构
已实现Agent / LLM planner
↓
ToolCallEvent
↓
AgentGuardGateway
↓
PolicyEngine + ParameterChecker + ChainDetector + RiskScorer
↓
allow / ask / deny
↓
Tool executor
↓
ResultInspector + OutputRedactor
↓
AuditLogger
↓
Dashboard当前状态
当前状态安全网关、MiniAgent 的脚本与 LLM 两种模式、CoreCoder 受监督的离线回放与真实模式入口、风险解释器和基础 Dashboard 已完成。
脚本化数据集包含 200 个 case、228 次工具调用;65 个单元测试通过。这些数字由仓库 README 自述,本站没有重新运行验证。
相关项目
研究原型
EvoTeam
基于 openJiuwen Core 的经验驱动多智能体组织演进系统。平时按当前 Strategy 执行任务,只有重复失败等证据达到阈值时才离线生成候选策略,经独立验证后才改变后续任务默认采用的组织方式。
- Python
- Pydantic
- openJiuwen Core
- SQLite
研究原型
aigc_detector
检测 AIGC 生成内容并进行模型溯源的系统仓库,包含检测、溯源与数据接入等模块。
- Python
研究原型
MARS
面向企业协作场景的 Agent 记忆管理引擎原型,计划把飞书群聊、笔记与会议讨论整理成带来源的结构化记忆。目前为本地 MVP:已完成数据模型、SQLite 存储与样例聊天导入,记忆抽取与检索尚未实现。
- Python
- FastAPI
- Pydantic
- SQLite