You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
virt/docs/ADMIN_OPERATIONS.md

6.0 KiB

系统运行与异常任务

管理员入口:/admin/operations。沿用 Venix 管理主题,任务列表由业务数据库直接渲染;运行检查随后异步加载,不等待宿主机 Agent 才显示任务。

宿主机容量和公网 IP 以资源池、调度策略及面板 reservation/IP 账本为准。本页不触发宿主机盘点,也不依赖盘点诊断表;实例创建和换 IP 请求会把具体 reservation、地址池、IP 与 operation_id 交给目标宿主机 Agent 做最终校验。响应不确定时按操作标识核对,不能重复执行原请求。

查看范围

  • 覆盖创建、电源操作、重装、救援、删除及到期、流量策略任务。
  • 默认“需要关注”:失败、待核对、已可调度超过 5 分钟且无有效租约的排队任务、执行租约已过期的运行中任务。未来的重试等待和无租约的正常核对轮次不会仅因等待而标为租约过期。
  • 可按任务状态、类型、宿主机、任务编号、操作标识、实例名称或 UUID 筛选;每页 20/50/100 条。摘要统计跟随当前筛选。
  • 详情区分操作人和实例所属用户,展示调度时间、尝试次数、脱敏错误和关联入口。实例已经删除或关联丢失时仍保留任务记录,不猜测所属用户。
  • Agent 返回的稳定 cause_code 仅在管理员任务 DTO 中映射为 agent_cause_code,用于定位最初根因。该字段不进入普通用户 DTO,也不替换面板公开 error_code。

列表、详情和健康检查保持数据库快照读取;超级管理员可以对快照创建/恢复/删除、实例删除及到期清理任务使用“中止任务”按钮。中止只在数据库事务中将未结束任务标记为 cancelled、清除执行租约并阻止后续 worker 领取,不删除任务、不退款,也不向 Agent 发送补偿请求。已经派发到 Agent 的操作不会被假定已回滚,快照/删除关联状态会保守保留为待核对,expiry_delete 会进入 purge_failed 等待人工核查。租约过期不等于操作失败,不应据此手动重放破坏性操作。

GET /api/v1/admin/operations
GET /api/v1/admin/operations/jobs/{id}
GET /api/v1/admin/operations/health
POST /api/v1/admin/operations/jobs/{id}/cancel

需要管理员会话,响应禁止缓存,POST 还需要管理端 CSRF 令牌。读取任务不调用 Agent、不读取任务加密载荷或租约令牌、不返回原始结果 JSON。健康检查按已启用宿主机独立发送签名的 Agent 请求;一个 Agent 离线不应把其他宿主机伪装为离线。重复中止同一任务是幂等的;已完成任务、非允许类型或不存在任务返回受控错误。

运行状态的含义

  • 业务/日志数据库:只读 SELECT 1 成功,不代表全部表结构或业务数据正确。MySQL 使用独立、非持久连接,连接及读取超时各为 2 秒;仅在支持 mysqlnd 的 PDO 驱动下探测,临时读取超时配置在检查后恢复,不修改应用共享连接。驱动或运行环境不支持短超时设置时显示未知,不回退到无界连接;SQLite 保持原有只读查询。日志库未启用则明确显示未启用。DNS 解析不受这些连接/读取超时完整约束,因此不能将它们理解为整个健康接口的硬总时限。
  • 宿主机 Agent:已认证出站 WSS 会话、内层签名健康接口和本地操作日志可用,不代表每台虚拟机都正常。页面分别展示数字 Agent ID、最后测试时间和受控错误,不存储或展示宿主机 endpoint;健康请求必须有短超时。
  • Redis:配置后检查 PING;独立客户端使用 1 秒连接/读写超时,不影响应用共享客户端,也不验证缓存内容。
  • 普通 worker、策略 worker、生命周期调度:读取本机最近运行记录;不是 systemctl 状态,也不是对进程仍然存活的保证。页面可见时每 30 秒检查一次,不刷新整个任务列表;检查失败时明确标记保留的是旧状态。

“近期上报进程数”不是任务数量,也不能证明期望的全部策略 worker 已启动。新安装、进程尚未启动、心跳不可读或只运行过 --once 时显示未知;不要把未知当作正常。

升级与心跳目录

全新安装由 php xcat cloudInit 创建所需表。worker 在 web/storage/cloud-runtime/ 原子写入私有心跳;网页 PHP 与 worker/lifecycle 应使用同一系统用户。目录不可读时页面显示未知,但心跳观测失败不能阻止 worker 执行业务任务。目录位于 Web 文档根之外并已加入 .gitignore。

已运行的 PHP 常驻进程不会自动载入新代码。使用在线更新流程会重启相关服务;手动更新则按现有维护流程,在任务安全的维护窗口重启普通 worker、生命周期调度和实际部署的全部策略 worker。标准服务名为:

virt-cloud-worker.service
virt-cloud-lifecycle.service
virt-cloud-policy-worker@1.service
virt-cloud-policy-worker@2.service
virt-cloud-update.service
virt-cloud-agent-gateway.service

不要仅为获得心跳而中断正在重装/删除的任务。通过既有服务日志确认任务情况;缺少心跳不会改变现有任务处理逻辑。

观测写入失败不会中止任务。记录只包含固定阶段、固定错误分类和时间,不记录密码、邮箱、载荷或原始异常。每个进程独立记录,读取有数量与大小上限,启动时有限清理超过 7 天的私有旧记录。

新鲜度判断:空闲/错误记录 90 秒;策略 worker 忙碌阶段 180 秒;普通 worker 与生命周期的忙碌阶段 1200 秒。长操作宽限仅用于避免把正常等待立即报为失联,不改变任务超时或租约。超时表示“需检查”,不直接判定进程死亡。内部部分任务或账单/邮件处理失败也记录需关注,成功轮次才清除未恢复错误。

这是面板所在机器的辅助诊断入口:不同机器上的 worker 不共享此目录;面板或主数据库完全不可用时仍需要外部监控和 SSH 日志,不能依赖该页面告警。