You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
virt/docs/ADMIN_OPERATIONS.md

6.0 KiB

系统运行与异常任务

管理员入口:/admin/operations。沿用 Venix 管理主题,任务列表由业务数据库直接渲染;运行检查随后异步加载,不等待引擎才显示任务。

宿主机容量和公网 IP 以资源池、调度策略及面板 reservation/IP 账本为准。本页不触发宿主机盘点,也不依赖盘点诊断表;实例创建和换 IP 请求会把具体 reservation、地址池、IP 与 operation_id 交给私有引擎做最终校验。响应不确定时按操作标识核对,不能重复执行原请求。

查看范围

  • 覆盖创建、电源操作、重装、救援、删除及到期、流量策略任务。
  • 默认“需要关注”:失败、待核对、已可调度超过 5 分钟且无有效租约的排队任务、执行租约已过期的运行中任务。未来的重试等待和无租约的正常核对轮次不会仅因等待而标为租约过期。
  • 可按任务状态、类型、宿主机、任务编号、操作标识、实例名称或 UUID 筛选;每页 20/50/100 条。摘要统计跟随当前筛选。
  • 详情区分操作人和实例所属用户,展示调度时间、尝试次数、脱敏错误和关联入口。实例已经删除或关联丢失时仍保留任务记录,不猜测所属用户。

列表、详情和健康检查保持数据库快照读取;超级管理员可以对快照创建/恢复/删除、实例删除及到期清理任务使用“中止任务”按钮;已经派发并陷入 uncertain 核对循环的电源任务也可中止。排队中或 running 的电源任务不允许中止,避免第一个宿主机动作尚在执行时就放开第二个动作。中止只在数据库事务中将未结束任务标记为 cancelled、清除执行租约并阻止后续 worker 领取,不删除任务、不退款,也不向引擎发送补偿请求。已经派发到引擎的操作不会被假定已回滚,快照/删除关联状态会保守保留为待核对,expiry_delete 会进入 purge_failed 等待人工核查。租约过期不等于操作失败,不应据此手动重放破坏性操作。

GET /api/v1/admin/operations
GET /api/v1/admin/operations/jobs/{id}
GET /api/v1/admin/operations/health
POST /api/v1/admin/operations/jobs/{id}/cancel

需要管理员会话,响应禁止缓存,POST 还需要管理端 CSRF 令牌。读取任务不创建引擎会话、不读取租约令牌、不返回原始结果 JSON 或任务密文。仅当 kind=action 时,服务端才条件读取加密载荷,并在服务端解密、校验 start/shutdown/reboot/poweroff/reset 白名单,用于安全标签和中止门禁;密文和其他载荷字段始终不进入浏览器响应。健康检查独立发送签名的引擎健康请求。重复中止同一任务是幂等的;已完成任务、非允许类型、不可验证电源载荷或不存在任务返回受控错误。

运行状态的含义

  • 业务/日志数据库:只读 SELECT 1 成功,不代表全部表结构或业务数据正确。MySQL 使用独立、非持久连接,连接及读取超时各为 2 秒;仅在支持 mysqlnd 的 PDO 驱动下探测,临时读取超时配置在检查后恢复,不修改应用共享连接。驱动或运行环境不支持短超时设置时显示未知,不回退到无界连接;SQLite 保持原有只读查询。日志库未启用则明确显示未启用。DNS 解析不受这些连接/读取超时完整约束,因此不能将它们理解为整个健康接口的硬总时限。
  • 私有引擎:签名接口和引擎存储检查通过,不代表每台宿主机或虚拟机正常。引擎请求有 4 秒超时。
  • Redis:配置后检查 PING;独立客户端使用 1 秒连接/读写超时,不影响应用共享客户端,也不验证缓存内容。
  • 普通 worker、策略 worker、生命周期调度:读取本机最近运行记录;不是 systemctl 状态,也不是对进程仍然存活的保证。页面可见时每 30 秒检查一次,不刷新整个任务列表;检查失败时明确标记保留的是旧状态。

“近期上报进程数”不是任务数量,也不能证明期望的全部策略 worker 已启动。新安装、旧进程尚未升级、权限不符合或只运行过 --once 时显示未知;不要把未知当作正常。

升级与心跳目录

无需数据库迁移或额外采集软件。新 worker 在 web/storage/cloud-runtime/ 原子写入私有心跳:目录 0700,文件 0600。网页 PHP 与 worker/lifecycle 应按部署文档使用同一系统用户;所有者不符或目录不可读时显示未知,不建议放宽权限解决。目录位于 Web 文档根之外并已加入 .gitignore。

已运行的 PHP 常驻进程不会自动载入新代码。使用在线更新流程会重启相关服务;手动更新则按现有维护流程,在任务安全的维护窗口重启普通 worker、生命周期调度和实际部署的全部策略 worker。标准服务名为:

virt-cloud-worker.service
virt-cloud-lifecycle.service
virt-cloud-policy-worker@1.service
virt-cloud-policy-worker@2.service

不要仅为获得心跳而中断正在重装/删除的任务。通过既有服务日志确认任务情况;缺少心跳不会改变现有任务处理逻辑。

观测写入失败不会中止任务。记录只包含固定阶段、固定错误分类和时间,不记录密码、邮箱、载荷或原始异常。每个进程独立记录,读取有数量与大小上限,启动时有限清理超过 7 天的私有旧记录。

新鲜度判断:空闲/错误记录 90 秒;策略 worker 忙碌阶段 180 秒;普通 worker 与生命周期的忙碌阶段 1200 秒。长操作宽限仅用于避免把正常等待立即报为失联,不改变任务超时或租约。超时表示“需检查”,不直接判定进程死亡。内部部分任务或账单/邮件处理失败也记录需关注,成功轮次才清除未恢复错误。

这是面板所在机器的辅助诊断入口:不同机器上的 worker 不共享此目录;面板或主数据库完全不可用时仍需要外部监控和 SSH 日志,不能依赖该页面告警。