Heartbeat
每 10 分钟自动检查以下任务。
Travel Agent 任务
1. Wiki 同步检查
- 检查 Wiki 内容是否需要同步
- 确保服务器运行正常
2. 爬取进度检查
检查步骤
-
读取当前进度
DONE=$(wc -l < /tmp/done_works.txt 2>/dev/null || echo 0) NEW=$(wc -l < /tmp/new_results_dedup.json 2>/dev/null || echo 0) -
读取上次进度(保存到 /tmp/last_progress.txt)
LAST=$(cat /tmp/last_progress.txt 2>/dev/null || echo 0) -
比对进度
- 如果 DONE > LAST:进度正常,更新 last_progress.txt
- 如果 DONE == LAST 且 LAST > 0:可能卡住,检查问题
- 如果连续 3 次无进度:通知用户
问题诊断
-
检查爬虫进程是否在运行
pgrep -c -f "python.*crawl" -
检查 cron 任务是否正常
crontab -l | grep crawl -
检查最新日志
tail -20 /tmp/crawler.log
常见问题及解决
| 问题 | 解决方案 |
|---|---|
| 进程未运行 | 重启爬虫脚本 |
| cron 任务丢失 | 重新添加 crontab |
| MCP 调用失败 | 检查 mcporter 配置 |
| 速率限制 | 等待后重试 |
通知条件
- 连续 3 次检查无进度
- 爬虫进程异常退出
- 无法自动解决的问题
进度记录
| 时间 | 已处理 | 新结果 | 状态 |
|---|---|---|---|
| 2026-02-26 10:35 | 120 / 318 | 21 | 检查完成 |
由 Travel Agent 维护