简介

管理家庭实验室（Homelab）中的多层 AI 推理集群，提供健康监控、专家 MoE 路由、自动节点恢复和跨 Ollama 及 llama.cpp 节点的模型部署。

功能特点

• 健康监控：实时监控集群节点状态
• 专家 MoE 路由：优化模型执行路由
• 自动节点恢复：确保集群高可用性
• 模型部署：支持跨平台模型部署
• GPU 内存规划：优化 GPU 资源利用
• Docker 卷策略：适用于大型模型的存储管理
• 顺序启动模式：避免 CUDA 死锁
• 统一 API 网关：通过 LiteLLM 提供简化的 API 访问

使用示例

# 示例命令，启动集群
./start-cluster.sh

配置指南

请参考 配置文档 以获取详细设置指南。