Exo Cluster

Exo 分布式 AI 集群

将闲置设备整合为统一算力集群

概述

Exo 可将多台 Mac、PC、手机等设备整合为一个 GPU 集群，在本地运行大模型。

项目 信息 Stars 44.5K 官网 https://exolabs.net/ GitHub exo-explore/exo 支持的模型 DeepSeek V3 / V2 Qwen3-235B Kimi2-Thinking LLaMA (MLX) Mistral LlaVA 触发词

搭建集群 / exo集群 / 本地部署大模型 / 分布式推理

环境准备 Mac (推荐) # 1. 安装 Xcode xcode-select --安装

# 2. 安装 Homebrew /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/安装/HEAD/安装.sh)"

# 3. 安装依赖 brew 安装 uv node rust

# 4. 安装 Exo git clone https://github.com/exo-explore/exo cd exo

Linux + NVIDIA # 安装 CUDA 和相关驱动 # 然后同样 clone exo git clone https://github.com/exo-explore/exo cd exo

快速开始 方式一：Nix（最简单） # 如果有 Nix nix 运行 .#exo

方式二：手动安装 cd exo

# 启动主节点 python -m exo.mAIn --角色 master --port 8080 --name "home-cluster"

# 其他设备加入（从节点） python -m exo.mAIn --角色 worker --master-添加r 主节点IP:8080 --name "设备名"

# 低配设备轻量模式 python -m exo.mAIn --角色 worker --master-添加r 主节点IP:8080 --light-mode

查看和部署模型 查看可用模型 python -m exo.master.API --列出-avAIlable-模型s

部署模型 # 部署 DeepSeek 7B python -m exo.master.API --部署-模型 deepseek-7b --min-nodes 2 --max-nodes 4

# 部署更大的模型 python -m exo.master.API --部署-模型 qwen3-235b --min-nodes 2 --max-nodes 4

使用 API

Exo 提供多种 API 兼容：

OpenAI 风格 curl http://localhost:52415/v1/chat/completions \ -H "Content-Type: 应用/json" \ -d '{ "模型": "deepseek-7b", "messages": [{"角色": "user", "content": "你好"}] }'

Claude 风格 curl http://localhost:52415/v1/messages \ -H "Content-Type: 应用/json" \ -d '{ "模型": "deepseek-7b", "messages": [{"角色": "user", "content": "你好"}] }'

Ollama 风格 curl http://localhost:52415/API/生成 \ -d '{"模型": "deepseek-7b", "prompt": "你好"}'

集群管理 打开 仪表盘 http://主节点IP:52415

查看集群状态 python -m exo.mAIn --状态

硬件诊断 python -m exo.utils.信息_gatherer.系统_信息 --detAIled

性能优化 推荐配置 设备数量 推荐模型 内存要求 1 台 7B ~16GB 2 台 14B ~32GB 4 台 70B ~128GB 4 台 Mac Studio 512GB 671B (8-bit) 2TB 统一内存 优化技巧 使用 RDMA over Thunderbolt（Mac 之间） 启用 Tensor Parallel 模型量化（8-bit / 4-bit） 调整任务分配策略 常见问题 Q: 设备发现不了？

A: 确保在同一局域网，使用有线或 5GHz WiFi

Q: 跑不动大模型？

A: 从 7B 开始测试，确认单设备能跑再增加节点

Q: 速度慢？

A: 使用 Thunderbolt 联网，或启用 RDMA

快速指令表 需求 命令 启动主节点 exo --角色 master 设备加入集群 exo --角色 worker --master-添加r IP 部署模型 exo --部署-模型 模型名 查看模型列表 exo --列出-模型s 查看状态 exo --状态 打开管理界面 http://localhost:52415 与 OpenClaw 集成

可以配合使用：

在 Mac 上部署 Exo 集群 通过 API 调用模型 OpenClaw 作为前端交互

示例：

# 让集群运行推理 curl -X POST http://mac-server:52415/v1/chat/completions \ -d '{"模型": "deepseek-7b", "messages": [{"角色": "user", "content": "解释量子计算"}]}'

Exo | 分布式 AI 集群框架