纯内网离线部署与本地模型接入(vLLM / Ollama)
AIST 从架构设计之初就完整支持无外网(Air-Gapped)企业内网环境,数据、客户端安装包与模型流量全程不出内网。
为什么开箱支持完全断网运行
- 镜像内置全平台客户端:
ghcr.io/llaoj/aist-server镜像(总大小约 42 MB)已在/usr/share/aist/client内置全部 7 个 Linux / macOS 平台的客户端压缩包与checksums.txt。 - 闭环安装脚本:内网机器执行
curl -fsSL https://aist.corp.internal/run.sh | sh时,脚本直接从本服务端/releases/client/下载并校验二进制,零外网请求,不依赖 GitHub 或公共 CDN。 - 零外部静态依赖:落地页
/与注册页/register的所有 HTML、CSS、SVG 与 JS 均已静态编译进server二进制。
第 1 步:离线导出并导入服务端镜像
在有外网的机器拉取并导出镜像:
bash
docker pull --platform linux/amd64 ghcr.io/llaoj/aist-server:0.6.0
docker save ghcr.io/llaoj/aist-server:0.6.0 | gzip > aist-server-0.6.0-amd64.tar.gz拷贝到内网服务器后加载并启动:
bash
docker load -i aist-server-0.6.0-amd64.tar.gz按 Docker Compose 生产部署 启动容器,并在后台 Settings → Application → Application URL 填入内网访问地址(如 https://aist.corp.internal;若使用企业自签证书,请确保客户端机器已信任内网根证书)。
第 2 步:接入内网 vLLM 或 Ollama
任何兼容 OpenAI /chat/completions 接口且**支持 Tool Calling(函数调用)**的模型服务均可直接接入。
IMPORTANT
排障闭环高度依赖稳定的工具参数生成与读写命令判别能力,建议选用 32B 及以上规模的指令模型(如 Qwen2.5/Qwen3-32B+、DeepSeek-V3/R1 系列等),不建议使用 9B 以下小模型。
接入 vLLM
启动 vLLM 时请开启工具调用解析参数(以 Qwen 为例):
bash
vllm serve Qwen/Qwen2.5-32B-Instruct \
--enable-auto-tool-choice \
--tool-call-parser hermes \
--max-model-len 65536 \
--port 8000在 AIST 管理后台(/_/)配置:
upstream_providers:name:intranet-vllmbase_url:http://192.0.2.50:8000/v1api_key:未设鉴权可留空(留空时服务端转发不携带Authorization头),若有--api-key则填入enabled:启用
upstream_models:provider:intranet-vllmname:Qwen/Qwen2.5-32B-Instructdisplay_name:Qwen 2.5 32B(内网)priority:10context_window:65536max_output_tokens:8192enabled:启用
接入 Ollama
将 Ollama 监听对 AIST 服务端开放后,在后台配置:
upstream_providers:name:local-ollamabase_url:http://192.0.2.51:11434/v1api_key:留空即可enabled:启用
upstream_models:name:如qwen2.5:32bcontext_window:与 Ollama Modelfile 中配置的num_ctx保持一致
第 3 步:内网跳板机与运维终端一键安装
在内网任意 Linux 或 macOS 机器上执行:
bash
curl -fsSL https://aist.corp.internal/run.sh | sh即可完成离线安装、校验与登录。