---
title: "Millwright：基于 Rust 的自托管 LLM 路由器"
source: "Hacker News 热门（Algolia · 中文化）"
source_tier: "t2"
url: "https://github.com/Northwood-Systems/millwright"
permalink: "https://feed.astralor.com/items/itm_434d8cdb5261500af7394704"
published: "2026-07-22T19:03:50.000Z"
score: 69
channel: "ai"
tags: ["LLM路由器","Northwood Systems","Rust","自托管"]
---

# Millwright：基于 Rust 的自托管 LLM 路由器

## AI 点评

> 如果你正在为多个 LLM API 的编排和成本发愁，Millwright 的确定性路由方案值得一试。Rust 实现和自托管特性让它特别适合对延迟和安全有苛刻要求的团队。

## 速览

Millwright 是一个用 Rust 编写的自托管 LLM 路由器，主打成本可控、确定性路由和高性能。它默认安全私密，支持多模型负载均衡与 fallback，适合需要本地化部署、低延迟和高可靠性的 AI 应用场景。项目已在 GitHub 开源，可灵活集成到现有推理后端。

## 关键点

- 基于 Rust 开发，性能高且内存安全
- 支持自托管，默认安全私密
- 提供确定性路由与成本控制机制
- 支持多模型 fallback 与负载均衡

## 全文

Self-hosted LLM router. Cost effective, deterministic, and fast. Secure and private by default. - Northwood-Systems/millwright

---

引用前请核对原文;本文由星际流动整理:https://feed.astralor.com/items/itm_434d8cdb5261500af7394704