工程实践
249 篇文章
- 4.5
Dual-Track CoT: Budget-Aware Stepwise Guidance for Small LMs
双轨 CoT 为小模型提供预算感知的分步推理引导
- 4.5
FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments
FAMA 失败感知元 agent 框架处理对话基准中工具使用的级联错误
- 4.5
CroSearch-R1: Better Leveraging Cross-lingual Knowledge for RAG
CroSearch-R1 更好利用跨语言知识补充和纠正原始语言事实用于 RAG
- 4.5
CORAL: Adaptive Retrieval Loop for Culturally-Aligned Multilingual RAG
CORAL 自适应检索循环实现文化对齐的多语言 RAG
- 7.3
GPT-5.5 prompting guide
OpenAI 发布 GPT-5.5 官方 prompting 指南，包含多步任务中间更新、工具调用前的用户可见提示等实用技巧
- 5.0
llm 0.31
llm CLI 工具 0.31 版本发布，新增 GPT-5.5 模型支持及 verbosity/image_detail 选项
- 6.5
Time, Causality, and Observability Failures in Distributed AI Inference Systems
分布式 AI 推理流水线中微小时钟偏移即可导致可观测性因果错误——即使系统功能完全正常
- 7.0
russellromney/honker — Postgres NOTIFY/LISTEN for SQLite
Honker：为 SQLite 实现 Postgres NOTIFY/LISTEN 语义的 Rust 扩展，支持队列和流式处理
- 8.0
Serving the For You feed
Bluesky For You Feed 架构揭秘：单 Go 进程 + SQLite 在客厅 PC 上服务 72,000 用户
- 6.5
Extract PDF text in your browser with LiteParse for the web
LlamaIndex 的 LiteParse 项目被移植到浏览器端，实现纯 PDF 文本解析与 OCR 回退，无需 AI 模型即可在浏览器中提取 PDF 文本
- 7.0
DASH-KV: Accelerating Long-Context LLM Inference via Asymmetric KV Cache Hashing
DASH-KV：通过非对称KV缓存哈希加速长上下文LLM推理的创新框架
- 6.0
LogosKG: Hardware-Optimized Scalable and Interpretable Knowledge Graph Retrieval
LogosKG：硬件对齐的可扩展可解释知识图谱k-hop检索框架
- 6.0
Mango: Multi-Agent Web Navigation via Global-View Optimization
Mango：利用网站全局结构动态确定最优导航路径的多智能体Web导航方法
- 7.0
Highly Efficient and Effective LLMs with Multi-Boolean Architectures
用多核布尔参数表示LLM的新型二值化框架，无需全精度潜权重即可实现高效推理
- 7.0
SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving
SAW-INT4：考虑真实LLM serving约束（paged memory、正则访存、融合attention）的4-bit KV缓存量化方案
- 6.0
Efficient Mixture-of-Experts LLM Inference with Apple Silicon NPUs
解决MoE LLM在Apple Neural Engine上推理的三大核心挑战：动态张量形状、不规则算子和显存碎片
- 6.0
[Trending] thunderbird / thunderbolt
Thunderbird 推出 AI 客户端 Thunderbolt：用户自选模型、拥有数据、消除供应商锁定。
- 5.5
[Trending] sansan0 / TrendRadar
AI 驱动的舆情与趋势监控工具，支持多平台聚合、RSS 订阅和智能告警。
- 6.0
[Trending] koala73 / worldmonitor
实时全球情报仪表盘：AI 新闻聚合、地缘政治监测、基础设施追踪的统一态势感知界面。
- 7.0
[Trending] langfuse / langfuse
开源 LLM 工程平台：可观测性、评估、提示管理、Playground、数据集，集成 OpenTelemetry/LangChain/OpenAI SDK 等。