INFRAMIND: Infrastructure-Aware Multi-Agent Orchestration
国际讯息小编点评：多智能体协作，终于开始考虑“供电插座”了。
arXiv新论文提出INFRAMIND框架，一种基础设施感知的多智能体LLM编排方法。现有方法仅根据任务和模型选择模型，忽略推理时的硬件与网络约束。INFRAMIND在运行时动态评估各模型的计算资源、延迟和能耗，并据此选择最优多智能体拓扑结构。实验表明，该框架可在保持回答质量的同时显著降低推理成本和响应时间，对大规模AI Agent部署具有实用价值。