从真实收录的工具中,找到适合你的选择。
帮助在自己的电脑或服务器上运行AI模型,并向应用提供调用接口。
通过图形界面下载、运行本地AI模型,并进行聊天和接口实验。
百度智能云千帆面向需要开发、部署或评估AI的团队,主要支持选择大模型开发服务、搭建模型应用和管理模型调用与部署。
LocalAI面向需要开发、部署或评估AI的团队,主要支持在本地运行模型服务、提供兼容的模型接口和连接文本音频图像模型。
BentoML面向需要开发、部署或评估AI的团队,主要支持将模型封装成服务、构建推理部署流程和管理模型应用运行。
Ray面向需要开发、部署或评估AI的团队,主要支持分布式运行Python任务、组织模型训练工作和部署可扩展推理服务。
NVIDIA NIM面向需要开发、部署或评估AI的团队,主要支持部署预构建模型推理服务、通过接口调用AI模型和管理企业推理应用。