参考:使用 FastChat 部署 LLM

FastChat是一个用于训练、服务和评估基于大型语言模型的聊天机器人的开放平台。其核心功能包括:

  • 最先进 LLM 模型的权重、训练代码和评估代码。
  • 带有 WebUI 和与 OpenAI 兼容的 RESTful API 的分布式多模型服务系统。

 

相关导航