云平台一键部署【SGLang】适用于大型语言模型和视觉语言模型的快速服务框架

SGLang 是一个适用于大型语言模型和视觉语言模型的快速服务框架。它通过共同设计后端运行时和前端语言，使您与模型的交互更快、更可控。

优点：

• 1.吞吐量碾压级优势
• 2.结构化输出快如闪电
• 3.多 GPU 优化

SGLang模型已经在趋动云『社区项目』上线，无需自己创建环境、下载模型，一键即可快速部署，快来体验SGLang带来的精彩体验吧！

Github：

项目入口：https://open.virtaicloud.com/web/project/detail/548095845019824128

启动开发环境

进入 【SGLang】 项目主页中，点击 运行一下 ，将项目一键克隆至工作空间，『社区项目』推荐适用的算力规格，可以直接 立即运行 ，省去个人下载数据、模型和计算算力的大量准备时间。

配置完成，点击 进入开发环境 ，根据主页项目介绍进行部署。

使用方法

找到 1、使用说明.ipynb 和 2、调用open-webui界面操作.ipynb 分别选中 2.1单元格 ，点击运行，等待生成local URL，分别在右侧添加端口 8000 和 8080 ，浏览器访问8080外部访问链接， 教程图3 有服务器的各种参数说明。

教程图1

教程图2

教程图3

项目使用方法：

示例展示：

➫温馨提示： 完成项目后，记得及时关闭开发环境，以免继续产生费用！

智汇全球，趋动未来

『社区项目』汇聚全球智慧，是促进技术交流的宝贵平台，期待每一位AI爱好者体验一键部署功能的强大魅力。

同时，我们也热切盼望每一位码友加入，分享您的精品作品，共筑这个充满活力与创新的技术乐园。

趋动云

连接算力・连接人