沙朗 「切换城市」

请选择您所在的城市:

    热门
    城市
    贴吧社区

    客服电话 13025511335

    • 移动端

      扫码访问

      移动端app下载
      城事通

    • 微信端

      扫码访问

      微信公众平台:
      城事通.CityScope

      小程序:
      城视通

    • 0
    • 0

    vLLM 和 SGLang 的真正区别是什么?

    xxx-xxx-xxx

    vLLM 和 SGLang 的真正区别是什么?

    网上看了很多帖子,说的最多的就是sglang使用前缀树做kv cache管理,而vllm只有page attention,每次都要重新计算。所以sglang更适合多轮对话,等等。 但是我最近研究了nanovllm和minisglang的源码,发现并不是这样的。nanovllm是使用链式hash来索引cache的,minisglang是使用前缀树。nanovllm这种方式也是可以支持分叉的,minisglang的树节点也是使用一个page的token id做索引的,所以两者的粒度并没有谁更好。要真比较我反倒觉着nanovllm的实现更加清爽,计算hash的开销感觉也没有多大。所以网上那些帖子我不知道是过时了还是ai写的。。。 如果两者在这方面没有太大的话,那saglang的优势是什么?有人能帮忙解答一下嘛

    热评:这两个框架在技术层面已经趋同了。这是2026年的观察:在agent编码加持下,两边互相吸收对方的长板,功能清单和大盘性能已经大差不差。那还有区别的地方是什么?人:用户 + 开发者。区别点1:生态用户群体的差异这里讲两个点:对稳定系统的修改成本,远大于换一个零件;生态圈讲究的是先入为主。举几个例子:飞机物料管理:优秀部件开发完成后,到完成替换,过程极其漫长。银行系统:上个世纪的老核心还在跑,不是因为写不出更好的,而是切过去的风险和联调成本扛不住。再看小天才手表一类儿童生态[1]:性价比是不是最高,和它能不能继续吃这波红利,并不是一回事;没有外部强力干预时,先占住入口的人往往继续获得收益。回到主题

    原话题:https://www.zhihu.com/question/2045055313053843631 大家怎么看?

    0人已对本文进行打赏

        楼主最近发布

        •特斯拉AI算力达80倍、华邦发30月奖金、问界M8底盘

        2026-11-09 17:13:03

        •一汽广汽推进合作,奥迪A8产地待定

        2026-11-09 17:06:54

        •吃吧吃吧。

        2026-11-03 13:15:54

        •神通广大的吧友们…

        2026-11-09 17:01:14

        热门活动

        ×

        打赏支持

        打赏金额 ¥
        • 1元
        • 2元
        • 5元
        • 10元
        • 20元
        • 50元

        选择支付方式:

        确认支付

        打赏成功!

        感谢您的支持~

        打赏支持 喜欢就打赏支持一下小编吧~

        打赏金额¥{{ds_num}}
        打赏最多不超过100元,打赏须知

        收银台

        订单总价¥0.00

        剩余支付时间:00时00分00秒

        手机扫码支付

        使用支付宝、微信扫码支付

        其他支付方式