• 

  LV.7 #2 三叶虫回复

  您好，因已超过15天，您侧未更新回复信息，此帖超时关闭，后续遇到问题，请您发起新帖，版主会及时分析处理。

  2025-05-22 17:02:20 0| 回复
• 

  LV.3 #1 HelloAI回复

  上下文长度首先受限于模型本身支持的长度，其次是--max-model-len，但是不能大于模型支持的长度。最终还要受限于设备的内存大小。1张卡跑7B要支持4096有点困难，建议考虑多张卡并行的方案。

  2025-04-18 16:08:23 0| 回复

请登录后评论