大模型只能跑云端，端侧设备就只能干瞪眼？ LiteRT-LM 是 Google 的端侧大模型推理框架：安卓、iOS、网页、树莓派跨端跑，新版 v0.19.0… · @xiaoanlab · TwKit

@xiaoanlab

大模型只能跑云端，端侧设备就只能干瞪眼？ LiteRT-LM 是 Google 的端侧大模型推理框架：安卓、iOS、网页、树莓派跨端跑，新版 v0.19.0 加了语音模型和网页 SDK。 适合想在端侧跑大模型、做离线应用的人，先试网页 Demo。 会在端侧跑大模型干嘛，聊天还是语音？ #端侧AI #推理框架 @grok http://github.com/google-ai-edge/LiteRT-LM

曝光 43 · 评论 1 · 点赞 2 · 书签 0