想把越狱 PS5 变成本地大模型服务器?PS5LM Plus 的关键是换一种运行方式。 https://github.com/abhi245y/PS5LM-… · @vintcessun · TwKit
@vintcessun
想把越狱 PS5 变成本地大模型服务器?PS5LM Plus 的关键是换一种运行方式。 https://github.com/abhi245y/PS5LM-Plus 不做只有约 6GiB 内存、用不了 GPU 的 payload,而是做原生应用,拿到 12GiB 内存,通过 Vulkan 跑 llama.cpp,向局域网提供兼容 OpenAI 的 API。 移植通用引擎,而非逐个模型写内核,模型支持就能跟着上游走。工程妥协也很实在:原地卸载会残留约 5GiB 占用,切模型干脆重启应用。前提是已有越狱环境。
曝光 16 · 评论 0 · 点赞 1 · 书签 0
查看原帖