破解PS5成AI服务器:开发者利用GPU加速运行27B参数模型
经过报道,开发者abhi245y在资深AI工程师Mert Cobanov的PS5LM项目基础上,推出了PS5LM Plus这一新应用,使破解后的PS5主机能够在本地运行Qwen3.8-27B等复杂的语言模型。最初,PS5LM的版本主要依赖CPU来执行模型,因此在运行27B参数模型时,每分钟的生成速度平均仅为1个token。为了改善性能,abhi245y对Mesa开源项目中的AMD RADV驱动进行了移植,并运用Vulkan计算接口使得llama.cpp以原生方式在PS5上运行。这项改进将可用内存提升至约11.4GB,相较之前的6GB,使得主机能够支持经过高度量化处理的Qwen3.8-27B模型。得益于PS5的高内存带宽(达448GB/s),Qwen3.8-27B的生成速度可提升至每秒约20.9个token。在测试过程中,GPU的使用率达到了100%,而CPU的使用率仅为2%。对于一些较小的模型,PS5的生成速度更为惊人,例如,Gemma 4 E4B每秒可生成约61个token,而Llama 3.2 3B的速度更是达到每秒124个token。
除了利用PS5的GPU加速来进行模型推理外,PS5LM Plus还内置了一个网页聊天界面,通过局域网的8081端口提供API服务,用户可以通过其他设备在同一网络内与本地运行的模型进行交互。此外,该项目还兼容OpenAI和Anthropic的API,方便opencode、Codex和Claude Code等工具调用在PS5上运行的模型。尽管PS5主要是为游戏设计的,但其能够作为本地AI服务器并提供GPU加速,展示了其在游戏以外领域的应用潜力。不过,配备的16GB RAM统一内存仍然限制了可以选择的模型类型以及运行质量。同时,想要使用原生版本的llama.cpp,需要事先对PS5进行越狱,这可能导致游戏机被封禁以及PSN账号的风险。
国民党内斗激烈,赵少康党籍存疑引发风波
足球,让你感受速度、激情与智慧的碰撞!...
[无下一篇]
足球,让你感受速度、激情与智慧的碰撞!...