(相关资料图)
5月2日消息,近日,一个名为MLC LLM的项目在GitHub上线,该项目为一个能够在手机上运行的,无需联网的开源人工智能聊天机器人。
据悉,MLC LLM项目的本质是一种通用解决方案,它允许将任何语言模型本地部署在一组不同的硬件后端和本地应用程序上。
同时,它还有着一个高效的框架,供每个人进一步优化自己用例的模型性能。
上述这一切,都在本地运行,无需服务器支持,并通过手机或笔记本电脑上的本地GPU加速。