登陆热线邮箱 设为首页

大语言模型LLaMA13搭建教程你知道吗?要注意什么?

2023-05-22 09:28:31来源:中国商业新闻网栏目:数码

用2060就能跑了!大语言模型LLaMA13搭建教程

Meta的大语言模型LLaMA 13B,现在用2060就能跑了~

羊驼家族的Alpaca和Vicuna也都能运行,显存最低只需要6G,简直是低VRAM用户的福音有木有。

GitHub上的搭建教程火了之后,网友们纷纷跑来问苹果M2是不是也能跑。

这通操作的大致原理是利用最新版CUDA,可以将Transformer中任意数量的层放在GPU上运行。

与此前llama.cpp项目完全运行在CPU相比,用GPU替代一半的CPU可以将效率提高将近2倍。

而如果纯用GPU,这一数字将变成6倍。

网友实测的结果中,使用CPU每秒能跑2.1个token,而用GPU能跑3.2个。

生成的内容上,开发者成功用它跑出了“尼采文学”。

如何操作在开始搭建之前,我们需要先申请获得LLaMA的访问权限。

传送门:https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

此外还需要有一个Linux环境。(Windows用户可以用WSL2)

准备工作完成之后,第一步是将llama.cpp克隆到本地。

标签: meta中文叫什么 meta元宇宙产品 Meta

资讯阅读

NEWS

精彩推送

marvellous