GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++
GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA & Alpaca LLMs)
llama.cpp项目为本地消费级CPU的大模型本地部署提供了可能。在我的 Intel 奔腾7505 CPU(11代双核)上实时运行也可以取得很好的效果,占用内存在4GB左右,使用AVX2进行加速。
可否通过龙芯向量指令集通过OpenBLAS的方式移植到Loongnix上运行呢?
本站文章除其作者特殊声明外,一律采用CC BY-NC-SA 4.0许可协议进行授权。进行转载或二次创作时务必以相同协议进行共享,严禁用于商业用途。