三年前，我在搭建本地AI开发环境时，被显存容量死死卡住。那时候主流消费级显卡最大显存不过8GB，而大语言模型的推理对显存需求动辄数十GB。折腾半天，最后不得不转向云端API，失去了对模型和数据的完全控...