@takedaiori 您要什么规格的,我有两条DDR 4 2666 8G镁光……
@takedaiori 哇,你用CPU跑大模型?
@takedaiori 我知道,我只是惊诧你不用显卡跑……
@fulkrum 我不是拿来训练或推理的,我是拿来问问题的。。。
@takedaiori 我也用CPU跑过,我记得速度还行,但没考虑过日用。
问问题就是在推理啊,你意思是不做很繁重的推理么?
@fulkrum 我看过我推理时候的资源占用,即便是放在那里待机就需要1GB左右的内存,问完开始处理的时候显卡是占用的而且不低,但是问一会儿问题后内存占用会嘎嘎疯涨,我一边还开着Chrome,16G内存一下就满了
@fulkrum 离线大模型不论用不用显卡,多少参数就需要多少内存的啊