想升级内存了看了看咸鱼,感觉好像摸奖概率有点大,但是二手确实便宜不少有点纠结是买新的还是去咸鱼摸奖
@takedaiori 您要什么规格的,我有两条DDR 4 2666 8G镁光……
@fulkrum 我需要16x2 3600的,跑离线大模型用的
@takedaiori 哇,你用CPU跑大模型?
@fulkrum 离线大模型不论用不用显卡,多少参数就需要多少内存的啊
@takedaiori 我知道,我只是惊诧你不用显卡跑……
@fulkrum 我不是拿来训练或推理的,我是拿来问问题的。。。
@takedaiori 我也用CPU跑过,我记得速度还行,但没考虑过日用。问问题就是在推理啊,你意思是不做很繁重的推理么?
@fulkrum 我看过我推理时候的资源占用,即便是放在那里待机就需要1GB左右的内存,问完开始处理的时候显卡是占用的而且不低,但是问一会儿问题后内存占用会嘎嘎疯涨,我一边还开着Chrome,16G内存一下就满了
QOTO: Question Others to Teach Ourselves An inclusive, Academic Freedom, instance All cultures welcome. Hate speech and harassment strictly forbidden.
@fulkrum 我看过我推理时候的资源占用,即便是放在那里待机就需要1GB左右的内存,问完开始处理的时候显卡是占用的而且不低,但是问一会儿问题后内存占用会嘎嘎疯涨,我一边还开着Chrome,16G内存一下就满了