#log #llm @rf @ru
вставил в ноут (i7-8550U) вместо 1x16ГБ 2x8ГБ (2400MT/s), позапускал llama.cpp, позамерял:
SMT как не давал никакой пользы так и не даёт
скорость двухбитовых нейронок практически не изменилась
четырёхбитные нейронки стали в полтора раза быстрее
восьмибитные стали почти вдвое быстрее