Follow

#? @rf @ru
Я правильно понимаю, что нынче лучшее/выгоднейшее железо для запуска здоровых LLMок без анальных бинарных драйверов - это AMD ThreadRipper и пачка модулей DDR5?
Ну и Monero майнить можно заодно.

· · xmpp_gate · 2 · 3 · 1

@L29Ah @rf @ru а тредриппер ли? не выгоднее ли будет *950X с максимальным набором плашек?

@mittorn @rf @ru Непонятно. И непонятно как узнать не покупая то и другое. У меня сейчас на ноуте например вообще LLMки ощутимо быстрее бегают на четырёх потоках, чем на восьми, несмотря на то что проц восьмипотоковый, вероятно из-за толщины шины памяти и пробивания кешей.

@L29Ah @rf @ru ещё есть амуде инстинкт, но похоже они его обычным смертным не продадут. Дрова вроде там открытые по большей части (но скорее всего с блобами фирмварей).
Но CPU тоже без блобов не запустишь если на то пошло

Sign in to participate in the conversation
Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.