Show newer

@darkcat09 @rf Я думаю что пытаться защитить телефон нет смысла и просто не держу там никакой компрометирующей информации. Разблокирую пальцем.

@thary @rf Я ledger-cli использую, до него сидел на gnucash.

@thary @rf Бери любую новую. Возьми знакомого гитариста в магазин чтобы он пощупал, если сомневаешься.

@miraikumiko Затем что у тебя редирект сюда стоит с предыдущих аккаунтов. А ещё похоже у кого-то из нас педерация барахлит, и этот камент ты не увидишь.

@Alex0007 Не думаю что расследования это дело политиков/лоббистов и отнимает у них какое-то пространство.

@mrclon Не нашёл в правке от 2022 года такого, пожалуйста скинь цытату зокона.

@Revertron Браузер - плохой интерфейс ко всему.

@Revertron Не знаю, браузерными технологиями не интересуюсь.

@kpmy Нет, не интересуюсь таким. Знакомый openhands крутит.

@rf
Подъехала новая MoE LLM с открытыми весами от китайцев, сравнимая с лидерами индустрии по заявленным способностям: z.ai/blog/glm-4.5
Решил накатить у себя на ноуте младшую, 106B-версию, благо 64ГБ DDR5 позволяют разойтись.

Скачал хвалёные (unsloth.ai/cgi/image/5shotmmlu) кванты от Unsloth: huggingface.co/unsloth/GLM-4.5
Попытался запустить. llama.cpp говорит такое не поддерживается, пофиг, обновляем, поддерживается, загружается, не, не загружается, оперативы не хватает. В Linux встроенной amdgpu нельзя выделять больше половины имеющейся физической памяти. Отыскиваю на форуме пользователей Framework совет воспользоваться опцией ядра amdgpu.gttsize, пробую: при использовании большой LLM всё начинает тормозить как пиздец, включая саму LLM.
В dmesg нахожу рекомендацию не юзать amdgpu.gttsize, а юзать ttm.pages_limit. Гуглю, по результатам запихиваю в опции ядра ttm.pages_limit=15895262 ttm.page_pool_size=15895262, и после перезагрузки всё работает прекрасно. Нейронка выдаёт на недорогом Framework 13 аж 9 токенов в секунду. Ну ладно.

Не знаю пока правда, зачем мне такая дохуя умная нейронка: кажется что с саммаризацией мелкие шустрые справляются хорошо, а специализированные быстрее и может даже лучше работают для задач типа кодогенерации или биомедицинских рекомендаций. Математику, говорят, хорошо умеет, хз. В целом конечно радует, что стали клепать классные MoE LLM, для которых не нужна золотая VRAM, а достаточно иметь дохуя обычной, вечно дешевеющей DDR5.

@blit @rf Ты давай идейку неси, а у кого сервер найдутся.

Show older
Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.