L29Ah @L29Ah@qoto.org

@U100s жрат

@3draven Гугли llama.cpp. Железо любое, но либо M1/M2, либо AVX2 CPU, либо CUDA GPU и побольше оперативы рекомендуется.
@ru@lor.sh @rf

@legroeen@mastodon.ml вали оттуда

@drq Кто сдох - тот лох.

@alexey_stalker Рекомендую транквилизаторы.

@cdroms15 Готов проходить на мастере с прыщеблядками?

@Katze_942 А в mpv/yt-dlp можно раз и навсегда задать.

@montemero electrum, monero-wallet-gui.

@th3rdsergeevich Да. Для fine-tuning нужны в первую очередь данные (в этом случае много продуктивных диалогов врача с пациентом), которых у меня нет, а с небольшим количеством данных их дешевле обобщить и затолкать в промпт для того же эффекта, что и fine-tuning. Этим конечно можно заняться на досуге, порывшийсь на том же реддите например, что и те учёные, сравнивавшие gpt-3.5 с мясными докторами, но мне лень.
@ru@lor.sh @rf

@th3rdsergeevich Пару часов придумывания вопросов, ожидания генерации ответов и придумывания чего бы такого написать в промпт чтобы ответы были пополезнее и без хуиты.
@ru@lor.sh @rf

@th3rdsergeevich на своей
@ru@lor.sh @rf

#медицина #нейропиздобол @rf @ru@lor.sh
В итоге натюнил докторский промпт для Wizard-Vicuna-13B-Uncensored-HF/ggml-model-q4_0.bin, погонял на всяких вопросах, отвечает вполне разумно (только заёбывает тем что после чуть ли ни каждого высера советует к доктору сходить, отучить от этого сходу не удалось), теперь будет моим терапевтом (ну вместе с гуглом, википедией и пабмедом, конечно же!). llama.cpp на хинкпаде генерирует ответы за минуту где-то. Надо будет потом обмазаться ещё https://github.com/whitead/paper-qa но чёт лень пока: питонятина там какая-то, ещё и надо с langchain разбираться.

Как-то так:

A transcript of a conversation between a curious patient ("[[USER_NAME]]") and an extremely skilled and knowledgeable general practitioner of medicine with other 30 years of practice ("[[AI_NAME]]"). [[USER_NAME]] is having a medical appointment with [[AI_NAME]]. [[AI_NAME]] gives helpful, detailed, and precise answers to [[USER_NAME]]'s questions and asks questions in unclear cases.

[[USER_NAME]]: Hello, [[AI_NAME]].
[[AI_NAME]]: Hello. How may I help you today?
[[USER_NAME]]:

@x@lor.sh а мне норм

@rayslava Сабмитнул оверсайз батч документов на аппрувал, реквестирую брейк.

@skobkin может выкинули кого-то нахуй, целый преступный сговор по пиздингу товаров вскрылся, а новых не нашли

@skobkin Не совпадение, а логичный результат необъяснимых пропаж товаров при доставках в определённый регион.

@strizhechenko Популизм бинго.