Докопался до локальной нейросетки ministral-3 размером 3b, но с ризонингом, то есть как-то там думающей. От нехрен делать и после употребления бутылки на двоих с женой, да.
Зачем-то попросил сделать минимальный сервер opds той версии, которая xml. Как ни странно — был сделан вполне рабочий скелет сервера, который, на мой взгляд, должен отдавать opds, достаточный для того, чтобы какой-нибудь fbreader показал список книг. Без некоторых полей типа id, но про это сетка таки понаписала (забыл попросить ).
Удивился. Пообщался чуть больше. Удивился, что вообще отвечает в тему при размере 3b (дофига ошибок в фактах, но в логику смогла больше ожидаемого).

Вобщем, для голосового чатбота надо добавить:
0) хрень для записи в цикле с поиском ключевого слова, которой не потребуется пульсаудио (нет у меня десктопа на хоронилище).
1) быструю и нежрущую распознавалку речи в текст (wisper на cpu — даже не тормоз, а ЯКОРЬ, из протестированных быстрых — только сберовская что-то может, может быть её возьму)
2) быстрый и нежрущий синтезатор текста в речь, которая умеет пару языков и числа-циферки (тут ваще хз — тупо не нашел именно быстрых, неодноязычных и умеющих в числа, записанные цифрами, а не словами, так что, вероятно, ещё раз в RHVoice посмотрю).
3) обвязку, которая будет формировать запросы к нейросетке на базе предыдущего диалога и распознанных реплик. Надо будет посмотреть, сколько nanobot ест, может просто его взять и не извращаться, хоть оно и под онлайн заточено.
После этого можно будет спросить на кухне вслух: "Типа-короче-какбы, а что у нас с погодой ща?" или "Кулинар-теоретик, чем латтэ от капучино принципиально отличается?". #лытдыбр #компутерное