Zrobiłem mikro optymalizacje.
Przeglądanie traści powinno trochę szybciej działąć... szczegolnie na przegladarkach bazuajacych na Chromie
Jeśli to Mastodont to chyba mam pewien pomysł jak zoptymalizować zużywaną przestrzeń na dysku na serwerze, używaną do przechowywania wielokrotnie wklejanych multimediów przez tego samego użytkownika, albo różnych użytkowników na tej samej instancji (choć nie umiem ocenić jak często taka sytuacja się zdarza).
Pleroma robi deduplikację na etapie uploadu pliku i to jest chyba najlepsza opcja. Na poziomie systemu plików (np. ZFS) deduplikacja to straszliwy pożeracz pamięci i generalnie nie jest zalecana poza specjalnymi przypadkami.
@kravietz
ZFS zaleca zrobic symulacje poprzez zdb i uruchamiac powyzej ratio 2.
Wszystko zalezy ile masz ramu ETC.
Na serwerze gdzie mi. dziala pol.social jest 64GB ramu. ARC ustawione na malo bo glownie L2ARC jedzie z NVMe.
jak robilem symulacje to po ratio jakies 1.3 wyszlo na storage 4.5TB
Po przeliczeniu wg. tego co podaje ZFS to wyszlo ze ramu potrzeba bedzie jakies 5GB...
W teorii to kropla, ale i tak nie wlaczam
@PawelK
No, z 64 GB to można powalczyć, ale też sens tego jest wątpliwy bo ZFS robi deduplikację na blokach, więc jest sporo sensu w tym co oni piszą w manualu, że nadaje się to tylko do niektórych rodzajów danych. Osobiście jak włączyłem deduplikację na jednym poolu - głównie z ciekawości - to dyski zaczęły tak nap…lać że się w końcu przegrzewały.
A z kolei deduplikacja taka jaką robi Pleroma ma ogromny sens bo jest robiona na całym pliku w momencie jego uploadu przez użytkownika. Można też robić jak VirusTotal i liczyć hasz pliku po stronie klienta, a potem tylko sprawdzać czy taki plik już jest na serwerze, ale to jest “zły user experience” bo ładowanie pliku trwa trochę dłużej.
@kravietz
robienie po stronie klienta to IMHO jak juz robic to zdecydownie. Szkoda łącza, a przewaznie kleinci maja slaby upload (szczegolnie na mobilnym),
Ja powiem ze ani razu deduplikacji jeszcze nie uzywalem w ZFS oprocz testow...
A jak dyski Ci sie przegrzewaja to polecam wymienic ;) w serwerach nie ma istniec taka mozliweosc... albo lepsze chlodzenie zamontowac ;)
@PawelK
Ja jadę low-costowo, najsilniejszy “serwer” to u mnie HP Proliant MicroServer :) Sporo usług mam na Pine64 SOpine w klastrze. Z tymi dyskami to w sumie odwrotnie było, napisałem nieprecyzyjnie - nie dyski się przegrzewały, tylko dyski przegrzewały mi serwer :) Na CPU miałem 70-80°C bo dyski intensywnie pracowały a szafa była bez chłodzenia.
Whoah, You have successfully summoned ghidra co-author and reversing archwizard evil demon aka @AmpBenzScientist !
@PawelK @kravietz @piotrsikora There's a lot going on in this conversation. Sorry I had to sleep as I try to limit myself to two days now.
RISC-V, Sopine, FreeBSD, possible malware, MIPS and much more. I try to understand language but I believe I missed much.
I see English being used so I assume they can understand me to some degree. After being asked simple questions in Russian and being unable to answer with my tourist level of understanding or using the Chinese I was taught and being asked to stop because I essentially made a dick joke, I am fairly certain that I should refrain.
