Show newer

ZFS Deduplication 的性能问题 

今天因为某些缘故将一个大文件从NAS的 HDD pool 复制到 SDD pool,然后文件复制到大约10GB时速度突然降低到了1MB以下。
感觉可能与 dedup 相关,又在 SSD pool 创建一个关闭 dedup 的 dataset。再次测试,一切正常,没有再出现降速的问题。

虽然关了 dedup 就完事,但为什么会这样呢?
到 Arch 群里询问了一下,文件系统专家fc老师如此回答:『我博客分析過 zfs dedup 的原理。基本上是把每個讀操作變成 3 個隨機地址的讀操作+1個寫操作,非常消耗 iops ,即便你 arc 開得夠大也需要夠快(iops層面)的存儲設備支撐』。

fc老师对zfs dedup的个人看法是:『zfs dedup 算是 sun 倒下之前新加的東西,我覺得還沒做到商業方案級別的成熟度就開源了 ,然後 sun 就沒了』。

之后到fc老师博客,将两篇讲解ZFS的长篇博文读完。
farseerfc.me/zhs/zfs-layered-a
farseerfc.me/zhs/btrfs-vs-zfs-

ZFS dedup 确实就是个坑,收益不大,但IO带宽、内存占用巨大。

另外,在 Truenas 上开启 ZFS Deduplication 选项时提示:This feature is memory-intensive and **permanently affects how the data is stored.**
我对这里的 permanently affects 有一些担心,于是又请教了fc老师。
fc老师的回答:『關掉之後,之前開著的時候寫入的數據還是處於 dedup 的 DDT 裡,它們在被刪掉之前持續消耗額外的資源包括內存』。

一番对话下来,我的内心是这样的 :aru_0010: :aru_0010: :aru_0010:

#zfs

costco的这个小西红柿真的好好吃…
本来买了是想烤一下的,结果一颗一颗就直接都吃完了

看到友邻转发“先考虑自己的意愿”那条,我想起来前天见一个朋友,朋友问我“怎么知道自己的博士选题能不能作为博士选题研究四年”。我说就是衡量你对这个选题的热情。你对这个问题的热情是四格电,拿来读博士,两格电,算了,或者作为硕士选题算了。

小时候觉得Mr Bean是个笑话,现在看觉得是自己…甚至是理想中的自己。

创作者的使命是替他人讲出那些不能言说的东西。

BTW 我知道能大龄重读本科真的是一件非常privileged非常奢侈的事情了,很多人也不是不迷茫不想重新来过,就是被生活推着没有办法吧。
如果不考虑“我怎么这么垃圾同学都比我小十岁”“我怎么这么垃圾这么大年纪了还不能养家糊口”的问题的话,读书真的是最快乐的事 :blobcatnight:

在安排欧洲的旅行,看着那些9年前去过的地方,有些感慨... 年纪已经大到无法qualify青年票了,现在比当时的自己有了更多的底气和自信心,但那种因为迷茫渺小而对世界巨大的激动憧憬和好奇,也越来越少了...

最近在看韩国的旅行综艺,看到阿根廷的伊瓜苏瀑布,一方面觉得好帅好壮观,另外一方面又因为刚去冰岛看过壮丽的瀑布和冰川,就完全没了很想去阿根廷的兴致...

年轻时对quantity有追求,现在慢慢变成了对quality的耕耘,想要做more than打卡游客,而是「旅居」,以global mobility为目标努力吧。

比起今年说女性人口少了三千万这件事,还有个更惊人的,我查了一下第一次人口普查数据(stats.gov.cn/tjsj/tjgb/rkpcgb/ ),当时男性人口297553518,女性人口276652422,性别比1.07。我说,那是1953年啊,经过了抗战、内战等等一系列战乱,居然是个男多女少的人口结构,而且女性少了两千万,这正常吗?其他国家关于二战后的资料往往都提到,男性少了很多,只有等国,独树一帜,打完大仗,男的人口还更多,真叫绝了。

昨晚琢磨了一下自己的需求,今天写了点代码,在Pipedream上又弄了一个新的自动化工作流出来,现在就不用担心在Telegram频道里发布的内容超过Twitter字数限制了。而且我写的代码似乎能区别CJK的140字和英文的280字符,比IFTTT那边的自动化更智能。不过发图可能还是要依靠IFTTT,Pipedream传输媒体到Twitter的功能我目前还没完全弄明白。等全部想清楚,就可以迁移更多工作流了。

想起初一的一件小事。当时因为我的英语成绩太差,我妈找了个英语补习老师,每周补一次,三人小班,半年后成绩蹭蹭往上涨。
在学校的英语课上,每次上课前老师会要求(按学号顺序排列)一位同学上台用英语说一段话,可以是任何题材,可以提前背诵,也可以唱英文歌,只要肯开口就行。轮到我的时候,我就背诵了在补习班学的一篇短文。老师大为震惊,因为里面有很多课本上没有教的单词和语法。于是她希望我能一句英语一句中文讲解给其他同学听,我也照做了,并且很为老师的认可感到高兴。
到了下一次英语课,另一个同学也背诵了一篇短文,我知道他也是在外上英文补习班的,老师也很欣赏他的内容,也希望他能一句英语一句中文讲解给大家听。结果这位同学很不屑地拒绝了,当时只有23岁的老师仍然劝说他给大家讲讲,同学很没耐心地说:这样做太弱智了。年轻的老师和我脸都红了。

我重新想要每天写日记的原因之一,也是想要走出这种状态。实际上我也做到了每天写日记,只是后来又觉得应该保持这个空间的私密性,于是不再截图发出来。况且发出来,大概也没几个人真的来看;来看的人也不一定能get到我想表达的意思,毕竟写日记的时候对文本的要求,总是只需要我自己能理解就行。
我觉得自己在逐渐走出那个状态。

RE:
https://xn--s8w913fdga.chn.moe/notes/9a2mf3xolo

真正的陈浩南:verified_animate:  
看见大家都在写年终总结。我没有年终总结。 不是说我一年什么都没有干,而是总有一种感觉,就是怀疑自己所做的事情的意义,做着这件事心里又想着那件事,这样的状况。类似地,我经常会觉得自己一天什么都没有做,回顾一下又好像做了挺多的事情;但这些事情有什么意义呢?感觉好像又没有。 我总觉得自己哪里有问题。...

据不完全了解,南美作家基本都从免费改付费了。博尔赫斯、略萨、科塔萨尔、聂鲁达、波拉尼奥无一例外 :coolcat:

Show thread

让新加坡朋友作为本地的contact帮我给我的家人申请来新加坡的旅游签。
我想给她解释这都是在干啥,想用其他国家的办签证的流程做对比。

发现...她真的听不懂没有概念,签证什么的她就没搞过...what is visa?
又是羡慕到想要掀桌的一天。

Show older

曳尾于涂's choices:

Qoto Mastodon

QOTO: Question Others to Teach Ourselves
An inclusive, Academic Freedom, instance
All cultures welcome.
Hate speech and harassment strictly forbidden.