民间野史传言，当年他用斧头猛敲自己脑袋，头骨破裂，血流如注，不死。
又从墙壁上拔出一枚三寸长的铁钉塞入耳窍，然后扑倒在地，铁钉撞入耳窍，耳中鲜血喷射，以为自己死了，又不死。
再用铁器锤碎自己的**，仍不死！
来来回回居然折腾九次，还是死不了！
最后只能放弃，一系列自杀没有成功，九死九生，人却已经像干瘪的虮虱，佝偻，气断不属。
徐渭杀妻，最初被判为死刑。经亲朋好友多方营救，直到新皇帝即位，大赦天下，才重新获得自由。这时已经整整坐七年牢。
生有两个儿子，长子徐枚为潘氏所生，次子徐枳为张氏所生。但晚年与儿子不和，生计无着，只能靠卖字画度日。
在生命的最后20年里，个性越发孤傲，行为越狂放不羁。极其厌恶权贵，富贵之人的宴请从来不去。
反而左邻右舍的平头百姓，一把青菜、一条鱼、一杯酒，往往就能换到他挥毫泼墨。风趣自嘲是：数点梅花换米翁。