“吕府十三厅，不如伯府一个厅”，这是老一辈绍兴人流传至今的一句话。
　　吕府，指的是明代礼部尚书吕（1503—1587）之宅第。据史料记载，吕 字汝立，号南渠、期斋，原籍余姚，后迁绍兴。嘉靖十一年（1532）进士，历任南京吏部尚书、国子监祭酒，后又执掌礼部，晋太子太保兼文渊阁大学士，官居一品，与严嵩、徐阶同列朝班，入阁13年。嘉靖四十年（1561）因母亡丁忧返里，回籍后优游林下 20余载。万历十一年（1583），吕 80寿辰，神宗御赐“齿德并茂”金匾。据民间传说，吕府十三厅是吕任会试主考和掌吏（礼）部尚书时，登第弟子或被命官者共13人为感其恩，各赠建一厅而成。
　　吕府坐落在市区新河弄底，东起万安桥，西迄谢公桥，占地48亩。府第三面环水，十三厅皆坐北朝南，分作三条轴线，内设两条南北向“水弄”和一条东西向马弄。为江南水乡大官僚氏族聚居的典型宅第，具有重要的历史、艺术和科研价值。今仅存正厅永恩堂，为江南最大厅堂。1980年由政府拨款修复。
　　伯府，指的是明代正德十六年（1521），王守仁（1472—1528）被诏封新建伯以后钦赐御建的府第。王守仁幼名云，字伯安，自号阳明子，世称阳明先生。祖籍山阴（今属绍兴），生于余姚，10岁后迁回山阴，系明代大哲学家。弘治十二年（1499）进士，历任刑部、兵部主事、庐陵知县、兵部尚书，因平定宁王宸濠叛乱有功，封爵新建伯。嘉靖元年（1522）辞官回乡，后在故里辟稽山书院讲学，传授他的“知行合一”思想，从此创立“致良知”学说，又称“心学”。据《嘉庆山阴县志》记载，王守仁故居在山阴东光相坊谢公桥之后，祠亦连焉。在伯府府第未竣工之前，王阳明就住在“龙山里地”的老祖居内。伯府与吕府都是在明代嘉靖年间建的，都在越城东光相坊同一地段，坐北朝南，前后相邻。吕府在前，位于谢公桥之后，伯府在后，位于北海桥之前，故有“吕府无后门，伯府无前门”之说。
　　两府的建筑地形基本上都是正方的，不过吕府在这块正方形的土地上建造的只有十个厅（也称大吕府十个厅），分设前后两排，每排五个厅（不包括河对岸的小吕府三个厅在内）。由于两府的地形都是正方形，只需对比一边的长度，就可以看出建筑规模的大小。
　　说“吕府十三厅，不如伯府一个厅”，一是指伯府大厅的建筑用材全是楠木———一种极为高质的木材，不但用材高档，且大厅本身面积较大。二是指圣上赐予府第用爵位命名，不带姓氏，故曰“伯府”，也称“伯府大厅”，这对于当时越城官居阁老的吕府和“两都冢宰”的孙府都只能用姓氏命名来说，是不可相提并论的。
　　伯爵建府，专有其制。它不是一般达官贵人那样的台门款式府第，而是一座不失世代书香门第本色的门墙建筑结构，无楼房建设，墙外有一座小型四柱三间冲天钦赐石砌牌坊。站在门墙外，仰望府中景，幢幢平坦的屋檐间，矗立着一座高高的大厅屋顶，由此可见全用楠木结构并以伯爵命名的又以高大宽敞为特色的伯府大厅，确实名不虚传。仅仅因为当时官居极品而建造豪华显赫的吕府虽有十三厅，却怎么能及得上伯府一个厅呢？可惜的是大厅毁于失火，不然一定可以列入当今的全国重点文保单位。
　　王阳明父子都诏封伯爵，均系名世真才，都是“门人四方，桃李门墙”的杰出乡贤。但家风淳厚，勤俭持家，因此建筑府第，力求俭朴，不设台门，而设门墙，且门墙和门前牌坊均不高设，免使受业其门者有师道高尊，不可攀缘之感也。和吕府主人公建造这么多大厅主要为了享受（例如建小吕府三间厅是为安置三房小妾）不同的是，伯府的主人公之所以如此设计，不是图自身的享受而是为了方便四方门生来访时聚会、用餐、讲学之用，尤其是在嘉靖四年十月创立书院之前，大厅曾起到代替书院的作用。
　　虽然伯府的占地面积仅16亩，只是吕府的三分之一，无论是建筑规模还是门前设施与府第本身的等级、品位极不相称，但伯府主人公的历史地位和对中华传统文化的贡献及对后世的影响，均不是阿依权相严嵩的吕之辈可与之相比的。这从王阳明去世后许多门生从全国各地赶来吊唁，从开始举丧到后来出殡下葬长达9个月的治丧期内，一直住在伯府不肯回去一事，也可看出一代名师在弟子心目中的地位。