紫来楼位于樟溪镇乌溪村，始建于明末，扩建于清初。明嘉靖年间，钟氏祖先从福建丁洋搬迁至此，创乡定居。至明末，为保族人安居乐业，以免受兵乱、盗贼之苦，建造了“紫来楼”。后来随着宗族的不断壮大，便在清初扩建外围，名曰“拱赐”，形成二围土楼。

　　紫来楼是二环围土楼，楼二层，高6.8米，土楼大门向东，面积2348平方米，直径57.4米。共有房屋五十四间（内围十八间，外围三十六间，首层为居室，二层为储备粮草之用），二围二大门，楼内中心处辟有广场，场中心有一直径2米的八卦图，水井三口（内围一口，外围二口），楼内外各有祖厅一间，用于安置祖先神位。各楼房后墙上方均开一枪眼，外围门二侧各开一炮眼，以抵御外侵。

　　该楼外墙以灰、砂、土夯筑而成，内墙则用田泥，外抹贝灰；其平面为环形，内外环均由多角构成圆形，且内高外低，层次分明；房屋后墙体墙角之间均用铁钩连接，坚实牢固；内围祖厅设置双层屋顶夹层，可容四十多人藏身，逢危急，可保无恙。

　　该楼总体布局与客家土楼相同，既有客家土楼的“八防”特点，又有自身独具的建筑风格，有较高的历史价值、艺术价值和科研价值。

　　2008年11月8日，广东省人民政府办公厅发出《关于公布第五批广东省文物保护单位通知》，紫来楼被列入广东省文物保护单位。