五所楼，据传古时该村曾有颜姓人家在山西为官，家境甚富，欲盖五所楼夸耀其富豪，结果盖了四间半，因出了败家子，家业破败，没有盖成。当时有人肆意用"五所楼"讽喻此家，因面，称该村为五所楼。
其实颜氏人家在出败家子之前，就已经有了征兆，他家常年养牛100头，由四个牧牛人天天去河滩放牧。牧牛人精心负责放牛，特别在晚上回家后，总要将牛数一遍，看是否走丢，天天如是常年坚持，从未发生过一次丢牛事故，可就在他家盖楼盖到4所半的时候，某一天晚上牧牛人照例数牛，结果是99头，数了多遍结果一样，为了核实数字的准确，牧牛人又做了100报红布条，一头牛拴一根，结果布条拴了99根，剩下的1
根无牛可检了，他们这才确信实少了1头牛，牧牛人觉得十分奇怪，四个人照顾牛非常认真，根本走不丢牛，也没有人偷牛，结果就是少了一头，主人为破解少牛之谜，请来了卜卦先生，先生一算，告知东家，你家将要出一个败家子。果不所料，没多久他家真的出了败家子。他吃喝嫖赌吸五毒俱全，结果把家产毁坏殆尽，所以楼只盖了4间半，就成了穷光蛋，哪还有钱再盖五所楼。