孔子在《论语》中说：贤哉，回也！一箪食，一瓢饮，在陋巷，人不堪其忧，回也不改其乐。一个人的快乐与否并不取决于他住的房子，在古代，像南阳诸葛庐、西蜀子云亭一样的建筑都会因为主人的气节变得高大上起来。在古代不管多富有，都不能打扰祖宗的清梦，祖坟是不能随意搬迁的，一是不孝，二是不敬，三是如果一个普通人家里出了一个成功的孩子，人们常会说“祖坟冒青烟了”，很多人将一个人的兴旺发达归咎于祖宗保佑，是祖坟的风水好才让后代有了更好的运势，因此在古人的思想观念里，祖坟轻易不动，除非有水土流失的风险。
除此外，还有几种说法，穷的时候为什么不搬家？因为穷意味着家里的钱不多，经不起折腾，在贫苦人家里东西都是省出来的。比如：罐头瓶子、冰棍棒、零食盒子都可以经过改装重新变成家庭中的一员，许许多多的小东西就是这样子一点点攒起来的，在以前，穷人家是不舍得扔掉任何一件东西的，就连吃糖果剩下的包装纸也要好好的收藏起来。
然而，人生充满了变数，总难免少不了要搬家，富裕的会专门请搬运工人，或者挑贵重的东西搬，像生活用品之类的会重买新的。但穷点就不行了，若是搬家的地方离的不远，可以将东西一股脑打包全搬过去，可若是搬家的地方离的很远，甚至跨越了一座城市，这个时候势必要舍弃一些无用的东西，在此过程中，平日里好不容易积攒下的小物件会被扔掉，大件的东西还有可能在搬运过程中受损，让本来不富裕的家庭遭受磨难，所以古人才有了穷不搬家的说法。
