隋炀帝下江南游玩，住在了江都行宫中，每日游山玩水。
一天，隋炀帝的爱妃吴绛仙正在梳妆打扮，忽然听到有人来报隋炀帝来了。吴绛仙急忙用手托住散乱的头发，出来迎接隋炀帝。隋炀帝看到吴绛仙一头乌黑的长发披下来，就像仙女梳妆图一样，甚是兴奋。他让吴绛仙继续梳妆打扮，自己搬了一张椅子坐在她的身边，就这么盯着她。
吴绛仙被隋炀帝看的有点不好意思，害羞的对隋炀帝说道：“臣妾庸脂俗粉，怎么担当起陛下的盛爱。”隋炀帝说到：“你现在这个样子，就像天仙下凡一样，朕现在感觉你不该在这个地方，这里的宫殿空旷，显得冷清。我应该找个幽静的地方，盖几件小屋，和你像普通农民一样生活，这样才符合爱妃的娇容。”吴绛仙听完，轻轻的笑道：“陛下嫌这个地方空旷，想找个幽静的地方，这个很好办啊，只需要在这行宫之中，建造几间优雅的小屋不就行了吗？就是不知道工匠们能不能造出来陛下想要的那种效果。”
隋炀帝想了想，把管工程的官员高昌叫了过来，对他说：“朕嫌这些宫殿太大了，而且彼此之间也没什么墙垒，看起来特别单调。我想要几间幽雅的小屋，你回去后画个图纸交给我，等我看完决定之后再动工修建。”高昌一听皇上要住小屋，一刻也不敢耽误，回去之后把自己关在屋子里面绞尽脑汁去想这个幽深的小屋怎么建造。这一想就是十天，十天后终于画出来了，把图纸呈给了隋炀帝。
这个图纸是怎么画的呢，图上仅仅画了一间大楼，但是这大楼却内有乾坤。大楼中分出了千门万户，有许多独立的房屋，楼中小路蜿蜒曲折。隋炀帝看完，感觉非常好，对高昌说到：“你真是个巧妙的匠人，这座宫殿要是能造出来的话，我就算死在里面，也是值了。”高昌吓坏了，皇帝怎么能随便开口说自己的生死呢。隋炀帝却是很高兴，赏赐了高昌许多的金银珠宝，又让他负责建造这个宫殿。
隋炀帝这个人怎么形容呢？只要他想要的东西，就必须给他造出来，为了游玩派人开河，为了舒适，派人造船。现在又要造这么一间宫殿，哪里还有钱啊，别说是钱了，就连工人都不好找了，这几年修河开路，百姓已经让那些工役吓怕了，知道此一去十有八九性命不保，而就算是千难万险地留在家里也是生计四绝，去也是死，不去也是死，就横一横心，干脆拼着性命去做盗贼。于是这里成群，那里结党，渐渐地广聚大集起来。内中有几个乱世英雄，就乘机把乱民搜集成队，很快成就了燎原之势。窦建德在漳南作乱，李密在洛阳雄踞，瓦岗寨有翟让聚义，后来又有刘武周称雄，等等复等等，一处反了又一地乱了，盗贼纷纷四起，炀帝却终日寻欢作乐，昏昏沉沉地睡在鼓里。
他只知道催促工期，只知道用了一年工夫，到底把这样的一座曲幽巧秘的大楼建造完竣。炀帝还知道的就是为这座用心奇巧的楼取个名字叫迷楼。