所谓“昙曜五窟”，分别是现在云冈石窟群中的第十六、十七、十八、十九、二十窟。其总体设计以主佛五方佛象征北魏5位帝身；以北魏拓跋氏立国之“数用五”，儒家之“纲常五”，阴阳家之“五行说”等为指导思想，镌就成了一个万世不朽，永纪无劫，“上摩高天，下蟠厚地，与天地同久”的石质佛国。
公元460年，时在文成帝和平元年，文成帝决定在武州山“凿山石壁，开窟五所，镌建佛像各一”，史称“昙曜五窟”。“昙曜五窟”的开凿拉开了云冈石窟大兴开窟造像的帷幕。
昙曜在武州山下灵岩石窟旁的通乐寺中，身伴青灯黄卷，耳听石鼓寒泉，除了翻译佛经、朝参暮礼外，想得最多的是如何使佛永驻京都平城。
他曾在如斧削刀斩般的武州山断岩边久久冥想：为何7年前，一场变故，佛寺栋宇尽遭焚劫，圣像法器毁坏无遗，造成释氏灾难性的“太武之厄”？尽管当今的文成帝一反其祖太武帝之意，悉心复佛，但谁能保证文成帝有朝一日不会变卦呢？谁又能保证文成帝之后的其他皇帝不再来一次“法难”呢？ 昙曜就这样苦苦冥想了7个寒暑，忽一日眼前的断岩巨石和先辈法果高僧的“皇帝即当今如来”之语，给了他启发和灵感：开石窟造如帝身的大石佛，以成大功，传永世。当年，昙曜接替师贤就任“沙门统”，机会来了。昙曜将他欲在武州山开窟造像的计划，向文成帝呈述了一番。文成帝心领神会，马上拍板批准。
