《隋书》中记载了杨坚的一些趣事，例如他秘密宠幸宫女，但独孤皇后得知后竟然将宫女处死。气愤的杨坚策马出宫，直至20里外山谷才暂时放下心来。高颎、杨素赶到后苦劝，杨坚感叹：“我是天子，却没有自由！”最终此事以独孤皇后的道歉而告一段落。
唐代编撰的《隋书》可能夸大或曲解事实，以便让人认识到大隋天子的软弱和不适合担任九五之尊的形象。
杨坚与独孤皇后是一对经历磨难的情侣，他们门第相同都是北周重臣子女。在独孤皇后的父亲北周大司马独孤信被权臣宇文护所杀之后，他们面临极大的风险只能忍耐数十年，最终迎来了杨坚登基称帝的好日子。在这期间，他们同舟共济，感情日益深厚。
独孤皇后既有智谋，又是贤内助。在关键时刻，她鼓励杨坚果断决策，使他废掉周朝自立。她与杨坚在位期间也并肩作战，“同居共寝、并辇上朝”，互相提醒对方避免失误，被誉为“二圣”。正是因为有她的参政议政，社会安定、国家强盛，这其中也有她的一份功劳。
基于以上两点，我们可以看出，不仅仅是夫妻情谊，更有一种战友间的情谊和依赖。因此，他并不怕老婆，而是一种敬意，一种长年的生死相伴所产生的心理依赖，不愿见到她受伤害!
当然，有预见力的独孤皇后还提前设定了一条底线：婚姻期间不得与其他女性生育。这无疑给重诺守信的杨坚设置了一道防火墙，使得他的10个儿子都与她所生，是古代帝王中罕见的一景!