1923年，常香玉出生在河南省巩义市董沟。1932年5月，她随父亲张福仙搭班开始拜师学艺，学习了武丑、小生、须生等角色，并后专攻花旦。
1933年初，她随父搭太乙新班习演，向王金枝、徐双槐求艺。次年11月，再赴郑州，加入周海水太乙班，在开封闯荡。她凭借文武不挡、生旦俱佳的技艺，不久便崭露头角，从垫戏中成为中轴主演。
《泗州城》连演三场后，她正式成为主演。在张福仙、王振南、史书明等人的扶持下，1937年2月，她成立了中州戏曲研究社，以宣传抗日为目的，还排演了王振南编剧的新戏《打土地》。
1941年的秋天，她初识崔兰田，与汤兰香重逢合作演出了《贩马记》。1944年的6月3日，与陈宪章结婚，但因为时局紧张，他们不得不秘密举行仪式。在西安东大街正大豫饭庄里，他们在一个小房间里简单地交换了戒指和合卺礼。
战争期间，常香玉竭尽全力营救丈夫被捕时的情况，即使倾家荡产也不放弃。她还创办了一所“香玉剧校”，并且在西安培养了一群新的艺术人才。1951年的8月7日，当她率领剧社为捐献战斗机而进行全国巡回表演时，其影响力达到了一个新的高度。
1952年3月4日，她完成了捐机任务回到西安，那时候她的儿子陈嘉康已经出生。但是，这段平静并没有持续很久，因为1957年的春天，一场文化大革命席卷中国，使得许多艺术家包括常香玉都遭受了迫害和牵连。不过，这一段艰难的经历也让她更加坚定自己的立场和信念。
1960年代到1970年代，虽然国家政策对艺术界有所波动，但常香玉仍然积极参与各类文化活动，并多次代表中国参加国际节目。此外，她还是一位热心公益事业的人，对于帮助贫困孩子上学等事业也投入了大量时间和精力。
1980年代至1990年代，由于身体状况不佳，但她依然继续担任各种职务，如河南省文联顾问及河南省剧协名誉主席等。在这一期间，也有一些批评者认为她的工作过于保守，不够创新，而支持者则认为她是一位忠实传承古典美术精神的人物。
2004年6月1日，在河南省人民医院因病去世，是一位享寿82岁的人物。尽管她的生命并不长，但其对于豫剧以及整个中国戏曲世界的贡献却是无价之宝。
