1898年3月14日，张伯驹在河南项城出生，是张锦芳之子，袁世凯的表侄。他从小聪明过人，7岁入私塾学习后，就展现出了超群的文学才能。9岁时，他已经能写出优美的诗歌，被誉为“神童”。他与袁世凯几个儿子一起在英国人的书院接受教育。
1918年毕业于袁世凯混成模范团骑兵科后，张伯驹进入了军界，并历任安武军全军营务处提调、陕西督军公署参议等职。在曹锟、吴佩孚、张作霖部中，他也担任过提调参议，这些都是名誉职位。
1927年起，张伯驹转而投身金融界。他曾任盐业银行总管理处稽核、南京盐业银行经理和常务董事，以及秦陇实业银行经理等职。抗日战争爆发后，他一度前往西安，但随后致力于写作和收藏古代文物。
抗战胜利后，张伯驹担任了第11战区司令长官部参议、河北省政府顾问以及华北文法学院国文系教授等职。他还曾参与故宫博物院工作，并担任北京中国书法研究社副社长、北京棋艺研究社理事兼总干事等角色。
1947年6月，在参加中国同盟并成为民盟北平临时委员会委员之后，张伯驴积极参与爱国运动，如北大学生会助动反饥饿运动和枪杀东北学生事件。
解放后的北京，一系列文化活动使得他的个人生活更加丰富多彩。1956年，他将自己30年的收藏作品无偿捐献给故宫博物院，这一行为被视为对国家文化遗产的巨大贡献。在此之前，他还捐赠了一批珍贵字画给吉林省博物馆，使这些艺术品得以保存和传承至今。
1982年2月26日，在女儿终于拿到同意调换医院病房批令之后不久， 张伯驺因感冒去世，但他的精神家园——故宫博物院依然保留着他所捐赠的珍贵文献，这些都成为了他生命中最宝贵的一部分。而他的名字，也将永远铭记在中华文化史上。
