祁彪佳出身仕宦，为藏书家祁承爜之子。彪佳自幼寝馈书卷中，幼而聪敏，六岁能诵帝王名。7岁，乡人抱之上树，命以“猢狲上树”作对，彪佳应声答以“飞虎在天”。彪佳善山水，深得倪、黄神髓。花卉竹石，随意点染，亦有梅花盫(吴镇)风趣。明天启二年(1622年)20岁中进士，次年任福建兴化推官，初到任，吏民轻其年少。及治事，惩猾吏，禁豪右，绝苞苴，剖决精明，皆大畏服。崇祯元年(1628)以父丧归。崇祯四年(1631年)升任右佥都御史，疏陈朝廷赏罚之要及民间十四大苦。六年，巡按苏、松诸府，所至延问父老，察访民情。豪右兼并，百姓皆得控陈，一时权贵为之侧目。吴中无赖假天罡党欺凌百姓，彪佳捕为首者4人，立杖杀之，余众股栗。首辅周延儒家在宜兴，子弟家人恃势横行乡里，邑民焚其居宅，发其祖墓。彪佳既捕治如法，而于延儒亦不稍徇情。延儒恨之，回道考核，竟被降俸，遂以侍养为名告归。十三年，越中大水，彪佳与刘宗周分区赈米，设粥厂施粥，病者药之，死者埋之，深山穷谷，无不亲历。崇祯十四年(1641年)，起为河南道御史。次年参预考察官吏大计，一秉至公，无敢以一钱一简至其门，大服。改南京畿道，请辞官不允，遂便道还家。 与北方藏家袁枢(抗清名臣袁可立子)亦多往来，崇祯十六年(1643)其在《祁忠敏公日记·癸未日历》中记载道：“十月初四日……夜至浒墅关，关使者袁环中(袁枢)来晤，即于舟次报谢。袁出家刻十余种及王觉斯法书以示。”
崇祯十七年(1644年)，李自成农民起义军攻下北京，思宗自缢。福王至南京，彪佳往谒，诸臣有请福王即位登基者，彪佳力言以称监国为正。高杰兵扰扬州，百姓奔避江南，彪佳奉命巡抚江南，斩倡乱者数人，一方遂定。寻进大理寺丞，擢右佥都御史，留为江南巡抚。募技勇，设标营，沿江增设屯堡。弘光帝命设厂卫缉事官，彪佳力陈诏狱、缉事、廷杖之弊，事乃止。督辅部将刘肇基等4将兵驻京口，与浙江入卫都司兵发生冲突，乱兵焚掠，死者400人，彪佳劾治4将之罪，周恤被难家，计户给钱偿之。高杰驻军瓜洲，骄横跋扈，彪佳单舟往会，勉以忠义，杰感叹，愿遵约束。马士英憾刘宗周劾己，疑彪佳属稿，嗾御史张孙振参彪佳阻难登基，有心拥戴潞王，乃称疾去职。弘光元年(1645年)五月，清兵破南京。六月，潞王监国杭州，拜彪佳兵部侍郎，总督苏、松，会清兵至，不果。彪佳即绝粒。闰六月初四日，清贝勒聘书到，彪佳曰：“此吾授命时矣。”初六夜，绐家人先寝，自沉于梅墅寓园别业梅花阁前水池中。有遗书留几上，其绝命词有云：“图功为其难，洁身为其易。吾为其易者，聊存洁身志。含笑入九原，浩然留天地。”明唐王追赠少保、兵部尚书，谥忠敏，清追谥忠惠。据嘉庆《山阴县志》，墓在城西十里亭山南面。《明史》有传。其友袁枢亦不仕满清，四个月后于金陵郁愤而死。