他继承了父亲沮渠蒙逊的位置，沮渠牧犍是一位聪颖好学且有雅度的人。最初，他担任敦煌太守。在义和三年四月，当时北凉国内的贵族和大臣们认为沮渠蒙逊的世子沮渠菩提年纪尚小，决定立沮渠牧犍为世子，并加封他为中外都督、大将军、录尚书事。不久，沮渠蒙逊去世后，沮渠牧犍继位，并下令大赦境内，改年号为永和。
在他的统治期间，他还派使节前往南朝宋请求任命，并与北魏建立了良好的关系。在永和元年四月，拓跋焘授予他使持节、侍中、都督凉州等职称号，并封河西王。此外，他还遣使携带各种书籍及赵撰所著《甲寅元历》到宋朝求取杂书数十种。
然而，在他的统治晚期，由于私通嫂子李氏并与其姐合谋毒害武威公主的事迹败露，被迫交出李氏，但最终没有履行诺言。随后拓跋焘亲自率军征讨北凉，此时的北凉已然内部矛盾重重，不足以抵御魏军。
在八月初四日，拓跋焘到达姑臧城，就派使者晓喻沮渠牧犍，让他出来迎接。但是，由于得知柔然方面有兵马侵扰，便加强防守，最终被攻破。他及其左右文武官员全部反缚自己向拓跋焘请罪投降。最后，将三万余家凉州民户迁往平城，而北凉就此灭亡。
尽管如此，拓跋焘仍对待沮渠牧犍以妹夫之礼，对待其母亲用王太妃礼仪厚葬，对待其父坟墓设置三十家守墓人。至于谥号，则定为哀王，与武威公主合葬。在历史评价上，《魏书》、《十六国春秋》等史料均对其进行了正面评价，如“聪颖好学，有雅度”。
