颜钧世居永新三都中陂村，自幼体质孱弱，智慧不开，被人视为痴儿。十三岁随父在常熟读书。十七岁时，父亲病故，仲兄颜钥又陷粮役，家道中落。颜钧因家贫不能继续读书，遂返乡，居家奉养寡母。一度苦闷不已。二十五岁时，由于思想大变，他接受了王阳明的“致良知”理论。他二十八岁辞家出游，但未遇一志同道合之人。
公元1536年，他再度访学，在北京得遇徐樾，从之学习三年。在此期间，他深受泰州学派的影响，这是中国历史上第一个启蒙学派，由王艮创立，其宗旨是以“格物”为主，以“吾身”为本，“天下国家”为末。他认为修身是天下国家之本，将儒学理论简易化、平民化，并推广到平民百姓中。
嘉靖十九年（1540年），他返回江西南昌，在同仁祠张贴《急救心火榜文》，宣传自己的思想主张。这篇榜文提出六个急救问题和对策，对当时社会的问题进行了反思和批评。他的讲学活动很快就吸引了一大批听众，其中最著名的是罗汝芳。
嘉靖三十五年（1556年），他上书朝廷，对时弊提出了自己的解决方案：减轻人民负担、大赦罪犯、聚集散失的人才等。他关心民众疾苦，上书抨击时弊，但由于他的言论触及到了当权者的利益，因此遭到了迫害，最终被捕入狱。但后来经过罗汝芳的营救，他被释放并且还被聘请作为军师参与抗击海盗活动。
隆庆五年（1571年）五月，他被遣送回家。此后多半在家从事著述工作。他晚年的生活并不安宁，但他仍然坚持写作直至去世。在他的遗稿中，有一些作品在咸丰六年的《颜山农先生遗集》九卷中得以出版，这是颜钧著作唯一刻本，是保存珍贵历史资料的重要文献之一。
