张耳，年轻时曾是魏国公毋忌的常客，在秦灭魏后，他逃亡到黄县任外黄县令，与刘邦相处了数月。随后，他与朋友陈余一起投奔了陈胜、吴广领导的起义军，被任命为左右校尉。在秦二世元年的八月，张耳和陈余跟随义军大将武臣进入邯郸。当时，陈胜在陈地称王，因此张耳和陈余劝说武臣在赵地也称王。武臣自立为赵王，并委任张耳为右丞相，而鲁骚则担任左丞相。
然而不久后，部将李良杀死了赵王武臣和左丞相鲁骚，只有张耳因为他的聪明才智及时逃脱了这场劫难。他迅速招集了一些未叛离士卒并与幕僚商议，将原赵国后裔赵歇立为新的赵王，并迁都至信都。在同一年闰九月，当秦军主将章邯占据邯郸时，张耳和赵王歇被迫退守钜鹿城，但很快被秦军围困起来。
此时，项羽率领援助的义军北渡漳河解除了钜鹿之围。十二月间，张耳与陈余发生矛盾，不仅责备他不肯救援，还怀疑他暗中害死自己的人马。而当幕僚提醒他接受兵权之后，他们之间的关系彻底破裂。此后的汉高帝元年（前206年），刘邦灭掉了秦朝，而项羽则自立为西楚霸王，对刘邦封以汉王，同时封十八个诸侯，其中包括对曾经支持过抗击秦朝统治的功绩卓著的张耳，以分给他一部分土地，让他成为常山之君。这便是常山之国建立初期的情况。
尽管如此，由于其功劳与其他人相当而没有得到应有的回报，加上齐桓公田荣反叛楚国，这让 陈余感到愤怒。他秘密派遣门下客夏说去向田荣求取帮助，以便共同反抗项羽。但最终结果是使得他们陷入更深层次的地位冲突，最终导致战败。而在汉高帝三年（前204年）的时候，他带着几万人的队伍东出井陉击打那些背叛自己的盟友——即那时候仍旧属于流离失所状态下的残留势力。此举极大地震惊敌人，使得整个战局急转直下，最终取得了一场决定性的胜利，为成就历史上的辉煌业绩奠定基础。