父授遗命
汉武帝元封元年（前110年）春天，汉武帝东巡渤海返回的路上在泰山举行封禅大典。作为参与制定封禅礼仪官员的司马谈却因病留滞在周南（今湖北）未能继续前行，更因此而心中愤懑以致病情加重。奉使西征的司马迁在完成任务后立即赶往泰山参加封禅大典，行到洛阳却见到了命垂旦夕的父亲。
弥留之际的司马谈对司马迁说：“我们的祖先是周朝的太史。远在上古虞舜夏禹时就取得过显赫的功名，主管天文工作。后来衰落了，难道要断送在我这裹吗？你继为太史，就可以接续我们祖先的事业了。如今天子继承汉朝千年一统的大业，到泰山封禅，而我不得从行，这是命中注定的啊！我死以后，你一定会做太史；做了太史，你千万不要忘记我要编写的论着啊。况且孝，是从侍奉双亲开始的，中间经过事奉君主，最终能够在社会上立足，扬名于后世，光耀父母，这是孝中最主要的。
天下称颂周公，是说他能够歌颂周文王、武王的功德，宣扬周、召的遣风，使人懂得周太王、王季的思想以及公刘的功业，以使始祖后稷受到尊崇。周幽王、厉王以后，王道衰落，礼乐损坏，孔子研究、整理旧有的文献典籍，振兴被废弃了的王道和礼乐。整理《诗》、《书》，著作《春秋》，直到今天，学者们仍以此为法则。从鲁哀公获麟到现在四百多年了，其间由于诸侯兼并混战，史书丢散、记载中断。如今汉朝兴起，海内统一，贤明的君主，忠义的臣子的事迹，我作为太史而不予评论记载，中断了国家的历史文献，对此我感到十分不安，你可要记在心里啊！”司马迁低下头流着泪说：“小子虽然不聪敏，但是一定把父亲编纂历史的计划全部完成，不敢有丝毫的缺漏。”
私淑古今贤
因为在长安任职，又缝“汉之得人，于兹为盛”的汉武盛世，司马迁得以结识汇聚于长安的天下贤能之士。包括贾谊之孙贾嘉，公孙季功（或为公孙弘），樊哙之孙樊他广，平原君朱建之子，冯唐之子冯遂，田叔少子田仁，梁人壶遂，杜陵苏建等。然而，对司马迁影响最大的莫过于董仲舒与孔安国。
司马迁与上大夫壶遂讨论文学之时曾说过：“我听董生说：‘周朝王道衰败废弛，孔子担任鲁国司寇，诸侯害他，卿大夫阻挠他。孔子知道自己的意见不被采纳，主张无法实行，便褒贬评定二百四十二年间的是非，作为天下评判是非的标准，贬抑无道的天子，斥责为非的诸侯，声讨乱政的大夫，为使国家政事通达而已’”。而纵观《史记》可知董仲舒之公羊学对司马迁的影响主要为：其一，公羊家颂扬汤武，主张以有道伐无道，成为《史记》反的思想基础；其二，公羊家尊王攘夷主张大一统的思想，成为《史记》贯串全书的主要观念；其三，公羊家崇让、尚耻之义是《史记》褒贬历史人物的道德标准。
因孔安国为孔子后人，家中有当世失逸的《古文尚书》十余篇，并兼通今古文学。故而司马迁亦尝就《古文尚书》问故于孔安国，学习古文经学的故训，以及别择古文资料的古文学，掌握考信历史的方法。而《古文尚书》作为整个古文学的核心，司马迁写上古三代史亦从中作了大量的引用。司马迁曾在《史记·孔子世家》给给予孔子“高山仰止，景行行止。”的高度赞扬。其亦吸收孔子学说和六艺经传的精华，效法孔子精神，继《春秋》作《史记》，完成一代大典。