司马姓的祖先出自于帝高阳之子重黎，是夏朝官祝融，历经了唐、虞、夏、商，世袭官职。到了周朝，以夏官的身分为司马，周宣王的时候，以世官克平了徐方，继承了官族，因此以此为姓氏。
楚汉相争的期间，司马仰为赵国的将领，跟随诸侯讨伐秦朝，秦朝灭亡之后，立为殷王。汉朝以他的所在地设立为郡，子孙继承家业。到了第八世，生征西将军司马钧，司马钧生豫章太守司马量，司马量生颍川太守司马俊，司马俊生京兆尹司马防，司马懿是司马防的第二个儿子。
在历代所有的参谋之中，司马懿是唯一一个谋而优则主的人，他这一个人的隐忍、耐力、智谋是极为罕见的。对内，他能在千古枭雄曹操的手下图存，以不可阻挡的才能就任了曹魏的大都督、太尉、太傅，位极人臣，辅佐魏国四代帝王，最终掌控了魏国，成为西晋王朝的奠基。
对外，他平定了孟达的叛乱，阻挡了绝代奇才诸葛亮的凌厉攻击，解决了辽东公孙氏的威胁，打击了东吴的入侵，为子孙统一天下铺平了道路。儿子司马昭封晋王后，追封司马懿为宣王，孙子司马炎称帝之后，追尊司马懿为晋宣帝。
三国战乱了几十年，曹、孙、刘三家都没落下实惠，只有司马氏最得利。这都是司马懿苦心孤诣、韬光养晦数十年的结晶。
司马懿被后世认为太过阴险狡诈，事实上他的确是比较阴柔，他发挥了才智统一天下安抚百姓，本来就是志能之士的理想，就算是坏一点又有何关系呢？从东汉末年军粮不足吃人肉到西晋初年的天下无穷人，司马懿一直主张的大兴水利、镇压腐朽、施惠百姓和选拔人才成就西晋初年的国泰民安。
司马懿的祖上当官的很多，曾祖父司马量为豫章太守，祖父司马俊为颍川太守，父亲司马防为京兆尹，都是大官。司马懿从小就受到很好的教育，他经常有奇思妙想，他信仰儒家学派，聪颖明理而又学问广博，常有忧虑天下之心，可谓是志向远大。
司马懿年轻的时候，南阳太守杨俊见过他，就对人说：“这个后生晚辈绝非寻常之辈，早晚必成大器。”
当时司马懿的哥哥司马朗在曹操手下当官，与尚书崔琰是铁哥们。崔琰见过司马懿后，崔琰对司马朗说：“你弟弟聪明懂事，做事非常果断，英姿不凡，不是你所能比得上的。”
曹操听说司马懿很有才能，就派人去召他到府中任职。那时天下大乱，司马懿还在观望，不能确定曹操能成为老大，而且司马懿认为到了曹操手下，以自己的个性难以施展手脚，就称自己中了风寒后浑身麻木不能起居。
曹操本来就是玩智谋出身，他是个多疑的人，当然不相信司马懿年纪轻轻就得了中风，便派武林高手夜间前去探个究竟。司马懿料定曹操会派高手前来，躺在床上一动不动，就像死了一般。那高手趁月黑风高潜入房间，见司马懿如同僵尸一般，用剑指着他的咽喉都毫无反应，就回去向曹操汇报：“此人形同废物，呼吸都很微弱。”曹操因此作罢。
一晃数年过去，曹操不仅征讨天下当了丞相，连他的堂弟曹洪也当了将军。曹洪一介武夫，却想学习谋略，闻听司马懿极善谋略，就备了重金请司马懿到他的帐中画策，以便建立更大的功勋。
司马懿连曹操请他都不想出山，更何况是曹洪呢？等曹洪骑马到了他的家中，却见他拄着拐杖，披头散发，一脸病容。曹洪原本以为这家伙真的不行了，后来听人说，司马懿是耻于与他来往，不禁怒火中烧，就跑到曹操面前告司马懿的黑状。
说：“这个人可能有点小才华，但他放言拒不为丞相效命，愚弟看他是想投奔别人吧。”
曹操心想：你这个娃再牛，也在老子的地盘上，还想蒙骗老子，一定有你好看的。
于是曹操命令虎豹骑宿卫曹休说道：“你去把司马懿这小子给我叫来，如果他不从，就绑了他投入大狱。还有让他别装了，再装我也瞧得出来。”
司马懿知道后，心生恐惧。因为曹老大的手段，他是知道的，杀人就如同踩死一只蚂蚁一样，绝不会手软，于是只好跟着曹休来见曹操。
曹操见司马懿来了，相当的客气，说道：“仲达何必躲着我呢？想当年令尊担任京兆尹时，推荐我任洛阳北部尉，司马家对我有恩，我岂能忘记？现在你的兄长为朝廷效力，你也应出来帮帮我呀。”
司马懿当时很怕曹操，担心跟着他久了，多疑的曹操会整他，就装作不懂谋略说：“蒙丞相的厚爱，愧不敢当。在下不是不愿出来为丞相效力，只是因为多年潜心孔孟，无意功名，只想做个安分守己的读书人。而丞相所需要的人才是征讨天下的文武，在下不通兵略，手无缚鸡之力，怎么能为丞相效力呢？”
曹操摇头说道：“平定天下，并不一定要上阵杀敌，各方面的人才都需要。仲达饱读诗书，精于孔孟之道，正是我所需要的。我常年征战在外，几个儿子缺少管教，如果你愿意的话，就教导教导我的儿子吧。”
司马懿巴不得这样，一来可以不跟曹操出征，曹操就不会因他有谋略而提防他；二来曹操毕竟上年纪了，与他的儿子们处好关系，将来有大用。曹操就封他为丞相府文学掾，主要职责是管理学校、教授弟子。
曹操的儿子众多，卞夫人所生的老大曹丕、老二曹彰、老三曹植，都各有才能，曹丕工于心计，曹彰勇武善战，曹植才高八斗。在曹操手下文官的心目中，曹操最喜欢曹植，私下认为将来曹植最有可能接班，于是都暗中结交曹植；武将们则亲近曹彰，佩服他武艺高强，冲锋陷阵不让沙场老将。只有曹丕，文才不及曹植，武功不如曹彰，性情多变，让人琢磨不透，所以反而亲近他的人少一些。
司马懿刚来，虽然曹操客气地请他教导自己的儿子们，实际上每个儿子都有专职的老师，司马懿这个文学掾最多是代课老师，跟公子们的接触机会不是很多。
然而细心的司马懿发现，曹植虽然才高，但书生气太重；曹彰虽然能打仗，但胸中没有韬略。只有曹丕，喜怒不形于色，做事非常果决，就有心与他结交。有道是物以类聚、人以群分，两位心机深沉的人很对脾气，很快成了知交。
曹丕那时地位不稳，需要司马懿暗中出主意；司马懿要在曹氏集团中混下去，长公子曹丕是最好的保护伞。于是二人各取所需，他们的关系可以用如胶似漆来形容。
由于司马懿对待工作兢兢业业，又从不邀功，再加上曹丕总是在父亲面前讲他的好话，官位不断升迁。几年时间，他从议郎、丞相东曹属晋升到丞相主薄。
赤壁之战后，曹操把主要精力用在平定关中和稳定内政上，取得了成效，再也没有出现当年征伐北方时那种摧枯拉朽的大规模战争。曹操得知刘备取得益州，深为忧虑，作为著名的军事家，他深知汉中是关中和巴蜀的咽喉要冲，也看透了诸葛亮必然要取汉中的计谋，当机立断，亲率十万大军征讨当时控制汉中的张鲁，司马懿作为丞相主薄跟随。
张鲁是张良的后人，但却没有老祖宗的智谋，曹操军至阳平关，他就逃往巴中去了。曹操进军南郑，把张鲁多年的积蓄打包运走，问司马懿如何对付逃跑的张鲁。
司马懿说：“张鲁志大才疏，在乎的无非是名位，只要丞相封他的官，许给他爵位，他就会投降，因为他与刘备是仇家，已经退无可退。”于是曹操命人劝降张鲁，封侯拜将，张鲁就归顺了曹操，曹操收了张鲁的地盘，就要回军。
司马懿谏言：“丞相出师收复陇右，宜乘胜出击。刘备用诸葛亮之计俘虏了刘璋，蜀人尚未归附，这正是破蜀的绝佳时机。丞相陈兵于汉中，益州就会震动不安，再加上张鲁的降兵，我们有十五万人入蜀，刘备、诸葛亮新建立的军队就会瓦解。古人说，圣人不能违时，也不能失时，请丞相三思。”
其实当时曹操也有这个想法，但是曹操除了郭嘉的计策全部信任之外，对其他人的计策都持怀疑态度。赤壁之战前，谋士程昱就劝过他提防火攻，曹操没有听从。如今司马懿劝他一鼓作气拿下西蜀，一来他心头反感，二来当时孙、刘结盟后，孙权正起大军准备攻打合肥。
如果入蜀马到功成还好，万一陷入地势奇险的蜀地，大后方就有被东吴攻占的危险。因此他听完司马懿的话后，冷冷地说：“人心最大的苦恼就是不知足，已经得到了陇右，还想得到西蜀？太贪心了吧。”于是不用司马懿的计策。
客观来讲，司马懿的计策并不差，刘备当时没有站稳脚跟，曹刘若是提前交兵，对曹操是有利的。但是司马懿在那次谏言后深深明白了，曹操一直对他有成见，这是班师回去后他才听曹丕最亲密的人私下告诉他的。
曹操之所以能成为东汉末年最大的老板，决不是靠运气，而是有过人之能，其中一条就是识人。识人不是简单的看相，而是通过人的形体、行为、神态、心志作出的综合判断。
他先前认定郭嘉就是助他成功的人才，说只有刘备与他才是天下英雄，以及对孙权生子当如孙仲谋的论断，都显示他眼光很毒。司马懿虽然藏得深，但曹操通过观察，还是觉得此人有异志。