北方大乱时，江南却相对稳定，晋愍帝曾留下诏书，要镇守在建康（原名建邺，今江苏南京市）的
司马睿初到江南时，由于非常年轻，在王公贵族中并没有多少声望，拥戴他的文武将官不多，这使司马睿感到势单力孤，忧心忡忡。
司马睿最亲信的人是王导。王导出身于世家大族，在上层社会名气很大，而且非常有胆识，能准确地判断天下大势。所以，司马睿非常敬重王导。当他从下邳到江南任职时，让王导与之同行，做他的司马，军政大事都向王导请教。
王导认为，江东一带经济、文化都很发达，人们比较讲究出身、门第和名望，琅琊王司马睿资历太浅，很难服人，必须有上层社会的大官僚、大贵族支持，才能显出他的身份来。
王导有个堂哥王敦，当时在扬州做刺史，很有势力。王导把王敦请到建康，两人商量之后，想出一个主意。这年三月初三，按照当地的风俗是
这一天，在建康江边看热闹的人很多，大家从来没见到过这种大场面，顿时引起了轰动。
江南有名的士族地主顾荣等人听到这个消息，从门缝里偷偷张望。看到王导、王敦这些有声望的人对司马睿这样尊敬，大吃一惊，怕自己怠慢了司马睿，一个接一个地出来排在路旁，拜见司马睿。
这一来，提高了司马睿在江南士族地主中的威望。王导接着就劝司马睿说：“顾荣、贺循是这一带的名士。只要把这两人拉过来，就不怕别人不跟着我们走。”
司马睿派王导上门请顾荣、贺循出来做官，两个人都高兴地来拜见司马睿。司马睿殷勤地接见了他们，封他们做官。
自此以后，江南大族纷纷拥护司马睿，司马睿在建康就树立了威望。
北方发生大乱以后，北方的士族地主纷纷逃到江南来避难。王导又劝说司马睿把他们中间有名望的人都招附到王府来。司马睿听从王导的意见，先后吸收了一百零六个人。司马睿将这一百零六人征集到一起，任为掾属（帮助主要官员办事的官员，不需朝廷任命）。当时称作“百六掾”。
司马睿听从王导的安排，拢络了江南的士族，又吸收了北方的人才，巩固了地位，心里十分感激王导。他对王导说：“你真是我的萧何啊！”
在建业城南有一座劳劳山，山上有七个亭子，名叫“新亭”，王导经常和同僚们去新亭游览。有一次，王导和几个同僚在新亭集会，饮酒做诗。有个同僚喝了几杯酒，想到远在北方的故乡战火纷飞，不禁流下泪水，哭着说道：“风景年年都是一样的，可这大好江山却变样了！”越想越伤心，竟然放声痛哭起来。别人见他一哭，触动了心事，也跟着哭起来，一时间新亭内外，一片抽泣之声。王导从容地放下酒杯，站起身来，慷慨激昂地说：“我们大家聚在一起，应共同出力，恢复晋室大好河山，怎能这么精神不振，只会流眼泪呢？”一席话说得大家心服口服，一齐拜谢王导的指教。后来所谓“新亭对泣”说的就是这段故事。
公元317年，司马睿在建康称帝，史称晋元帝。此后，晋朝的国都在建康，晋朝的国土也就在江东一带，所以历史上称这个朝代为东晋。
晋元帝登基的那天，王导和文武官员都进宫来朝见。
晋元帝见到王导，从御座站了起来，把王导拉住，要他一起坐在御座上接受百官朝拜。
这个意外的举动，使王导大为吃惊。因为在封建时代，绝对不允许有这样的事。王导慌忙推辞，说：“这怎么行？如果太阳跟普通的生物在一起，生物还怎么能得到阳光的照耀呢？”
王导这一番吹捧，使晋元帝十分高兴。晋元帝也不再勉强。但是他认为他能够得到这个皇位，全靠王导、王敦兄弟的力量，所以对他们特别尊重。他让王导担任尚书，掌管朝内的大权；又让王敦总管军事。王家的子弟中，很多人都封了重要官职。
东晋的建立，在很大程度上归功于王导的王氏家族，所以当时民间流传着“王马共天下”的俗语，“王”指王导家族，“马”指司马氏皇帝。