在东晋成立后，南迁的晋人莫不希望发动北伐，收复在北方沦陷的家园。但由于世族已安居江南，南方丰富的资产使得重返北方的意愿不高。但是东晋建立后，依然进行了多次的北伐。东晋初期，朝廷采取以攻为守态度抵御北方。317年祖逖意图北伐，晋元帝给予充分支持，不仅从库存数千匹布帛中取出三千匹支援，晋元帝命祖逖相机收复中原。他招募流民建立军队北上，晋元帝还先后派自己的次子和司马飏出兵配合祖逖，并与当地坞堡合作，最后成功收复黄河以南领土，与石勒隔河相持。

　　但由于东晋发生内乱，朝廷于321年派戴渊为征西将军，都督各军守寿阳，镇西将军祖逖不愿隶属其下，修武牢沿黄河防御，又得知朝廷内部王敦和刘隗矛盾重重，忧愤而死。王敦因为祖逖去世而不必顾虑遂叛变。祖逖军由其弟祖约率之，最后也随苏峻叛变。由于晋朝内部矛盾，失地得而复失。晋成帝时则由庾亮、庾翼兄弟主持北伐，他们以荆州为中心，意图发动北伐。但是因被抵制，所以没有实现统一。庾氏兄弟相继去世后，朝廷先后由褚裒、殷浩、谢尚、桓温、司马勋等多次北伐。

　　346年晋穆帝时，桓温、周抚、司马无忌、毛穆之、袁乔等讨伐成汉，次年讨灭。349年石虎死，晋廷派褚裒北伐，失败。桓温多次破坏北伐，在褚裒北伐失败后引军东下武昌与殷浩争权。晋廷不许，改以殷浩、司马勋、谢尚负责北伐。352年殷浩联合羌将姚襄北伐前秦，被苻健击败。次年殷浩再度北伐，为姚襄所袭，殷浩被桓温弹劾罢免。354年桓温伐前秦，但由于苻健采坚壁清野战术，桓温又态度消极不进，最后晋军缺粮而撤退。356年，桓温讨伐河南姚襄，击溃之并攻占洛阳，修谒皇陵。358年桓温不顾朝廷要求其驻守经营洛阳，仅留毛穆之三千人守洛阳，自行南撤。等到晋哀帝及晋废帝（即司马奕）相继为帝之后，桓温已经控制兵权。

　　当时北方呈现前秦、前燕代凉割据的局势，洛阳为前燕占领。桓温为了准备专权，于369年讨伐前燕。当时燕军大败，晋军进驻枋头（今河南浚县附近）与燕将慕容垂对峙。最后晋军缺粮而退，慕容垂率军追杀，晋军大败。371年桓温废晋帝司马奕为东海王，改立司马昱为简文帝。隔年简文帝去世，晋孝武帝继位，373年桓温要求“九锡”，大臣谢安、王坦之拖延该事，不久桓温病死，东晋暂时中止了北伐。