我国古代曾出现过地位崇高的军职——“大元帅”，如北宋末年康王赵构南渡，曾以“天下兵马大元帅”作为号召，抵御金兵。明朝以后，“大元帅”的职位几乎不再设置，沦为农民起义首领的专有自封称号。但到了清朝灭亡前夕，实行新政，“大元帅”的称谓又在政府体制内重新出现。
近代首个“大元帅”的横空出世
有清一代，以文制武，兵权完全操于皇帝之手。清末经甲午、庚子两役重创，痛定思痛，决意实行新政，以图富强。清末新政是以效法日本为主线的，究其原因，第一，日本的维新过程也是立足于引进“西法”之上，较为成熟，也更适合于中国当时的情况；第二，日本在甲午之役后，国策上有所变化，对中国极尽拉拢，提供了诸多优惠，较西洋各国更为便利；第三，日式变法后保留了天皇的决定性权力。最后这点对于企图保持皇权统治的清廷来说，尤其具有吸引力。故此，清末新政的体制改革进程，实际上是一个“山寨”日本政治制度的过程。
载沣借立宪改制为名，一意加强皇族的力量。在军事上，设置军谘院（相当后来的参谋总部），以弟弟载涛、贝勒毓朗等亲贵管理主持，对异己力量予以压制，军队内部袁世凯、铁良的旧人也逐步进行撤换，并编练了受其直接控制的禁卫军。载沣对于各种新思潮更是抱着抵制、排斥的态度，在上台后不久，其倒行逆施就引起了人们的反感，就连资政院也不时给载沣添堵。1910年底，多位资政院议员曾提案，目下移风易俗，监国摄政王、陆海军大元帅为皇上的代表，应先行剪去发辫，更易礼服，以身作则，为天下先，搞得载沣哭笑不得。
辛亥年“假定大元帅”和“副元帅”之争的风波
武昌首义后，各省的起义与反正此起彼伏，有不可阻挡之势。到1911年11月，全国已有十四个省份宣布光复。在辛亥革命之初，湖北无疑是起义的中心，独立的各省代表于11月30日在汉口英租界开会，商量筹组全国性临时政府。12月4日，鉴于南京已被江浙联军光复，而武昌尚处于清军的威胁之下，大家决定将临时政府设在南京。同一天，各省留在上海的代表也做出了同样的决定，并进一步推举黄兴为“假定大元帅”、黎元洪为副元帅，作为暂时指挥全国起义民军的最高统帅。
此前，大元帅人选以黎元洪的呼声较高，留沪代表推举黄兴为大元帅之举，是由中部同盟会宋教仁、陈其美等人与江浙地方势力推动的，背后的原因主要还是他们对黎元洪抱着极大的不信任，欲通过此举来争夺日后在临时政府中的主导权。至于黄兴本人，性格谦逊，不计较个人名利，不久前指挥汉阳、汉口之役失败，情绪低落，此次被陈其美等人拥戴推举后，曾极力推辞，最后虽勉强应允，但迟迟不肯就职。
但是，推举黄兴之举引起了在汉的各省代表会以及鄂军都督府的不满，他们一致不承认此选举结果。同时，江浙联军内部部分将领对由武汉之役的“败军之将”黄兴来当大元帅也不以为然。12月17日，黄兴通电坚辞大元帅，并推举黎元洪暂任大元帅。在南京继续开会的各省代表会遂做出决定，改举黎元洪为“假定大元帅”，黄兴为副元帅。不到半个月，正副元帅的位置又倒换过来，如同儿戏。12月21日，黎元洪致电各省代表会，表示接受大元帅名义，并委任副元帅黄兴代行大元帅一切任务。
辛亥革命期间的“假定大元帅”实际是在临时大总统选出之前，暂时指挥独立各省的过渡性职务，经过半个多月的争执，大体尘埃落定。但是此时孙中山已回国，旋被各省代表选举为临时大总统，所以黄兴的这个“副元帅代行大元帅”也一直没有就职。至1912年元旦，孙中山在南京就职，中华民国正式成立。3日黎元洪被选举为副总统，黄兴任陆军总长。根据《临时政府组织大纲》的规定“临时大总统有统率海陆军之权”，之前选出的“大元帅”、“副元帅”职位因与新大纲有所冲突而被取消。
在1913年7月国民党发动“二次革命”运动时，曾推举袁世凯的老政敌岑春煊出任全国讨袁军大元帅，以图号召各界反袁力量。不久，讨袁战争失败，岑春煊流亡于境外。
袁世凯当政时期的“陆海军大元帅”
针对民初以来各省都督权力过大，中央政令难以下达贯彻的问题，袁世凯早有“削藩”之意。故在统率办事处成立两个月后，下令改各省都督为将军，没有都督职权的高级军官也可以授予将军称号，并在北京设立将军府，直隶于大元帅统率办事处，管理全国的将军，将军府的将军可以调往各省主持军务，各省将军也可内调将军府。这样一来，就把各省的都督变成了中央可以随时调来调去的将军，削弱了其权力。
袁世凯收权的行径受到了从中央到地方各种势力的抵制，如原来的亲信段祺瑞就因此与他产生裂痕，并对之后的帝制抱着消极抵制的态度。袁所依靠的军事实力基础——北洋军也发生分化，有所不稳。故此，袁世凯以大元帅的名义编练模范团，自任团长，培植军中亲信力量。
在张勋复辟失败后，徐世昌、黎元洪、曹锟先后担任了民国政府的大总统，从法理上说，仍有兼陆海军大元帅的名义，但实际中已基本不大使用。
三次担任“大元帅”的孙中山
自1917年护法运动后，中国在名义上的统一已不存在，一直处于南北两个政府并立的状态。对于南方政府而言，因在正统性方面逊色于北京政府，缺乏中外各方的支持，内部又受各方军阀势力的牵制，屡仆屡起，南方政府的形式变化多次，但基本上都是军政合一的模式。在此期间，孙中山先生曾三次出任南方军政府的“大元帅”。
1917年7月张勋复辟失败，段祺瑞重回总理大位，拒绝恢复临时约法和旧国会，引起了国民党及西南势力的反对，护法运动爆发。8月，一部分议员响应孙中山等人的号召，南下广州，召开非常国会，组织中华民国军政府，设大元帅、元帅，在临时约法的效力尚未恢复之前，国家的行政权归大元帅行驶。9月1日，非常国会选举孙中山为军政府大元帅，唐继尧、陆荣廷为元帅。10日，孙中山宣誓就海陆军大元帅职，号召北伐，并任命了外交、财政、陆军、海军、内政、交通各部总长及参谋总长。
第二次就任大元帅发生于1921年5月。此前孙中山策动陈炯明率援闽粤军驱逐了旧桂系的军队，回到了广东。4月1日，广州的非常国会选举孙中山为非常大总统，以与北京的徐世昌相抗衡。5月5日，孙中山在广州就任非常大总统职。孙中山担任非常大总统后，按组织法规定，兼任陆海军大元帅，以统率各路军队。1922年4月，因与陈炯明发生分歧，孙中山撤去了陈炯明的粤军总司令职务，将陈所属的海陆军直辖于大元帅。5月4日，孙中山以大元帅名义下令北伐，从韶关誓师，进攻江西。6月陈炯明叛变，围攻总统府，孙中山登上永丰舰，后离粤赴港、沪。孙中山在流亡期间，仍用大元帅名义，对仍忠于他的许崇智、黄大伟、李福林等军队授给“讨贼军”的番号，并联络滇桂等军，讨伐陈炯明，终将陈炯明赶出了广州。
北洋政权末期的安国军政府“海陆军大元帅”
1927年6月，国民革命军出师北伐已近一年，打败了吴佩孚、孙传芳等军阀的主力，席卷长江流域以南各省。北方的各大小军阀在北伐军的打击下，抱团取暖，趋于大联合。6月16日，孙传芳、张宗昌、吴俊升、张作相等人通电拥戴张作霖为海陆军大元帅，另组军政府，以替代徒有虚名的北京政府内阁，领导对抗北伐军的战事。18日，张作霖在北京居仁堂就海陆军大元帅职。在新体制下，政府总理及各部总长均归大元帅节制，大元帅实际上代行了大总统的职权。
张作霖以大元帅的名义下令，将孙传芳、张宗昌等各军阀所属的五省联军、直鲁联军等名义全部取消，一律改为“安国军”，所有军队统编为七个方面军团，分别由孙传芳、张宗昌、张学良、韩麟春、张作相、吴俊升、褚玉璞任总司令。
张作霖的军政府建立后，“安国军”的形势曾一度有所起色，在苏北方面击退了南京政府蒋介石的北伐军，在河南方面对冯玉祥的北伐军作战也曾暂时取得一些进展。但好景不上，到了1928年春，蒋介石、冯玉祥、阎锡山、李宗仁各部联合，举行第二期北伐，各路“安国军”或被消灭，或节节败退，军政府摇摇欲坠。6月4日，张作霖在返回东北的途中被炸死。其后，张学良退兵关外，改称东三省保安总司令，并在年底易帜，投向国民政府。
蒋介石的“大元帅”是怎么回事？
多年以来，蒋介石被西方人称为“Generalissimo”，一般译作“大元帅”（按字面直译是“非常大将军”之意）。这个称号国民政府时期也予以默认，在对外宣传中也常用及。那么，蒋介石真的当过“大元帅”么？这个要从国民政府的最高军事机构设置说起。
1925年7月国民政府成立时，就取消了孙中山时期的大元帅府，成立了军事委员会，采取委员制，作为最高军事统率机构。北伐战争开始后，以蒋介石为国民革命军总司令，战后改组为陆海空军总司令。其间，蒋介石虽掌握了军事领导权，但不断受到党内汪精卫、胡汉民等派系的挑战，以及外部各大军阀的掣肘，地位一直不太稳固，甚至两次被迫下野。直至三十年代初，随着民族危机上升，以及党内外反对派势力的削弱，蒋介石的地位才逐渐变得不可动摇。1932年，蒋介石重新上台后，国民政府进行改组，重新确立了以军事委员会为最高军事机关，并由蒋介石担任委员长，从此“蒋委员长”成为人们所熟知的尊称，这一格局一直维持到1949年为止。
1937年抗日战争全面爆发后，国民政府于8月20日成立大本营，作为领导抗战的指挥机关，最高领导为陆海空军大元帅，以蒋介石任之，这也是国民政府时期唯一一次出现“大元帅”的正式称号。大本营存在的时间不长，8月30日蒋介石决定仍以军事委员会为抗战最高统帅部，不另设大本营，大本营于1938年1月正式撤销。因此，在全面抗战的八年期间，蒋介石使用的仍是以军事委员会委员长的名义。
1935年3月国民政府颁布了新的军衔等级表，其中规定特级上将为陆海空军最高军事长官。同年4月1日，蒋介石被以军事委员会委员长被授任为特级上将，也是民国史上唯一的特级上将。特级上将从授任条件上说，仅限于全国最高军事统帅，具有唯一性的特点，与本文前述的那些“大元帅”职务有相当大的交集。但是，最大的不同是这个特级上将是属于等级军衔系列中的，也是我国在军衔制中首次出现类似的设置。将特级上将等价于“大元帅”军衔，在国外也有先例可循。从这个角度来看，西方人称呼蒋的头衔“Generalissimo”也是可以理解的。