罗马实行"出则为兵，入则为民"的公民兵制度。起初，公民们去从军，怀着强烈的爱国心和维护国家利益的自觉性与责任感，可长期的对外征服扩张战争，使他们变成了事实上的职业军队。大征服的胜利，罗马奴隶制度得以充分发展，奴隶劳动开始在社会生产中发挥重要作用。受奴隶劳动的排挤，加上频繁战争的破坏和高利贷的盘剥，自由农民纷纷破产，失去土地，沦为无产者，丧失当兵资格。据统计，公元前164年参加选举的公民达372022人，到公元前136年降至317933人。公民人数的下降意味着有资格服兵役的人数减少，造成兵源不足，军队补充困难。公元前171年至前169年，公元前154年至前151年，罗马都出现过新兵补充不足的情况，到格拉古兄弟改革前，征兵甚至扩及17岁以下的未成年男子，可见问题的严重。
在军队素质上，长期作战的公民兵在社会经济和商品货币关系膨胀发展的情况下，也滋长着对财富的贪求，发财致富开始成为他们参战的主要目的。
战时掠夺战利品，战后出卖战利品，使军营里充满了随营商贩、奴隶贩子、各类经纪人和乌七八糟的人物。这些人的到来，破坏了军纪，损害了战斗力，降低了军队素质。这在第三次布匿战争期间已经很明显了。第三次布匿战争开始以后，罗马军队围攻迦太基久攻不下，据阿庇安记载，这是因为"军队里完全没有纪律和秩序，……士兵们惯于闲散、贪婪和劫掠"，他们更"像是一些强盗"。军队兵员补充的困难和战斗力的下降，对罗马国家的发展产生了致命的影响。此时，罗马复杂的社会矛盾日益尖锐，奴隶纷纷起义，被征服地区居民反抗罗马统治的斗争正在兴起。这一切都要求罗马从数量上和质量上加强军事力量，以确保内部安定并巩固对地中海地区的统治。统治阶级中部分有识之士已经觉察到问题严重，开始采取措施改变现状，以求军队有足够的补充和强大的战斗力。
第三次布匿战争后期的罗马军队统帅斯奇比奥.埃弥利阿努斯，在公元前147年主持对迦太基作战。他竭力在军队中恢复纪律和秩序，清理腐蚀军队的无用之人，对士兵严加训练，鼓励他们首先要克敌制胜。他的努力终于很快结束了旷日持久的战争。
公元前133-前121年，格拉古兄弟也挺身而出实行更广泛的改革。阿庇安清楚地意识到这次改革的目的是为国家取得战斗力，使罗马"有许多勇敢的士兵去征服世界上其他地区"。提比略.格拉古制订土地法，想通过限制贵族占有过量土地并给失地农民分配份地的办法来恢复小农经济，从而保证有充足的兵源。盖乌斯.格拉古更进一步制订同盟法，提出"给意大利人以同等的罗马公民权"，使军队有更充裕的来源，他还制订军事法，禁止未满17岁者入伍，由公款供给士兵衣着，保证军队的战斗力和提高士兵待遇。
但当时小农破产已成必然发展趋势，城邦基础已经动摇，企图恢复独立的小生产经济来保证兵源和提高军事力量已不再可能，旧的适合于城邦制度的兵农合一的公民兵制已经过时，格拉古兄弟改革在贵族的反对下也宣告破产。
公元前111年，非洲努米底亚国王朱古达掀起反罗马战争，罗马对朱古达宣战。可罗马军官接受贿略，士兵出卖武器，军纪荡然，士气涣散，战争伊始便屡遭失败。公元前109年，执政官麦特鲁斯到达非洲，接收的竟是"一支软弱、懦怯、无力面对危险和困难的军队"，"毫无纪律和约束"，"营地没有设防，军营没有巡逻"。麦特鲁斯对军队进行了整顿，但战争仍然拖延不决。
这时，麦特鲁斯的部将马略许诺尽快结束战争，赢得了罗马骑士和平民的支持，当选为公元前107年的执政官，受命主持指挥朱古达战争。从此开始，一直到公元前101年对日耳曼人战争结束，马略进行了一系列改革，增强罗马军事力量，提高罗马军队的战斗力，史称马略军事改革。
盖约.马略(公元前157年——前86年），出身于地位低微的农家，自幼少受教育，早年投身行伍，后又投身政界。长期行伍生活，使他深知军队弊端；参与政治活动的经历，启发了他对社会问题的认识，有助于他不顾传统断然采取行动。他的改革解决了罗马军队的危机，摆脱了共和国面临的困境，却又促使罗马逐步从共和走上帝制之路。
马略实行新的募兵制度，取消了公民兵制的征兵制，放弃传统的财产资格限制，吸收志愿的无产者入伍。《朱古达战争》一书的作者塞琉斯提乌斯说，鉴于符合财产资格的人员不足，马略"不再按照祖先时期形成的等级，而允许任何人志愿参军，其中大部分是无产者"。普鲁塔克对此也有类似记载："胜利当选之后，他便立即着手征集军队，与法律习惯相反，他把许多穷苦和贫贱的人编入军册"。募兵制的实行打开了无产者志愿进入军队的大门，基本上解决了兵源问题。不过，采用募兵制后，义务的公民兵制度并未立即废除，直到公元前一世纪时，志愿兵并不总是能满足需要，往往仍需辅以强制征集。
军饷制的实行开始于公元前4世纪的卡米路斯军事改革，由国家发给士兵报酬，并由国家提供统一的武器装备。马略改革实行募兵制，士兵脱离生产，无法自养自给，为保证士兵的生活，马略不但规定了士兵可获得薪饷，而且可以从国家获得武器给养，并不在军饷中扣除。
步兵每年军饷为120狄纳利，百人队队长加倍，骑兵则为2倍。而且士兵在每次战争后分得的战利品数目更相当可观，因此农民尤其是无产者纷纷志愿参军。
在公民兵制度下，士兵服役是义务，罗马公民战时服役，平时则解散回家种田。只要跟邻邦处于和平状态，就不需要存在军队。共和早期，战争规模小且在家园附近作战，军队一般夏季出战，秋冬春返回家园生产。虽然国家规定17至60岁的公民均有义务承担军役，实际上参加过16次(或20次）出征即可免役；倘是骑兵，只需服役10次。这样一来，罗马公民往往未入中年便已解除军役。公元前3世纪后，长期对外扩张战争，军团不能每年解散重建，要求士兵长年离家服役，但在布匿战争期间平均服役年限也只7年。而募兵制实行后，士兵服役年限增加到16年。与此同时，马略的改革措施规定老兵服役期满后可以从国家分得一块份地作为补偿。先前占有土地方可服兵役，现在要想获得土地就必须先服役，服兵役却成了获得土地的前提。这正表明马略的改革措施是独立小农破产的必然结果。
虽然马略建立的是一支职业军队，但还不能认为是完全意义上的常备军。后来奥古斯都在此基础上建立起正式的常备军。
为了使军队更加机动灵活地作战，马略对罗马军团组织又加以改革，创建了联队制的军团结构。联队是介于军团和中队之间的组织，每个联队为600人。每个军团建有10个联队，共6000人。
每个联队辖3个中队，每个中队200人。两个百人队(各为100人）组成一个中队。联队制的特点是每个联队能够单独执行作战任务，独立进行军事活动，因而更富有灵活性。联队士兵一律为重装步兵。每个军团还配备有一定数量的、来自同盟者或行省的骑兵和轻装步兵。
在阵式排列上，联队制的军团仍实行原来的三列队法。10个联队按四、三、三配置，以传统的五点形排成。也就是第一列为4个联队，第二、三列各为3个联队。前后列的各个联队相互错开，以便交叉挡住前列空隙，使军队作战力量更加密集，更富有冲击力，而又能够机动灵活。
联队制的军事组织，在帝国前期时稍有变化，但基本上一直维持到三世纪。
罗马军队历来以军纪严明闻名于世，同时，罗马军队也非常注意进行奖励以表彰军功，培养军人的荣誉感。但到公元前2世纪以后，军队开始腐化堕落，军队日趋松散，到朱古达战争时更为严重。
马略组建新军后，加强整顿军纪，严格训练，使士兵闻风而动，令行禁止，大大提高了军队战斗力。他教育士兵懂得，"倘若逃跑就要被捕或被杀，只有武装才能保卫自由、国家和父母，并且获得荣誉和财富"。因此，马略的执法严格、赏罚分明，立刻就立竿见影，效果明显。
马略还对士兵严格训练，以提高他们的作战能力。在训练中，他着重训练军队适应环境，让士兵适应北非的酷热缺水，能使士兵惯于长途行军以对付远距离的日耳曼人。马略还要求士兵熟练掌握工兵作业，军队每到一处，均可根据需要做到修建运河，安营扎寨，保证军队有充足供应，并能让士兵安心等待作战时机，以免匆促作战。
马略的军事改革结束了罗马使用公民兵的古典城邦特色的历史，开创了罗马依靠雇佣兵维护其统治的先河，对罗马确有起死回生之效。
从此，军人以奉命作战为职业，服役期长达十余年。奴隶主国家也不必为小农衰微影响兵源焦虑，军人服役期满可分得土地，与战争中掳获财物的老兵组成了地方上的小奴隶主阶层，成为了奴隶主政权的一个社会基础。
但是，职业化的军队长期追随其军事头领，容易成为将领的私属部队，造成"将可私兵"的后果。在罗马共和晚期内争激烈之际，拥有自己军队的将帅往往成为政治舞台上的决定性力量，军队遂作为政治斗争的工具，内争转为内战。这样造成反元老派借助军队建立军事独裁的帝制，也造成军人的跋扈，军队为自身利益而混战不休，人民饱受杀戮劫掠之苦，这种兵灾在帝制建立初期的太平盛世虽不多见，但在帝国后期却成为罗马社会的一大痼疾。
可是，在共和晚期和帝国初期，马略的军事改革确实挽救了罗马向前发展的危机。马略改革建立的军事组织制度，不仅适合共和国的需要，也适应了帝国的要求，基本上一直维持到3世纪。后来，奥古斯都曾对军队进行改组，使职业军队更适合元首制的需要，从而最终"完成了把罗马军队变为常备的正规军的事业"。