Das Wort exerzieren (lat. exercere – üben) wurde früher für das Üben jedweden Lehrgegenstandes gebraucht. Für die Übungen der Soldaten im Speziellen war anfangs ein erläuternder Zusatz nötig, z. B. „in den Waffen exerzieren“; dieser Zusatz fiel später weg.
Das Exerzieren des Militärs war einst die Ausbildung im Waffengebrauch und in der Bewegung geschlossener Abteilungen, eine den taktischen Grundsätzen der Zeit angemessene Gefechtsausbildung, bei der in geschlossenen Bataillons- (als im Sinne von Gefechtsverband) oder Kompaniekolonnen auf dem Schlachtfeld aufmarschiert und sowohl zur Verteidigung als auch zum Angriff das Gefecht geführt wurde. Schriftlich fixiert wurden diese Regeln und Grundsätze in den Exerzierreglements. Mit der fortschreitenden Entwicklung der modernen Kriegführung, der durch die erhöhte Waffenwirkung erzwungenen Auflösung der Formationen und dem Erfordernis selbständig handelnder Kämpfer verlor das Exerzieren als formale Bewegung auf dem Gefechtsfeld an Bedeutung.
Den Gegebenheiten einer modernen technisierten Armee angepasst hat das eigentliche Exerzieren, der Formaldienst, für den Gefechtsdienst an Bedeutung verloren. Gleichwohl wird es noch heute in den meisten Armeen der Welt für unentbehrlich gehalten, wenngleich in stark unterschiedlichem Ausmaß. Eine Rolle spielen dabei sicherlich auch psychologische Erwägungen. Im ursprünglichen Wesen des Exerzierens, im Sinne von „üben“, hat es in den Bezeichnungen der Gefechts- und Waffenausbildung seinen Wert behalten.
Exerzieren im heutigen Sinn ist das Einüben von mechanischen Handlungsabläufen, die nur in einer bestimmten, für Soldaten aller Dienstgrade nicht mehr zu überlegenden Art und Weise ablaufen können. Beispiele sind der Handlungsablauf des Herstellens des Vollschutzes bei ABC-Alarm oder die Beseitigung einer Störung wie beim Maschinengewehr durch Hülsenklemmer oder allgemein die Handhabung von Waffen (zerlegen, zusammensetzen etc.), doch wird hier eher von Drill gesprochen.
Im engeren Sinn wird unter Exerzieren heute in der Bundeswehr der Formaldienst verstanden. Im Österreichischen Bundesheer ist dafür der Begriff Exerzierdienst gebräuchlich. In der Schweizer Armee wird der Begriff Zugschule verwendet.