1871年、兵部省の局として陸軍参謀局が置かれたのがその始まりである。1878年に陸軍省が発足するとその管轄は移され、1889年には帝国全軍を統括するために参謀本部が置かれた。このとき、同時に制定された
大日本帝国憲法の規定に「天皇ハ陸海軍ヲ統帥ス」という文言があったことから軍令部門である参謀本部は天皇に直隷し、内閣や議会の拘束を受けない組織となった。その後、1903年には山本権兵衛らの工作によって海軍の軍令部門が分離し海軍軍令部となり、同じく天皇に直隷する。1904年から始まった日露戦争では、参謀本部と海軍軍令部はしばしばセクショナリズムに囚われて反目し合い、作戦の遅滞を招いた。戦後は海軍軍令部と協同して日露戦争の公刊戦史「明治三十七八年日露戦史」を編纂するなどした。この他にも参謀本部は歴史上の合戦などを軍事学的な観点から分析し、その研究結果をしばしば書籍として出版している。その後、幾度かの戦争においても参謀本部は陸軍全軍を指揮したが、その際政府の意向に反した行動を取る(例として挙げられるのが
支那事変時の中華ソビエト共和国に対する無断越境爆撃で、支那派遣軍参謀であった辻政信の独断で実行された)など「陸軍がソッポを向く」と評される状況となり、政府が軍に行動を指示しても奉勅命令を盾に動かないことが多かった。このような事例が散見されるのは海軍も同じであったが(パネー号事件など)、陸軍の方が圧倒的に多いものであった。ここから、帝国議会では「統帥権の独立」、すなわちシビリアンコントロールのなっていない状況が問題視されるようになり、1945年に改訂され制定された連邦憲法では陸軍参謀本部・海軍軍令部の上に御前会議を置くことによって陸海軍の統合運用とシビリアンコントロールを達成した。この時同時に、参謀本部は平時は本国陸軍のみを統率するものとされ、戦時のみ全軍を統帥式指揮するものとなった。