Большой полк был частью боевого порядка рати Московского государства, которая обыкновенно делилась на пять полков: большой полк, полк правой руки, полк передовой, полк сторожевой и полк левой руки, а иногда на три: большой полк, полк передовой и сторожевой полк, также ещё имелся тыльный (или засадный) полк. Появление засадного полка и особого отряда на Куликовом поле показывает, что полки создавались по мере надобности и сообразно обстановке, а не по единому шаблону. Со второй четверти XVII века полки правой и левой руки исчезают и в последний раз упоминаются в 1629 году во время похода их против крымских татар.
Большой полк, составлял основные силы войска в походе и в бою; как правило, занимал центральное положение в боевом строе. При формировании единого войска составлялся один большой полк, в то время как отдельные рати, следующие самостоятельно, нередко обладали своим Большим полком.
Ежегодно выставляемая против крымцев «береговая рать» в 1576 году имела большой полк в Серпухове, полк правой руки — в Мишете, передовой полк — в Калуге, сторожевой полк — в Коломне и левой руки — в Кашире. Они собирались только летом, причём служилые люди, назначавшиеся в Украинный разряд, несли службу в две смены, с ранней весны по 1 июля и с 1 июля до снегов. Состав полков был неоднородный: в состав Большого полка изначально входили служилые люди Московского великого князя (затем — царя), в XVII веке полк состоял в основном из дворян. Со времён Ивана IV в состав Большого полка входили также стрельцы; общее число воинов иногда достигало нескольких тысяч (обычно — несколько сотен), и в таком случае полк имел 3 — 5 воевод. Большой полк организационно состоял из тысяч, сотен, полусотен и десятков. Во главе тысячи состоял воевода (тысяцкий). Сотней командовал голова, полусотней — пятидесятник, десятком — десятник.
Главой Большого полка был Большой воевода, бывший главным начальником всего войска; по званию был старше всех военачальников, за исключением дворцового воеводы. Назначался обычно из бояр и окольничих.