Улица возникла в XIII веке. Она связывает Петровку, которая продолжается за Бульварным кольцом до Успенского переулка, с Садово-Каретной улицей.

Московская знать, ремесленники, торговцы тележного ряда и мастера-каретники жили здесь. Загородные дворы боярина князя М. П. Ромодановского, сибирского воеводы князя М. П. гагарина, других знаменитостей стояли на Каретном ряду. В 1800 году архитектор О. И. Бове возвел сразу за Петровскими воротами дом князей Гагариных.

После Отечественной войны 1812 года на Петровке построили двухэтажные каменные казармы, в них разместились военно-рабочие батальоны.  Позже здания были отданы жандармерии и стали называться жандармскими.

После Октябрьской революции в доме 38 разместилось Управлении милици города Москвы, широко известный МУР.