A cidade surgiu como um povoado em torno de uma capela dedicada a Nossa Senhora das Dores às margens do Rio do Peixe, era ma localidade de apoio e reabastecimento de bandeiras que penetravam na região em busca de ouro. Desde 1692 já se tinha notícias de bandeiras circulando pela região.
Em 1781 o governador da Capitania Dom Rodrigo José de Menezes, fazendo uma visita ao interior da capitania pousou no povoado de Nossa Senhora das Dores do Rio do Peixe. Em 1839 o povoado foi elevado a distrito de paz, e em 27 de junho de 1859 foi criada freguesia, por lei provincial nº. 991, mantida a denominação.
Por empenho pessoal de João de Deus Duque e Francisco Delgado Mota a frreguesia foi elevada a vila pela lei provincial nº. 2.804, de 3 de outubro de 1881, por desmembramento da vila de Barbacena. Foi elevada a cidade em 1884, pela lei provincial nº. 3.629, de 30 de outubro, já com o nome de Lima Duarte em homenagem a José Rodrigues de Lima Duarte, visconde com grandeza, Ministro da Marinha, Conselheiro de Estado, deputado provincial e geral e senador do Império, importante líder político do Partido Liberal na região.