Segovia fue descubierto por el capitán Francisco Nuñez Pedrozo. No hay cifras exactas de cuando empezó a formarse el centro poblado, lo que si se sabe, es que el 24 de julio de 1869 fue elevado a la categoría de fracción.Antes de la llegada de los colonos, el territorio segoviano estaba poblado por los indios tahamíes y yamecíes. En los años 1860, los exploradores llegaron a Segovia, y habiendo encontrado minas de oro se quedaron para no irse. A partir de ese momento, fueron muchas las expediciones que llegaron a Segovia en busca del preciado metal. La fiebre del oro acaparaba la atención de todos los que llegaban. Hasta ese momento, Segovia no era más que un simple corregimiento del municipio de Remedios.En1852 se estableció en Segovia la Frontino Gold Mines, la cual trajo máquinas de vapor, telégrafo, correo y molino californiano, y además instaló rieles en las minas, trayendo así un mejor manejo de la explotación minera.En 1865 se construyó la parroquia como parte de la arquidiócesis de Santa Fe de Antioquia. En 1877 se convirtió en corregimiento y el nombre de Tierradentro se cambió por el actual de Segovia. En 1880 Segovia fue erigida como distrito. Un año más tarde, ese distrito había sido agregado de nuevo al municipio de Remedios. En 1885, Segovia logró que el presidente de Antioquia lo erigiera como municipio, segregándose así de Remedios.Es un municipio de clima cálido donde confluyen muchas culturas, pues a lo largo de su historia ha recibido gente de todo el país que llega atraída por la posibilidad de trabajar en la extracción aurífera.Es territorio minero por excelencia. El oro ha sido su principal referente desde antes de la llegada de los españoles, y todavía hoy su economía y su cultura gira en torno a las minas.El municipio ha conocido varias masacres perpetradas por grupos paramilitares, entre ellas la del 11 de noviembre de 1988, conocida como laMasacre de Segovia,1 donde 43 personas fueron asesinadas y 45 cinco heridas, y la del 22 de abril de 19962 que dejó 14 víctimas fatales, 8 heridos, y 2 secuestrados.
