¿Puedo quitarle la patria potestad al papá de mi hijo que no respondió por él?

Hola buenas

Quiero tener la patria potestad de mi hijo, pues a los 14 años me metí con el padre de mi hijo y luego nos separamos y ahí quedé embarazada de este hombre, que me agredía en todos los sentidos y por eso lo dejé.

Cuando nació mi hijo este no pagó la clínica, además lo reconoció cuando tenía ya 4 meses de nacido y respondió hasta los 7 meses de nacido. Actualmente mi hijo tiene 5 años y cuatro meses y durante este tiempo le ha dado 2 pantalones, 2 camisas y 100.000 pesos.

Ahora aparece diciendo que quiere compartir con su hijo, pero yo quiero que no tenga contacto con él porque este hombre es consumidor de drogas, es agresivo, incluso lo tienen amenazada y no puede entrar al barrio donde vivo y vi que tiene 4 multas de tránsito por desacato a las normas.

Además pienso salir del país y este no me dará el permiso... ¿es posible privarlo de la patria potestad? Sumándole que mi hijo no lo quiere ni nada, lo ve y sale corriendo.