En los últimos años, Estados Unidos ha invertido cientos de millones de dólares en programas de prevención del crimen y la violencia en Centroamérica, pero el impacto de estas inversiones no se ha evaluado con suficiente cuidado. Sin embargo, un polémico estudio expone las dificultades de medir los resultados de la asistencia en seguridad, y señala la necesidad de realizar más análisis acerca de la eficacia de este tipo de iniciativas.
Desde el año 2008, el Congreso de Estados Unidos asignó más de mil millones de dólares para el programa bandera de asistencia en seguridad de Estados Unidos en Centroamérica: la Iniciativa Regional de Seguridad para América Central (CARSI por sus iniciales en inglés).
Después de casi una década, más de la mitad de los mil millones de dólares de ayuda a Centroamérica han sido entregados a través de CARSI. Y a finales de 2015, el Congreso autorizó un paquete de ayuda para varios años por valor de US$750 millones, de los cuales US$126 millones han sido asignados a CARSI.
Pero hay poca claridad sobre el destino de los fondos asignados a CARSI, así como sobre los impactos de la gran cantidad de programas que la iniciativa apoya en una de las regiones más violentas del mundo.
En 2014, el Proyecto de Opinión Pública de América Latina (LAPOP por sus iniciales en inglés), de la Universidad de Vanderbilt, publicó el que se convertiría en uno de los exámenes más ampliamente citados sobre los resultados de los programas de lucha contra el crimen financiados por CARSI en Centroamérica. El estudio de LAPOP se centró en evaluar el impacto de un subconjunto de programas de CARSI en los llamados países del Triángulo Norte, conformado por Guatemala, El Salvador y Honduras, así como en Panamá.
Los investigadores analizaron los programas "comunitarios de prevención del crimen" implementados por la Agencia para el Desarrollo Internacional de Estados Unidos (USAID por sus iniciales en inglés) —la misma unidad del Departamento de Estado que encargó el informe de LAPOP—.
Su "hallazgo principal" señala que, "en varios aspectos claves”, los programas de USAID financiados por CARSI "han sido exitosos".
El estudio de LAPOP ha sido referenciado por varias organizaciones no gubernamentales muy respetadas, entre ellas InSight Crime. Y se publica en el sitio web de USAID, donde se describe como una "evaluación con rigor científico" que "hace parte de los esfuerzos por determinar la efectividad de los programas comunitarios de prevención del crimen, en contraste con el enfoque policiaco tradicional, o de mano dura, para abordar el crimen y la violencia generalizados en Centroamérica".
Sin embargo, a finales del año pasado, el Centro de Investigación en Economía y Política (CEPR por sus iniciales en inglés), con sede en Washington, D.C, publicó una refutación de los resultados del estudio de LAPOP, argumentando que los datos de este último "no permiten concluir que las áreas objeto de intervención en los programas de CARSI mostraron mejores resultados que aquellas áreas que no recibieron dicha intervención".
El consecuente debate público entre las dos organizaciones sobre cómo medir el impacto de los programas de asistencia de seguridad de Estados Unidos en Centroamérica pone de manifiesto varios temas, como la falta de información disponible públicamente sobre estos programas, la dificultad de evaluar con precisión el impacto de la ayuda en materia de seguridad, y el amplio consenso en que estos temas merecen un mayor escrutinio público.
¿Cuáles son los programas CARSI de USAID?
Sorprendentemente, para un paquete de asistencia en seguridad de tal magnitud se dispone de pocos detalles de carácter público sobreCARSI y los programas apoyados por esta iniciativa.
InSight Crime le solicitó a USAID un comentario sobre este tema, pero la oficina de prensa se negó a otorgar una entrevista. Como respuesta a una solicitud de información sobre los programas evaluados por LAPOP, la agencia proporcionó una declaración escrita que parcialmente dice lo siguiente:
"USAID promueve una estrategia integral para la prevención de la violencia, dirigida a jóvenes que corren el riesgo de ser tanto víctimas como actores de la violencia en Centroamérica [...] Mediante CARSI, estamos buscando fomentar sistemas de justicia fuertes y transparentes, promover fuerzas policiales responsables, profesionales y orientadas a la comunidad, y generar resiliencia individual y comunitaria frente a la inseguridad, mediante el apoyo a servicios específicos para jóvenes en alto riesgo, centros comunitarios juveniles, comités municipales de prevención de la violencia municipal, así como mediante el desarrollo laboral y mejoras infraestructurales para rehabilitar los espacios públicos".
(El Servicio de Investigaciones del Congreso realizó una reseña de CARSI a finales de 2015, en la que se describen de manera similar los programas de prevención del crimen y la violencia adelantados por USAID).
El diseño y la implementación de los programas de CARSI involucran a diversas dependencias de varias agencias gubernamentales estadounidenses, entre ellas los departamentos de Defensa, Seguridad Nacional, Tesoro y Justicia. Pero la mayor parte de la financiación del programa es administrada por el Departamento de Estado y USAID.
Mark Lopes, subadministrador adjunto de USAID para Latinoamérica y el Caribe, testificó ante el Congreso en 2013, señalando que los programas de prevención del crimen y la violencia como los examinados en el informe de LAPOP constituyen "el centro del trabajo de USAID" en Centroamérica.
A pesar de la importancia de estos programas como parte de la estrategia de USAID contra el crimen y la violencia, prácticamente no se habían llevado a cabo evaluaciones sistemáticas sobre su eficacia hasta que la USAID le encomendó el estudio a LAPOP en 2014.
El Centro Internacional para Académicos Woodrow Wilson publicó un informe sobre CARSI poco después de que fuera emitido el de LAPOP; en dicho informe se señala que "muchos programas financiados por CARSI tienen debilidades significativas".
Sin embargo, el Centro Wilson considera que el estudio de LAPOP es una evidencia "del impacto [de] los programas comunitarios de prevención del crimen y la violencia adelantados por USAID", y señala que esta es "la única parte del programa [de CARSI] en la que se ha realizado una evaluación de impacto completa y sólida con directrices establecidas desde antes de la implementación del programa".
Después de que esos informes fueron publicados hace más de dos años, no se han llevado a cabo nuevos estudios sobre el impacto de los programas de USAID mediante CARSI, bien sea por organismos gubernamentales o por organizaciones independientes.
Informe de Wilson Center:
Los hallazgos de LAPOP
LAPOP realizó encuestas tanto en las comunidades donde se han llevado a cabo los programas de USAID (las comunidades “intervenidas") como en las comunidades donde no se ha hecho (las comunidades "control") antes, durante y después de su implementación, con el objetivo de determinar si los programas influyeron en las percepciones de seguridad de los ciudadanos.
Para llegar a sus conclusiones, durante varios años los investigadores reunieron y analizaron la información obtenida mediante miles de encuestas cuantitativas, cientos de entrevistas y decenas de grupos focales en más de 120 barrios.
Como se señaló anteriormente, el análisis estadístico de LAPOP, en combinación con una evaluación de la evidencia cualitativa, llevó a los investigadores a la conclusión de que "en varios aspectos claves" los programas de prevención de violencia de CARSI financiados por USAID en El Salvador, Honduras, Guatemala y Panamá "han sido exitosos".
El informe descubrió que los programas de USAID parecen haber tenido un impacto positivo en las percepciones de seguridad de los ciudadanos en las zonas donde se implementan, a diferencia de aquellas zonas donde no se han llevado a cabo. Con base en las comparaciones con las evidencias obtenidas en las comunidades control, LAPOP llegó a la conclusión de que, en general, los residentes de las áreas intervenidas informaron que las condiciones de seguridad mejoraron, o que empeoraron menos significativamente de lo que lo habría hecho en ausencia de los programas.
Informe original de LAPOP:
Las principales críticas del CEPR
Es importante indicar que el CEPR no afirma que los programas de USAID sean necesariamente ineficaces. Por el contrario, los autores de las críticas del CEPR sostienen que la interpretación que LAPOP hizo sobre los datos "no permite apoyar la conclusión de que las áreas intervenidas en los programas de CARSI presentaron mejores resultados que aquellas áreas que no fueron intervenidas".
Con base en su análisis de los datos y la metodología de LAPOP, el CEPR encontró "grandes problemas" en el estudio original, "a saber: la no aleatoriedad en la selección de las zonas de intervención y las zonas control, además de diferencias en la manera como fueron interpretadas las condiciones iniciales y los resultados obtenidos en las áreas intervenidas y las áreas control".
Según el CEPR, las comunidades intervenidas donde se aplicaron los programas de USAID eran "bastante diferentes" con respecto a las comunidades control, en cuanto a que, en general, las primeras tenían tasas de crimen más altas que las últimas antes de la intervención.
Los autores del informe del CEPR señalan que ello "sugiere que las áreas seleccionadas para la intervención pueden no ser lo suficientemente similares a las áreas de control como para concluir con certeza que las intervenciones fueron útiles".
El informe del CEPR postula que los efectos aparentemente positivos de los programas de USAID analizados por LAPOP podrían atribuirse más bien a una "regresión a la media" entre las comunidades seleccionadas para la intervención y que estaban experimentando aumentos temporales en la criminalidad.
La crítica del CEPR:
La respuesta de LAPOP
LAPOP respondió rápidamente. A los pocos días, publicó una respuesta a la crítica del CEPR, señalando que ambas organizaciones "llegaron esencialmente a los mismos resultados", y que el interés principal de la crítica del CEPR estaba "errado" e "insustancial".
LAPOP señalo que, en efecto, “las comunidades de intervención y control fueron seleccionadas al azar”, excepto en ciertos casos en los que los investigadores emplearon herramientas estadísticas para compensar la falta de aleatoriedad.
"En el caso de Honduras, donde nuestro estudio se retrasó a causa del golpe de Estado de 2009, USAID ya había seleccionado las comunidades de intervención para cuando estábamos listos para comenzar, por lo que la selección al azar ya no era posible", escriben los autores de LAPOP, señalando que utilizaron una técnica estadística "para seleccionar comunidades control que fueran comparables a las comunidades de intervención tanto como fuera posible".
La respuesta de LAPOP señala además que la crítica del CEPR no refuta el modelo estadístico básico utilizado en su informe original. Sin embargo, sí señala que las organizaciones "difieren en dos aspectos: 1) el nivel de análisis, y 2) el estándar utilizado para juzgar las mejoras en las áreas intervenidas".
Básicamente, LAPOP argumenta que su modelo estadístico tenía por objeto evaluar el impacto de los programas a nivel regional, mientras que el modelo del CEPR tenía como finalidad determinar el impacto de los programas de USAID a nivel municipal.
Esto explica parte de las diferencias en la evaluación de las dos organizaciones sobre el impacto de los programas de CARSI. Pero LAPOP también discrepó con respecto a la manera como el CEPR midió los efectos de los programas a nivel municipal.
LAPOP sostiene que el modelo de CEPR hace suposiciones erróneas acerca de los niveles "normales" de crimen y violencia en ciertas comunidades, lo cual produjo sesgos en la manera como se midieron los efectos de los programas.
Respuesta de LAPOP a CEPR:
El CEPR insiste
Poco después de que LAPOP publicó su respuesta en septiembre de 2016, una de los autoras de la crítica del CEPR, Laura Jung, escribió en un blog del CEPR sobre su experiencia durante una visita a un centro comunitario juvenil apoyado por USAID en Honduras.
Jung dice que un funcionario de USAID le dijo que el centro "no cuenta con monitoreo ni evaluación", pero que "esperan tenerlos en los próximos años."
"Sencillamente, no hay datos que permitan sustentar las afirmaciones de los funcionarios del Departamento de Estado o de USAID según las cuales las intervenciones que se están implementando en Honduras, o en el Triángulo Norte en general, tienen un efecto positivo (si es que tienen alguno)", escribe Jung.
La CEPR se volvió a pronunciar varios meses más tarde, en enero de este año, en respuesta a la defensa de LAPOP sobre su informe original.
"Los problemas del estudio de LAPOP que nosotros hemos identificado siguen vigentes, al igual que la validez de nuestra conclusión", dice el autor David Rosnick. "El estudio de LAPOP no logra sustentar la conclusión de que la intervención generó mejoras en las áreas intervenidas por los programas CARSI, en comparación con las zonas donde no se llevó a cabo ninguna intervención".
Rosnick reiteró las críticas iniciales del CEPR acerca del estudio y volvió a explicar que su análisis concluyó que "se observa que los barrios intervenidos han empeorado en los municipios donde los barrios intervenidos eran particularmente seguros antes de la intervención —en comparación con los correspondientes barrios control—. Donde los barrios intervenidos y los barrios control eran inicialmente más similares, la intervención no parece haber tenido ningún efecto discernible".
Defensa de la crítica del CEPR:
InSight Crime le solicitó a USAID que se pronunciara acerca de si estaba de acuerdo o en desacuerdo con la crítica del CEPR. En su respuesta escrita, USAID indicó que es "consciente" del debate público entre CEPR y LAPOP, pero no se refirió directamente a los argumentos del CEPR.
En su respuesta, la agencia señala que el estudio de LAPOP "llegó a la conclusión de que los programas comunitarios de prevención de la violencia adelantados por la Iniciativa Regional de Seguridad para América Central (CARSI), adscrita a USAID, dieron como resultado una reducción estadísticamente significativa de la criminalidad y aumentaron la percepción ciudadana de seguridad en las comunidades intervenidas por USAID en los países del Triángulo Norte y en Panamá, y estamos utilizando esa información para mejorar y expandir nuestros programas".
Además, la USAID señala que la "evaluación de LAPOP también ha sido fundamental para la obtención de inversiones de los gobiernos centroamericanos, la empresa privada y las organizaciones locales con el fin de ampliar, replicar o invertir en las actividades de prevención comunitaria de USAID".
¿Por qué es importante este debate?
CARSI es uno de los más importantes paquetes de ayuda en seguridad de Estados Unidos hacia Centroamérica. Por lo tanto, es crucial que "los gobiernos, la empresa privada y las organizaciones locales" entiendan los impactos de estos programas al momento de decidir si "ampliar, replicar o invertir en las actividades de prevención comunitaria de USAID".
En su respuesta escrita a InSight Crime, USAID dice que la agencia "toma en serio su responsabilidad frente a los contribuyentes estadounidenses" y que "estamos comprometidos con la rendición de cuentas, la transparencia y la supervisión de nuestros programas".
La agencia señala que utiliza "una completa serie de herramientas de monitoreo y evaluación, lo cual incluye encuestas, indicadores de desempeño, análisis, estudios y evaluaciones externas" que le permiten "establecer estándares y hacer seguimiento al avance y el estado de sus intervenciones, asegurar que sus programas alcancen sus objetivos y logren resultados de alto impacto, y proporcionar la flexibilidad necesaria para adaptarse a nuevas necesidades y realidades".
Sin embargo, el estudio de LAPOP es prácticamente la única evaluación integral y pública de los programas de prevención del crimen y la violencia adelantados por USAID en Centroamérica.
VEA TAMBIÉN: Cobertura sobre políticas de seguridad
Dejando de lado la cuestión de si las conclusiones del informe de LAPOP son acertadas o no, lo que queda claro es que hay escasez de información disponible para el debate público sobre los impactos de las iniciativas de USAID financiadas por CARSI.
InSight Crime habló con los autores de los informes de LAPOP y CEPR, quienes expresaron sentimientos similares con respecto a la necesidad de aumentar la supervisión y la evaluación de los tipos de programas en cuestión.
"Creo que estamos de acuerdo en que es importante realizar con regularidad estudios de los programas dirigidos a abordar los problemas, en este caso el crimen y la violencia", dijo Liz Zechmeister, directora de LAPOP. "El crimen y la violencia son problemas particularmente perjudiciales en Centroamérica. Pero son también problemas globales. Por lo que es importante encontrar maneras de reforzar la resiliencia de las comunidades y crear capital social".
Alex Main, uno de los autores de la crítica inicial del CEPR, señaló la frustración que la única evaluación de impacto de los programas de CARSI fue encargada por la misma agencia que supervisa la implementación de las iniciativas.
"Lo ideal sería que hubiera observadores totalmente independientes [...] supervisando los programas de ayuda", dijo. "Idealmente, si hubiera mucha más transparencia en torno a estos programas de ayuda […] hay grupos —el nuestro entre ellos— que sin duda tendrían la posibilidad de evaluar más de cerca estos asuntos".
En otras palabras, las complejas disputas sobre la metodología estadística no deben distraer de amplio consenso de que el seguimiento y la evaluación constantes conducirían a la mejor y más eficiente implementación de los programas de ayuda en seguridad.
En conclusión, por diversas razones, es difícil evaluar con precisión este tipo de iniciativas. Pero es esencial que dichas evaluaciones se lleven a cabo meticulosamente y que estén sujetas al debate público.
Estudios diferentes con enfoques diferentes obviamente pueden llegar a conclusiones diferentes. Pero es importante diseñar programas eficaces para contrarrestar el crimen y la violencia en la región. Y los debates públicos como el que se dio entre LAPOP y CEPR son esenciales para evaluar correctamente estos esfuerzos.
SUSCRIBIRME