RESUMEN
As home-visiting programs expand, there is a need to develop cost-effective tools to monitor their quality at scale. We compare the Home Visit Rating Scales (HOVRS), an instrument to measure home-visit process quality widely used in the United States, to a checklist designed for the Peruvian national home-visiting program, Cuna Mas. Both instruments were administered to a sample of 554 home visits and an equal number of mother-child dyads by their 176 home visitors. While the HOVRS was scored on video recordings of the visits by trained coders, the checklist was scored live by Cuna Mas supervisors. We assessed the validity of both measures in their first application in rural Peru, compared their performance, and selected a subset of items in the checklist to propose a simplified, shorter, and more cost-efficient instrument. To this end, we reorganized checklist items into constructs that best mapped those covered by the HOVRS and selected the highest performing according to predefined criteria. We found that both the HOVRS and the checklist had high reliability and acceptable levels of validity. We argue that the simplified checklist could prove useful for quality monitoring of service delivery of at-scale home-visiting programs and as a tool to support in-service training.
A medida que los programas de visita a casa se expanden, hay una necesidad de desarrollar herramientas de costo eficaz para vigilar la calidad de los mismos a una escala. Comparamos las Escalas de Evaluación de Visitas a Casa (HOVRS), un instrumento para medir la calidad de los procesos de visita a casa ampliamente usado en los Estados Unidos, con una lista de control diseñada para el programa nacional de visitas a casa de Perú, Cuna Mas. Los 176 visitadores a casa le administraron ambos documentos a un grupo muestra de 554 visitas a casa y a un número equivalente de díadas mamá-niño. Los codificadores entrenados evaluaron HOVRS por medio de grabaciones de video de las visitas, mientras que la lista de control fue evaluada en persona por los supervisores de Cuna Mas. Nosotros evaluamos la validez de ambas medidas en su primera puesta en práctica en el Perú rural, comparamos su rendimiento y seleccionamos un subgrupo de categorías en la lista de control para proponer un instrumento simplificado, más corto y de costo más eficaz. Con este fin, reorganizamos las categorías de la lista de control en segmentos que mejor cubren aquellas que están presentes en HOVRS y seleccionamos las que presentan mayor rendimiento de acuerdo con criterios predefinidos. Nos dimos cuenta de que tanto HOVRS como la lista de control presentaban una alta confiabilidad y niveles aceptables de validez. Sostenemos que la lista de control simplificada pudiera demostrar utilidad en cuanto a la calidad de la supervisión del ofrecimiento del servicio de programas de visitas a casa a una escala y como una herramienta para apoyar la capacitación en el empleo.
Du fait que les programmes de visite à domicile se développement, on voit un besoin de développer également des outils rentables afin de contrôler leur qualité à grande échelle. Nous comparons les Echelles d'Evaluation de la Visite à Domicile (en anglais Home Visit Rating Scales, soit HOVRS), un instrument destiné à mesurer la qualité du processus de visite à domicile largement utilisé aux Etats-Unis, à une checklist conçue pour le programme national péruvien de visite à domicile, Cuna Mas. Les deux instruments ont été utilisés avec un échantillon de 554 visites à domiciles et une nombre égal de dyades mère-enfant par leurs 176 visiteurs à domicile. Alors que la HOVRS était évaluée au moyen d'enregistrements vidéo des visites par des évaluateurs entraînés, la checklist a été évaluée en temps réel par les superviseurs de Cuna Mas. Nous avons évalué la validité des deux mesures dans leur première application dans le Pérou rural, comparé leur performance, et sélectionné un sous-groupe d'éléments de la checklist afin de proposer un instrument simplifié, plus court et plus rentable. Pour ce faire nous avons réorganisé les éléments de la checklist en structures cartographiant le mieux ceux couverts par les HOVRS et sélectionné les plus performants selon des critères prédéfinis. Nous avons trouvé qu'à la fois les HOVRS et la checklist faisaient preuve d'une fiabilité élevée et de niveaux de validité acceptables. Nous concluons que la checklist simplifiée pourrait s'avérer utile pour le contrôle de la qualité des prestations de service de programmes de visites à domicile à grande échelle et en tant qu'outil utilisé pour soutenir la formation continue.