Reliability of the Spanish version of a brief questionnaire on patient satisfaction with gastrointestinal endoscopy

(1)

ABSTRACT

Background: there has not been a validated questionnaire available in Spanish to evaluate patient satisfaction with gastroin-testinal endoscopy. Our aim was to evaluate the external validity and internal consistency of the Spanish version of a questionnaire on patient satisfaction with gastrointestinal endoscopy elaborated by the American Society for Gastrointestinal Endoscopy.

Design: prospective questionnaire validation study.

Patients and methods: a total of 485 consecutive patients re-ferred to two different hospitals for endoscopy were interviewed by telephone. Internal consistency was studied using Cronbach’s alfa test and corrected item-total correlations (CITC). External validity was determined using a mailed questionnaire completed by 185 pa-tients –correlations between telephone and postal responses were calculated, as well as the correlation with the total score obtained.

Results: Cronbach´s alfa was 0.82 and mean CITC was 0.59. Weighted kappa values for the same questionnaire items per-formed by telephone or mail varied between 0.51 and 0.81. Total score correlation was 0.78. Internal consistency and external va-lidity were not affected by differences in the administration of the questionnaire (mail or by telephone), different interviewers, type of endoscopy, or source of patients.

Conclusions: the Spanish version of the ASGE questionnaire on satisfaction with endoscopy is valid, reliable, and reproducible. Key words: Gastrointestinal endoscopy. Patient satisfaction. Health care evaluation mechanisms. Questionnaires. Validation studies.

Sánchez del Río A, Alarcón Fernández O, Baudet JS, Sainz Menéndez Z, Socas Méndez M, Piera Jaén G. Reliability of the Spanish version of a brief questionnaire on patient satisfaction with gastrointestinal endoscopy. Rev Esp Enferm Dig 2005; 97: 554-561.

INTRODUCTION

Patient satisfaction has become one of the corner-stones of progressive quality improvement systems in hospitals. Satisfaction influences the choice of service provider made by patients or those close to them for fu-ture endoscopic exploration when a new health problem arises or in compliance with prescribed therapeutic mea-sures (1). Today in gastrointestinal (GI) endoscopy prac-tice, as in other areas of medicine, health care providers are striving to implement progressive improvement of quality programs (2,3). Quality indicators of patient satis-faction may contribute to progressive improvement in pa-tient collaboration and health care procedures. Thus, in a study on the use of flexible sigmoidoscopy for colon can-cer screening, knowledge of the results of patient satis-faction surveys was shown to produce a progressive ten-dency for improvement (4).

A brief questionnaire adapted to GI procedures (GHAA-9m) is currently recommended by the ASGE (5). Despite some criticism, this is the only questionnaire used in published reports that allows comparisons between hos-pitals (6). A similar, though somewhat more complex, questionnaire using the same scale has been used to evalu-ate patient satisfaction with bronchoscopy (7).

Any questionnaire designed to measure patient satis-faction should fulfill a series of requisites. It should be simple to administer, whether by telephone, standard or electronic mail. The mGHAA-9 questionnaire uses a sim-ple scale of five points, easy to understand and explain by a telephone interviewer. It is necessary to demonstrate that the questionnaire scale is valid for measuring satis-faction, i.e., the internal consistency of the questionnaire. In addition to reproducibility of the questionnaire under different circumstances, it should yield similar results, i.e., it should demonstrate external validity. The question-naire validity should be constant regardless of the inter-viewer and other circumstances.

Reliability of the Spanish version of a brief questionnaire on

patient satisfaction with gastrointestinal endoscopy

A. Sánchez del Río, O. Alarcón Fernández, J. S. Baudet, Z. Sainz Menéndez, M. Socas Méndez

and G. Piera Jaén

Unit of Digestive Diseases. Hospiten Group of Hospitals. Santa Cruz de Tenerife. Spain

Recibido: 10-01-05. Aceptado: 16-03-05.

Correspondencia: Antonio Sánchez del Río. Clínica Hospiten Rambla. Rambla General Franco, 115. 38001 Santa Cruz de Tenerife. Tenerife. Fax: 922 29 10 88. e-mail: [email protected]

(2)

The objective of this study was to determine the inter-nal consistency and exterinter-nal validity of the mGHAA-9m questionnaire as adapted for GI endoscopy use and psented in Spanish. This adapted version is hereinafter re-ferred to as the SmGHAA-9 questionnaire.

PATIENTS AND METHODS Patients

A total of 485 outpatients (mean age 51 ± 16 years, 57% females) were prospectively interviewed for the study. Inclusion of the patients was consecutive and si-multaneous in the endoscopic departments of two hospi-tals hereinafter called center A and center B. The source of most patients (n = 443) was center A, a private hospital where patients either paid for the endoscopic procedure themselves or were financed by their health insurance companies, and were previously attended either by the center’s physicians or external private practitioners.

The source of the remaining patients interviewed (n = 72) was the endoscopic department of center B; these were patients on the waiting list of the public Canarian Health Service. The same procedure was followed in both centers: patients were systematically sedated with meperidine and midazolam for colonoscopy and midazo-lam for gastroscopy.

Thirty patients failed to respond, so they were exclud-ed.

Development and administration of the questionnaire

The original questionnaire in English consists of seven questions pertaining to perceived patient experience (pre-appointment waiting period, waiting time on arrival at the center for the appointment, procedure briefing, physician courtesy, personnel courtesy, rating of physician’s skill, overall rating of the procedure) and two questions on pa-tient acceptance to undergo a further endoscopic inter-vention by the same physician and the same center. Our questionnaire was translated into Spanish by professional translators. The initial translation was tested with 20 pa-tients who had undergone colonoscopy. We found that the question on the technical skills of the physician was left unanswered in 15 of these initial patients. Reasons in-cluded: amnesia secondary to the use of midazolam, fail-ure to pay attention to the procedfail-ure, and lack of suffi-cient knowledge to judge physician’s skill. In contrast to the standard procedure in the USA and other countries, it is not common practice to provide an additional monitor for patient viewing. For all these reasons we decided to substitute this question with another on perceived dis-comfort, rated using the same ordinal scale (Appendix I).

Our questionnaire was administered on the telephone by one of two different interviewers experienced in deal-ing with patients. All interviews were carried out approx-imately three weeks post-intervention.

Statistical analysis Internal consistency

Ware and Davies have shown the utility of an ordinal scale of five levels for the evaluation of patient satisfac-tion (9). The internal consistency of this scale in the ques-tionnaire for GI endoscopy was evaluated using Cron-bach’s alfa test, and the mean total inter-item correlation (mean CITC) using items 1-7 of the questionnaire (Ap-pendix I). Internal consistency was tested for the whole sample of patients, for each of the interviewers, for each type of endoscopy (colonoscopy and EGD), and for each group of patients according to source. Cronbach’s alfa values > 0.7 and mean CITC > 0.4 were considered ade-quate indicators of internal consistency (10).

External validity

The questionnaire, in a sealed stamped envelope, was delivered to 185 patients from center A, who were then asked to complete it and return it a few weeks after the pro-cedure. These patients were not told that they would be terviewed later by telephone. The correlation between in-dividual items and total score for items 1-7 was studied (Appendix I). The total score of satisfaction could vary from 7 to 35 points; the higher the score, the greater the level of satisfaction. In order to evaluate the correlation be-tween items 1-7, we used weighted kappa values, and for the correlation between total scores for both questionnaires we used Spearman’s Rho test. Kappa performance was an-alyzed using standard nomenclature: < 0 poor; 0 to 0.2 slight; 0.21 to 0.4 fair; 0.41 to 0.6 moderate; 0.61 to 0.8 substantial; 0.81 to 1 almost perfect. A Spearman’s corre-lation coefficient > 0.7 was considered adequate.

The study was approved by our local ethical committee.

RESULTS

Internal consistency

Table I shows Cronbach’s alfa and mean CITC values for the whole sample of patients according to center, type of endoscopy, and interviewer. For both the whole sam-ple and each subgroup (type of endoscopy, telephone in-terviewer, postal questionnaire, and hospital center) the values obtained for both tests were far higher than ac-ceptable.

Vol. 97. N.° 8, 2005 RELIABILITY OF THE SPANISH VERSION OF A BRIEF QUESTIONNAIRE ON PATIENT 555

SATISFACTION WITH GASTROINTESTINAL ENDOSCOPY

(3)

Table I. Internal consistency of the questionnaire Cronbach’s alfa Mean CTIC

Global 0.82 0.59 Hospital A 0.85 0.64 Hospital B 0.80 0.65 Interviewer A 0.79 0.52 Interviewer B 0.85 0.61 Gastroscopy 0.81 0.56 Colonoscopy 0.82 0.58

Internal consistency of the questionnaire: global (all the questionnaires), in Centers A and B, for each interviewer and type of gastrointestinal en-doscopy. Estimated by Cronbach’s alfa test and mean corrected total-item correlation.

External validity

Table II shows the weighted kappa values for each of the questionnaire items for the whole sample of patients, according to type of endoscopy and interviewer. These variables did not affect external validity. As can be seen from this table, all correlations were very good or excel-lent. Of note was the correlation for the question “overall rating of the visit”, which may be used as a marker of sat-isfaction. The correlation between total score for both questionnaires was 0.78, with a p value below 0.001 (Spearman’s Rho).

Table II. External validity

Item Weighted Kappa (*)

A B G C T Appointment 0.76 0.83 0.71 0.88 0.81 Waiting-room time 0.69 0.74 0.72 0.73 0.73 Explanations 0.72 0.77 0.67 0.79 0.74 Physician courtesy 0.69 0.62 0.70 0.63 0.64 Personnel courtesy 0.62 0.65 0.56 0.72 0.63 Discomfort 0.55 0.49 0.58 0.42 0.51 Overall rating 0.64 0.78 0.75 0.67 0.72

Correlation between the questionnaire administered by telephone or mail, using weighted Kappa values, for different subgroups.

(*): Interviewers A, B, Gastroscopy, Colonoscopy and Total endoscopies.

DISCUSSION

Patient satisfaction with their health system and hos-pital centers has a great influence on future conduct when confronted with new health problems and com-pliance with medical indications. In gastrointestinal en-doscopy, although different quality indicators aimed at progressive improvement are being introduced, mark-ers of patient satisfaction allowing comparison between centers or benchmarking are relatively underdeveloped.

Different articles comparing aspects of endoscopy and patient satisfaction use non-comparable questionnaires and methods (11,12).

Of the questionnaires specifically developed for gas-trointestinal endoscopy, that of Salmon et al. using Lik-ert’s scale, and the one recommended by the American Society of Gastrointestinal Endoscopy (ASGE) stand out (5,13). Questionnaires based on Likert-type scales are more complex (14). They require an elaboration of scales from patient affirmations. Each of these affirma-tions constitutes an item in the scale, which in turn is part of a question on satisfaction with a particular as-pect. Translating this type of questionnaires into other languages is also labor-consuming. The administration of these questionnaires to populations that may consid-erably differ by means of a short telephone interview and standard or electronic mail may be impractical, and thus make general application or benchmarking diffi-cult. Ware’s ordinal 5-item scale facilitates the elabora-tion of simple-to-administer queselabora-tionnaires (9). It has been extensively used in the Group Health Association of America-9 survey of 32 items, and a reduced and modified version was adopted by ASGE for use in gas-trointestinal endoscopy (mGHAA-9) (5,15,16). We se-lected this questionnaire as the basis for the Spanish version to measure satisfaction, and proceeded to vali-date it. Given that the scale is constant for the set of 7 key items, we used internal consistency statistical methods (Cronbach’s alfa test and mean corrected item-total correlations) to study reliability of our ques-tionnaire. In addition, we studied reproducibility of the test by means of a test-retest method using a postal and telephone interview with the same patients. All values obtained showed good overall reliability under differ-ent circumstances: type of endoscopy, interviewers, standard mail or telephone interviews (Tables I and II) (17). To our knowledge, there are no other similar stud-ies involving gastrointestinal endoscopy and the valida-tion of such a simple quesvalida-tionnaire. Although Ware’s scale was maintained for the 7 key items, we decided to use a combined validation method including internal consistency and external validity, since the application of internal validation methods (like Cronbach’s alfa or the mean corrected item-total correlations) for the study of different questions (waiting time, attention by personnel, etc.) may be questionable. However, by us-ing both methods we were able to demonstrate a good reliability (Tables I and II).

This questionnaire may be an adequate means of com-parison between centers for benchmarking. It is easy for the user to understand, administration is simple by tele-phone, and results are reliable. However, the suitability of certain items included has been questioned. Yacavone et al. interviewed a group of patients who had undergone GI endoscopy to evaluate the importance they attached to a series of aspects related to satisfaction (18). This group of patients considered highly important an aspect not

(4)

in-cluded in the original questionnaire in English, namely discomfort during the procedure, and one not included by us, namely the endoscopist’s technical skill. In our ques-tionnaire we included “patient discomfort”, but decided to eliminate the question on technical skill given our first 20 patients’ inability to respond. Reasons were: amnesia originated by the systematic sedation of patients, absence of a monitor display for patient viewing, and especially, most of our patients stated that they lacked the necessary information and experience to judge physician’s skills, mainly because this was their first endoscopy. We decid-ed to use a relatively prolongdecid-ed period between en-doscopy and its rating since our main objective was to evaluate the patient’s lingering impression of the proce-dure. This long-term impression we considered to be less influenced by the potential disease itself and/or the find-ings, so that decisions taken after the procedure should now be based on a final opinion that the user would con-vey to others.

One of the main characteristics of the mGHAA-9 and SmGHAA-9 questionnaires is the use of an easily applied ordinal 5-point scale (Appendix I). This scale has been shown to be most adequate in the construction of simple questionnaires to evaluate patient satisfaction (14). New items may be incorporated when considered important for patient satisfaction. The main contribution by our study is the reliability of this scale for application in gas-trointestinal endoscopy patient ratings, regardless of whether the questions/items included in the questionnaire are modifiable according to what patients or physicians consider important. Thus, in our opinion, the question-naire is flexible and can be adjusted to the needs of indi-vidual endoscopic units, while maintaining the scale and global rating (7th_{item, Appendix 1) as a measure of}

over-all satisfaction.

The questionnaire may be a good indicator of the evolution of patient satisfaction in systems adopting progressive quality improvement in the course of their health-care function. On using the questionnaire it is necessary to consider that other factors, apart from those covered by the items themselves, may have a marked influence on patient satisfaction. In one study on patient satisfaction with bronchoscopy the patient’s health status prior to the procedure had a great impact on patient satisfaction (12). Many other factors, such as information from family and friends, patient attitude towards medical information, and public image of the health center, may have a marked influence on respons-es to a qurespons-estionnaire on satisfaction, and must be taken into account when interpreting results.

Ware’s ordinal 5-point scale, as used in the mGHAA-9 questionnaire as modified for endoscopy, is also valid for the study of patient satisfaction with endoscopy when translated into Spanish. The questionnaire is valid, and validity is maintained under various circumstances. It may be reliably applied to the Spanish-speaking commu-nity.

REFERENCES

1. Ware JE Jr, Davies AR. Behavioral consequences of consumer dissa-tisfaction with medical care. Eval Program Plann 1983; 6: 291-7. 2. Brown DR, Goldstein JL. Quality assurance in the endoscopy unit: an

emphasis on outcomes. Gastrointest Endosc Clin N Am 1999; 9: 595-608.

3. Johanson JF. Continuous quality improvement in the ambulatory en-doscopy center. Gastrointest Endosc Clin N Am 2002; 12: 351-66. 4. Larsen IK, Grotmol T, Bretthauer M, Gondal G, Huppertz-Hauss G,

Hofstad B, et al. Continuous evaluation of patient satisfaction in en-doscopy centres. Scand J Gastroenterol 2002; 37: 850-5.

5. Johanson JF, Schmitt CM, Deas TM, Eisen GM, Freeman M, Golds-tein JL, et al. Quality and outcomes assessment in gastrointestinal en-doscopy. Gastrointest Endosc 2000; 9: 827-30.

6. Harewood GC, Yacavone RF, Locke GR 3rd, Wiersema MJ. Prospec-tive comparison on endoscopy patient satisfaction surveys: e-mail versus standard mail versus telephone. Am J Gastroenterol 2001; 96: 3312-7.

7. Lechtzin N, Rubin HR, White P, Jenckes M, Diette GB. Patient satis-faction with bronchoscopy. Am J Respir Crit Care Med 2002; 166: 1326-31.

8. Weech-Maldonado R, Morales LS, Elliott M, Spritzer K, Marshall G, Hays RD. Race/ethnicity, language, and patients’ assessments of care in Medicaid managed care. Health Serv Res 2003; 38: 789-808. 9. Ware JE, Hays RD. Methods for measuring patient satisfaction with

specific medical encounters. Med Care 1988; 26: 393-402.

10. Han SW, Gregory W, Nylander D, Tanner A, Trewby P, Barton R, et al. The SIBDQ: further validation in ulceratives colitis patients. Am J Gastroenterol 2000; 95; 145-51.

Vol. 97. N.° 8, 2005 RELIABILITY OF THE SPANISH VERSION OF A BRIEF QUESTIONNAIRE ON PATIENT 557

SATISFACTION WITH GASTROINTESTINAL ENDOSCOPY

Appendix 1

The Spanish modified GHAA-9 questionnaire with English translation 1. How long you waited to get an appointment:

Excellent Very good Good Fair Poor

2. Length of time spent waiting at the office for the procedure:

3. The personal manner (courtesy, respect, sensitivity, friendliness) of the physician who performed your procedure:

4. The personal manner (courtesy, respect, sensitivity, friendliness) of the nurses and other support staff:

5. Adequacy of explanation of what was done for you, all your questions answered:

6. Discomfort that you felt during the endoscopic procedure:

7. Overall rating of the visit:

8. Would you have the procedure done again by this physician?

Yes No

9. Would you consider having this procedure done again at this facility?

Yes No

(5)

11. Jackson JL, Osgard E, Fincher RK. Resident participation in flexible sigmoidoscopy does not affect patient satisfaction. Am J Gastroente-rol 2000; 95: 1563-6.

12. Stern MA, Fendrick AM, McDonnell WM, Gunaratnam N, Moseley R, Chey WD. A randomized, controlled trial to assess a novel colo-rectal cancer screening strategy: the conversion strategy-a compari-son of sequential sigmoidoscopy and colonoscopy with immediate conversion from sigmoidoscopy to colonoscopy in patients with an abnormal screening sigmoidoscopy. Am J Gastroenterol 2000; 95: 2074-9.

13. Salmon P, Shah R, Berg S, Williams C. Evaluating customer satisfac-tion with colonoscopy. Endoscopy 1994; 26: 342-6.

14. Trochim MK, Lickert scaling. In: Trochim MK, ed. Research method knowledge base. Cornell University, 2002.

Available at: http://trochim.human.cornell.edu/kb/scallik.htm 15. Wallace P, Haines A, Harrison R, Barber JA, Thompson S, Roberts J,

et al. Design and performance of a multi-centre randomised contro-lled trial and economic evaluation of joint tele-consultations. BMC Family Practice 2002; 3: 172-9.

16. Rubin HR, Gandek B, Rogers WH, Kosinski M, McHorney CA, Ware JE Jr. Patient’s ratings of outpatient visits in different practice settings. JAMA 1993; 270: 835-40.

17. Trochim MK, Types of reliability. In: Trochim MK, ed. Research method knowledge base. Cornell University, 2002.

Available at: http://trochim.human.cornell.edu/kb/reltypes.htm 18. Yacavone RF, Locke R 3rd, Gostout CJ, Rockwood TH, Thieling S,

Zinsmeister AR, et al. Factors influencing patient satisfaction with GI endoscopy. Gastrointest Endosc 2001; 53: 703-10.

Validación de un cuestionario breve sobre satisfacción del paciente

en endoscopia digestiva

A. Sánchez del Río, O. Alarcón Fernández, J. S. Baudet, Z. Sainz Menéndez, M. Socas Méndez

y G. Piera Jaén

Servicio de Aparato Digestivo. Red Hospiten. Tenerife

RESUMEN

Objetivos: no se dispone en castellano de un cuestionario va-lidado para la valoración de la satisfacción del paciente en endos-copia digestiva. Evaluar la validez externa y la consistencia interna de la versión en castellano del cuestionario recomendado por la American Society for Gastrointestinal Endoscopy sobre satis-facción en endoscopia.

Diseño experimental: estudio de validación de un cuestiona-rio, recogida de datos prospectiva.

Pacientes y métodos: cuatrocientos ochenta y cinco pacien-tes consecutivos remitidos para endoscopia a dos hospitales dife-rentes fueron entrevistados telefónicamente. La validez interna se estudió mediante alfa de Cronbach y correlación total inter-ítem media. Para estimar la validez externa se remitió un cuestionario anónimo a 185 pacientes y se calcularon las correlaciones entre las respuestas dadas telefónicamente y por correo, así como la co-rrelación en la puntuación global obtenida mediante la suma de los valores para las siete cuestiones del cuerpo principal del cues-tionario.

Resultados: la alfa de Cronbach fue de 0,82 y la CTITM de 0,59. La kappa ponderada entre las mismas cuetiones en los cuestionarios administrados telefónica o anónimamente variaron entre 0,51 y 0,81. La correlación en la puntuación total fue de 0,78. La validez interna y externa no se vio afectada por diferen-cias en la administración del cuestionario (correo o telefónico), los diferentes entrevistadores, el tipo de endoscopia o la procedencia de los pacientes.

Conclusiones: la versión en castellano del cuestionario reco-mendado por la ASGE sobre satisfacción en endoscopia es válida, fiable y reproducible.

Palabras clave: Endoscopia gastrointestinal. Satisfacción del pa-ciente. Mecanismos de evaluación de los cuidados sanitarios. Cuestionarios. Estudios de validación.

INTRODUCCIÓN

Como en otras áreas de la medicina, hoy día se intenta incorporar a la práctica de la endoscopia digestiva la imple-mentación de programas de mejora progresiva de la calidad (1,2). La satisfacción del paciente se ha convertido en uno de las piedras angulares de los sistemas de mejora progresi-va de calidad en los hospitales. La satisfacción influye en la elección que este paciente, u otros próximos a él, harán en el futuro cuando presenten un nuevo problema de salud o en el cumplimiento de medidas terapéuticas prescritas (3). La adopción de indicadores de calidad en satisfacción pue-de contribuir a una mejora progresiva pue-de la misma. Así, en un estudio sobre cribaje preventivo de cáncer de colon me-diante sigmoidoscopia flexible se demostró que el conoci-miento, por parte de los profesionales, de los resultados de las encuestas de satisfacción producía una progresiva ten-dencia a la mejoría en la misma (4).

Un cuestionario breve adaptado a los procedemientos endoscópicos (GHAA-9m) es el recomendado actual-mente por la American Society for Gastrointestinal

En-doscopy (ASGE) (5). Aunque existen críticas a este

cues-tionario, es el único conocido del que existen estudios publicados y son posibles las comparaciones entre hospi-tales (6). Un cuestionario semejante, algo más complejo, se ha utilizado en la evaluación de la satisfacción del pa-ciente con la broncoscopia (7).

Cuando se plantea el uso de un cuestionario para medir la satisfacción este debe cumplir una serie de requisitos.

(6)

La aplicación del cuestionario debe ser sencilla, pudiendo aplicarse telefónicamente, por correo convencional o electrónico. El cuestionario GHAA-9m utiliza una escala sencilla, de cinco puntos, fácil de interpretar y de descri-bir por un entrevistador telefónico. Es necesario demos-trar que el cuestionario es válido para medir la satisfac-ción y sus diferentes aspectos, es decir, la validez interna del cuestionario. Además la repetición del cuestionario bajo diferentes circunstancias debe de presentar resulta-dos semejantes, es decir, debe demostrarse la validez ex-terna del mismo (8).

El objetivo de nuestro estudio fue determinar la validez externa y la validez interna del cuestionario GHAA-9m adaptado para su uso en endoscopia en su versión castella-na (a partir de ahora GHAA-9mc).

PACIENTES Y MÉTODOS Pacientes

Cuatrocientos ochenta y cinco pacientes ambulatorios (57% mujeres, edad media 51 ± 16 años) fueron incluidos de manera consecutiva y simultánea en las unidades de endoscopia de dos centros hospitalarios, que denominare-mos a partir de ahora centros A y B. Cuatrocientos cua-renta y tres pacientes fueron incluidos en la unidad de en-doscopia del centro A, donde acudían pacientes de actividad privada (pagaban ellos mismos la endoscopia o era financiada por compañías de seguro) atendidos en la mismas consultas del centro o en consultas privadas de médicos sin relación laboral con el centro hospitalario.

En la unidad de endoscopia del centro B fueron inclui-dos 72 pacientes procedentes de la listas de espera del Servicio Nacional de Salud. Habían sido atendidos exter-namente por médicos especialistas en aparato digestivo o cirugía que no tienen relación laboral con el centro hospi-talario donde se hizo la endoscopia. En estos dos centros los pacientes fueron sistemáticamente sedados, con me-peridina y midazolam para realización de colonoscopias y con midazolam para la realización de gastroscopias, por el propio endoscopista, con gran experiencia previa en sedación. Treinta pacientes no respondieron al cuestiona-rio, así que fueron excluidos.

Desarrollo e implementación del cuestionario

El cuestionario original inglés consta de siete preguntas relativas a diferentes aspectos (tiempo de espera para la cita, tiempo de espera en la unidad al llegar para la cita, in-formación recibida, cortesía del médico, cortesía del perso-nal, evaluación de la habilidad del médico, satisfacción global del paciente con el procedimiento) y dos preguntas sobre aceptabilidad para una nueva endoscopia del médico y de la clínica. Este cuestionario original fue traducido al castellano con ayuda de intérpretes profesionales que

cola-boran en nuestros centros y con experiencia de más de 10 años en el trato continuado con pacientes de habla in-glesa. La traducción inicial fue pilotada en 20 pacientes que acudieron a cita para colonoscopia; sin embargo, la cuestión sobre “habilidad técnica del médico” no fue res-pondida por 15 de estos primeros pacientes debido a que con la amnesia secundaria al uso de midazolam no recor-daban nada, no prestaron atención al procedimiento duran-te su realización, o bien no se consideraban preparados para juzgar la habilidad del médico. A diferencia de lo que ocurre en Estados Unidos y otros países, en nuestro país no es habitual disponer de otro monitor de endoscopia adicio-nal para que el paciente contemple el procedimiento. Así, decidimos sustituir esta pregunta por una cuestión sobre molestias durante el procedimiento, evaluada mediante la misma escala ordinal (Apéndice I).

Dos diferentes entrevistadores habituados al trato con-tinuado con pacientes llevaron a cabo las encuestas: una enfermera actualmente dedicada a tareas de supervisión y una administrativo con ocupaciones previas en la recep-ción de consultas externas. Entrevistaron a los pacientes aproximadamente tres semanas tras el procedimiento.

Cuestiones estadísticas Validez interna

Previamente se ha demostrado la utilidad de una escala ordinal de cinco niveles para la evaluación de la satisfac-ción del paciente (9). La validez interna de dicha escala en el cuestionario para endoscopia digestiva fue evaluada mediante test de alfa de Cronbach y la correlación total inter-ítem corregida media (CTICM) utilizando las cues-tiones uno a siete del cuestionario (Apéndice I). La vali-dez interna fue valorada para el conjunto de pacientes, para cada uno de los entrevistadores, para cada tipo de endoscopia (colonoscopia y esofagogastroduodenosco-pia) y para cada grupo de pacientes según la procedencia. Se considera que unos valores de alfa de Cronbach supe-rior a 0,7 y de CTICM supesupe-rior a 0,4 indican una consis-tencia interna adecuada (10).

Validez externa

A 185 pacientes del centro A se les entregó, además, el cuestionario en sobre cerrado y con sello, para que lo re-mitiesen al centro pasadas varias semanas tras su realiza-ción. A estos pacientes no se les advirtió de la llamada telefónica posterior. Se estudió la correlación entre cues-tiones individuales y para la puntuación total obtenida mediante la suma de las puntuaciones de las cuestiones 1 a 7 (Apéndice 1). Dicha puntuación total podía resultar entre 7 y 35, reflejando una mejor satisfacción cuanto mayor el valor obtenido. Para valorar la correlación entre las cuestiones 1 a 7 se utilizó la kappa ponderada y para

Vol. 97. N.° 8, 2005 VALIDACIÓN DE UN CUESTIONARIO BREVE SOBRE SATISFACCIÓN DEL PACIENTE 559

EN ENDOSCOPIA DIGESTIVA

(7)

la correlación entre las puntuaciones totales de ambos cuestionarios la Rho de Spearman. La bondad de la kappa ponderada obtenida se valoró según aparece en el pie de la tabla II. Un coeficiente de correlación de Spearman su-perior a 0,7 se consideró adecuado.

El comité de ensayos clínicos autorizó la realización del estudio.

Tabla I. Validez interna del cuestionario Alfa de Crohnbach CTICM

Global 0,82 0,59 Hospital A 0,85 0,64 Hospital B 0,80 0,65 Entrevistador A 0,79 0,52 Entrevistador B 0,85 0,61 Gastroscopia 0,81 0,56 Colonoscopia 0,82 0,58

Validez interna para cada una de las siguientes situaciones: global, en los hospi-tales A y B, para cada entrevistador y para cada tipo de endoscopia digestiva. Es-timada mediante alfa de Crohnbach y la correlación media total inter-ítem.

Tabla II. Consistencia externa

Cuestión Kappa ponderada (*)

A B G C T

Tiempo hasta cita 0,76 0,83 0,71 0,88 0,81

Tiempo en sala espera 0,69 0,74 0,72 0,73 0,73

Explicaciones 0,72 0,77 0,67 0,79 0,74

Cortesía médico 0,69 0,62 0,70 0,63 0,64

Cortesía personal 0,62 0,65 0,56 0,72 0,63

Molestias 0,55 0,49 0,58 0,42 0,51

Puntuación global 0,64 0,78 0,75 0,67 0,72

Correlación, mediante kappa ponderada, de la correlación entre los cuestionarios telefónico y anónimo en diferentes subgrupos.

Los valores de Kappa ponderada se interpretaron según los siguientes rangos de acuerdo: > 0,70, excelente; 0,40-0,70, bueno; 0,20-0,40: regular; < 0,20: pobre. (*): entrevistadores A, B, Gastroscopia, Colonoscopia y endoscopias Totales.

RESULTADOS Validez interna

En la tabla I se recogen los resultados de la alfa de Cronbach y de la CTITM para el conjunto de pacientes y en función del centro, tipo de endoscopia, entrevistador. En todas estas situaciones se mantuvo la validez interna del cuestionario con valores superiores a 0,8 y 0,4 respec-tivamente.

Validez externa

En la tabla II se recoge la kappa ponderada para cada una de las cuestiones para el conjunto de los pacientes, según el tipo de endoscopia y entrevistador. Igualmente esta no se vio afectada por dichas variables. Como se puede observar en dicha tabla todas las correlaciones son

buenas, muy buenas o excelentes. Destaca la bondad de la correlación para la cuestión de puntuación general de la prueba. Cuestión que puede ser utilizada como índice de satisfacción. La correlación entre la puntuación total obtenida por ambos cuestionarios fue de 0,78, con una p inferior a 0,0001 (Rho de Spearman).

DISCUSIÓN

La satisfacción del paciente con sus sistema sanitario y los centros hospitalarios tiene una gran influencia en la conducta que adoptarán en un futuro ante los mismos, como consultar ante un nuevo problema de salud y seguir las indicaciones médicas. Aunque en endoscopia digesti-va se implantan de manera progresidigesti-va diferentes indica-dores de calidad destinados a ir obteniendo una mejora progresiva, los indicadores de satisfacción, que permitan además una comparación entre centros o valores de refe-rencia (“benchmarking”) están poco desarrollados. Así, artículos que miden la satisfacción del paciente utilizan cuestionarios y metodologías no compartibles (11,12).

De los cuestionarios de aplicación específica para la endoscopia gastrointestinal, destacan el elaborado por Salmon y cols. y el recomendado por la ASGE (5,13). Los cuestionarios basados en la escala de tipo Likert, como el de Salmon y cols., son complejos (14). Requie-ren la elaboración de escalas a partir de la afirmaciones de los pacientes. Cada una de estas afirmaciones constitu-yen un ítem de una escala, que a su vez forma parte de una cuestión acerca de la satisfacción en una esfera deter-minada. La traducción de cuestionarios de este tipo ela-borados en otros idiomas es compleja. La administración de dichos cuestionarios a poblaciones que pueden ser muy diferentes mediante una encuesta rápida telefónica o mediante correo puede no ser viable, y esto puede dificul-tar su aplicación generalizada y el benchmarking. La es-cala ordinal de 5 ítems de Ware y cols. facilita la elabora-ción de cuestionarios de aplicaelabora-ción sencilla (9). Ha sido extensamente utilizada en el cuestionario de la GHAA, que incluye 32 cuestiones y en la versión reducida adop-tada por la Sociedad Americana de Endoscopia Gastroin-testinal (ASGE) para su aplicación en endoscopia digesti-va (GHAA-9m) (5,15,16). Nosotros decidimos utilizar este cuestionario como base para elaborar un cuestionario en castellano de satisfacción en endoscopia gastrointesti-nal y proceder a su validación. Utilizamos los métodos estadísticos de validación interna (alfa de Cronbach, co-rrelación total inter-ítem corregida media) para estudiar la fiabilidad del mismo. Además estudiamos la repetibili-dad del test mediante un método de test-retest basado en un cuestionario telefónico y por correo administrados a los mismos pacientes. Todos estos valores mostraron una buena fiabilidad global del cuestionario para diferentes circunstancias: tipo de endoscopia, entrevistadores, cues-tionario telefónico o por correo convencional (Tablas I y II). Hasta el momento no hemos conocido ningún otro

(8)

es-tudio semejante relacionado a la endoscopia gastrointes-tinal sobre validación de este tipo de cuestionarios senci-llos.

Este cuestionario puede ser un método adecuado para la comparación entre centros o con datos de refe-rencia (benchmarking). Pensamos que es sencillo de comprender por el usuario, la aplicación telefónica es fácil, sus resultados son fiables y es sensible para la de-tección de diferencias entre poblaciones. Sin embargo, se cuestiona la idoneidad de las cuestiones incluidas en él. Ycavone y cols. entrevistaron a un grupo de pacien-tes que se habían realizado una endoscopia digestiva para que valoraran la importancia que para ellos tenían una serie de aspectos relativos a la satisfacción (18). Este grupo de pacientes dio una gran importancia a as-pectos no incluidos en el cuestionario original en glés, como molestias durante la prueba, y alguno no in-cluido por nosotros, como la habilidad técnica del endoscopista. En nuestro cuestionario incluimos la cuestión sobre molestias durante la prueba, pero decidi-mos excluir la cuestión sobre habilidad técnica dada la incapacidad de nuestros primeros veinte pacientes para responder dicha cuestión. Interpretamos esta dificultad como secundaria a tres factores: la amnesia originada por la sedación sistemática de los pacientes, no utilizar un monitor auxiliar para que el paciente contemple el procedimiento durante su realización; y fundamental-mente, la mayoría de nuestros pacientes afirmaban que carecían de capacidad para enjuiciar la habilidad del médico dado que era la primera ocasión que se realiza-ban la prueba. Decidimos utilizar un periodo prolonga-do para llevar a cabo la encuesta tras la enprolonga-doscopia. Esto es así porque nuestro objetivo se centró en la per-cepción que queda del proceso endoscópico en la po-blación a la que se le ha realizado. Esta percepción a largo plazo debe estar menos influida por la propia en-fermedad, los hallazgos, la toma de decisión posterior a la endoscopia y debe ser más próxima a la opinión final que el usuario transmitirá al resto de la población.

Una de las características principales del cuestiona-rio GHAA-9m y GHAA-9mc es la utilización de una escala de fácil aplicación, ordinal de 5 ítems (Apéndice I). Esta escala por sí misma demostró ser la más adecuada para la construcción de cuestionarios sencillos para va-lorar la satisfacción del paciente (14). A partir de esta escala se pueden incorporar nuevas cuestiones que se consideren importantes en la satisfacción del paciente. Consideramos que la aportación principal de nuestro estudio es determinar la fiabilidad de esta escala para su aplicación del paciente en endoscopia gastrointesti-nal, independientemente de que, como aportan otros autores, las preguntas incluidas en el cuestionario pue-den modificarse en función de lo que médicos o pacien-tes consideren importanpacien-tes o los aspectos que queramos estimar en nuestra propia unidad de endoscopia. Así, en nuestra opinión, el cuestionario es flexible para adap-tarse a las necesidades de cada unidad de endoscopia,

manteniendo la escala y la cuestión de puntuación ge-neral de la prueba (la séptima en nuestro cuestionario, ver Apéndice) del procedimiento como medida de sa-tisfacción global.

A la hora de utilizar el cuestionario es necesario tener en cuenta que otros factores, además de los aspectos con-siderados en las preguntas del mismo, tienen una marca-da influencia en la satisfacción del paciente. En un estu-dio sobre satisfacción del paciente en broncoscopia el estado de salud del paciente previo a la realización de la prueba tuvo una gran relevancia en la satisfacción del pa-ciente (12). Otros muchos factores como la información recibida a través de familiares o amigos, la aprehensión, la actitud del paciente hacia la información médica y la imagen pública del centro sanitario, pueden tener una marcada influencia en las respuestas a un cuestionario de satisfacción y deben ser tenidas en cuenta en el momento de interpretar los resultados de los cuestionarios de satis-facción.

En conclusión, el cuestionario GHAA-9mc es válido para el estudio de la satisfacción del paciente en endosco-pia y su validez se mantiene bajo diferentes circunstan-cias.

Vol. 97. N.° 8, 2005 VALIDACIÓN DE UN CUESTIONARIO BREVE SOBRE SATISFACCIÓN DEL PACIENTE 561

EN ENDOSCOPIA DIGESTIVA

Apéndice 1

Califique las siguientes cuestiones de 1 a 5, según se indica: 1. El tiempo de espera hasta la fecha de realización:

Malo Regular Bueno Muy bueno Excelente

2. El tiempo que esperó el mismo día de la gastroscopia/colonoscopia hasta que lo llamaron:

3. La atención, cortesía, respeto, sensibilidad y educación del médico que le hizo la gastroscopia/colonoscopia:

4. La atención, cortesía, respeto, sensibilidad y educación del personal de la clínica: recepcionistas, enfermeras, etc.:

5. ¿Cómo considera las explicaciones que le dieron sobre la prueba? ¿Se respondieron todas sus preguntas?

6. Las molestias que percibió durante la prueba:

7. Puntuación global de la visita desde que se la solicitan hasta su finaliza-ción:

8. Si fuera necesaria una nueva endoscopia del mismo tipo, ¿se la haría en la misma clínica?

Sí No

9. Si fuera necesaria una nueva endoscopia del mismo tipo, ¿se la haría con el mismo médico?

Sí No