Fase 3 Validación del modelo

4.1.3.1 Diseño de los cuestionarios y recogida de datos

El número de criterios obtenido en la fase anterior era todavía demasiado grande para ser utilizado en la práctica de forma eficiente. Además, dicho conjunto de criterios, aunque se había obtenido de fuentes fidedignas creímos relevante que debía ser validado para el dominio de productos de seguridad informática. Por ello, durante esta fase se llevó a cabo una revisión externa a través de un estudio con un total de 251 expertos (investigadores y profesionales en activo) en las áreas de Ingeniería del software, dirección TIC y seguridad. El proceso de revisión externa se basó en cuestionarios que se entregaron a expertos en distintas áreas.

La hipótesis general que se utilizó fue:

Es posible identificar y consensuar las características más relevantes para la evaluación de los productos software finales de seguridad informática, así como su importancia relativa y las relaciones entre los diferentes factores

Por otra parte, con el fin de tener en cuenta diferentes perspectivas de los expertos relacionados con procesos de evaluación, así como, con el dominio de aplicación, se crearon

3 cuestionarios diferentes según las áreas de conocimiento requeridas27: seguridad informática, ingeniería del software y dirección de TI. A partir de los resultados de los cuestionarios dirigidos a expertos en seguridad informática obtuvimos las características técnicas más importantes para los productos COTS de seguridad informática que denominamos TF (del inglés Technical Factors). Por su parte, los cuestionarios dirigidos a expertos en ingeniería del software nos proporcionaron las propiedades de facilidad de uso más relevantes para el dominio de seguridad informática que denominamos UF (del inglés

Usability Factors). Por último, a partir de los cuestionarios dirigidos a directores y gerentes de TI obtendríamos las características no técnicas (u organizacionales) a evaluar en el dominio objeto del estudio que denominamos NTF (del inglés Non-Technical Factors). Esta división además nos proporcionaba dos ventajas adicionales:

1. Por una parte, nos permitía hacer cuestionarios más cortos, reduciendo así el riesgo por abandono del cuestionario;

2. Además, dado que cada uno de los cuestionarios iba enfocado a una población muy concreta la varianza poblacional de la muestra sería potencialmente pequeña y, por tanto, el tamaño muestral requerido para que quedase adecuadamente representada la variedad de componentes en la muestra no debería ser a priori elevado.

Los tres cuestionarios compartían una sección inicial en la que se explicaba el estudio y se requerían datos demográficos de control. El tipo de pregunta utilizada en los cuestionarios fue el de respuesta múltiple con preguntas de estimación (las alternativas se encuentran graduadas en intensidad) y con escala tipo Likert aunque también se utilizó una pregunta final abierta con el fin de recoger posibles características que los expertos pudieran considerar como no incluidas en los cuestionarios. Además de datos de control como edad o país se recogieron datos relacionados con el cargo en la empresa, años de experiencia y conocimiento y experiencia con productos de seguridad. El diagrama de flujo de ejecución

27

Entre los datos demográficos figuraba una pregunta sobre el área de conocimiento del encuestado a seleccionar entre Ingeniería del software, seguridad informática y Dirección. De esta forma, según la respuesta

se muestra en la Figura 25 y otros datos técnicos y de diseño en el Anexo 7.1. También se muestra el cuestionario completo en el Anexo 7.3.

Figura 25. Flujo de ejecución de la aplicación web de recogida de datos.

Con la intención de poder llegar a una mayor población muestral se utilizaron preguntas claras, concisas y cortas. Además, al ir dirigidos los cuestionarios a expertos en el área de conocimiento se pudieron reducir las frases poniéndolas a nivel técnico. Además, las

preguntas se personalizaron dividiéndolas por grupos de conocimiento (seguridad informática, ingeniería del software y dirección) y se puso especial cuidado en la formulación de las mismas evitando, por ejemplo, usar negaciones o no obligando a recurrir a la memoria.

Antes de publicar los cuestionarios, se realizó una validación de los mismos en la que, además de las preguntas del cuestionario, se pedía retroalimentación sobre el proceso. La encuesta piloto se realizó entre:

- alumnos de 5º curso de Ingeniería Informática que habían cursado la asignatura de

Seguridad y protección de sistemas informáticos (asignatura optativa de 5º curso)

durante dos cursos consecutivos (06/07 y 07/08) para los cuestionarios dirigidos a

expertos en el área de la seguridad;

- alumnos de 5º curso de Ingeniería Informática cursando la asignatura de

Comunicación hombre-máquina (asignatura optativa) para los cuestionarios

dirigidos a expertos en el área de usabilidad;

- alumnos del Máster Oficial de Gestión de Tecnologías de la información

(principalmente profesionales en el área de gestión y dirección de TI) para los

cuestionarios dirigidos a expertos en el área de dirección de TI.

La retroalimentación recibida en las pruebas iniciales de los cuestionarios en los que los encuestados se enfrentaban a la pregunta:” ¿qué importancia tiene cada criterio para la adquisición de un producto de seguridad informática?” en una escala de 1 (nada importante) a 5 (muy importante), nos indicó que resultaba difícil discriminar dentro de la escala pues en realidad todas las propiedades dadas eran realmente importantes. Por ello, se decidió que para obtener respuestas fiables y válidas cada revisor evaluase cada criterio asignándole un valor basado en la respuesta a la pregunta “¿en qué medida estaría dispuesto a asumir un coste extra en el proceso de compra por cada una de las siguientes características?”. En este caso la escala definida fue: “nunca”, “casi nunca”, “a veces”, “casi siempre” y “siempre”.

Por último, resaltar el hecho de que se automatizaron las encuestas y se publicaron en internet para un fácil acceso y posterior tratamiento estadístico de los datos. La información de acceso se proporcionaba a los expertos a través de correo electrónico con un enlace al sitio web en el que se encontraban los cuestionarios, de forma que, con un simple click se pudiera acceder a los mismos. Además, para asegurar que las personas que participaban en el estudio tenían el perfil requerido, se invitó tan sólo a expertos de empresas colaboradoras de los másteres de seguridad TI y de Gestión de Tecnologías de la información de la Universidad Europea de Madrid. También se pidió la colaboración de asociaciones, como ATI (Asociación de Técnicos de Informática), AEDI (Asociación Española de Directores de Informática) o ASIMELEC (Asociación Multisectorial de Empresas Españolas de Electrónica) y revistas especializadas como Red Seguridad y e.Security para la difusión del estudio.

4.1.3.2 Análisis y descripción de la muestra

De los 253 cuestionarios recogidos, el número de completados y válidos fue de 203 por lo que el margen de error fue del 6,9% con un intervalo de confianza del 95%. En la Tabla 17 se muestran los resultados completos obtenidos. Como puede observarse en dicha tabla, la mayoría de los participantes en el estudio tenían entre 31 y 40 años (36.46%) o entre 41 y 50 años (34.25%). En relación a la distribución de los encuestados según la actividad económica de la empresa los principales sectores fueron el sector de Tecnologías de la información y Comunicaciones (38.12 %), Industria (23.20%), Administraciones públicas y Educación y Formación (9.94%). El perfil técnico de los participantes estaba bastante igualado entre gestores o directores de Tecnologías de la información (30.54%) e Ingenieros de seguridad (25.82%), seguido por Ingenieros del Software (19.34), consultores de Tecnologías de la información (7.73%) y profesores e investigadores (6.63%). La mayoría de ellos tenía más de 5 años de experiencia en su puesto (64.64%). Con respecto a su cualificación profesional en relación a los productos software de seguridad, tal como puede observarse en la Figura 26, la mayoría de ellos tenía un nivel muy alto de experiencia en el uso de este tipo de productos con un 30,94% para el nivel experto (nivel muy alto), un 16,57 % para el nivel de evaluador/consultor (nivel alto), un 23,93% para el nivel administrador (nivel medio) y sólo un 15,04% con nivel usuario (nivel bajo). Por último, la mayoría de ellos tenían una formación básica (49.72%) o avanzada (32.04%) en productos de seguridad.