Evaluaciones y responsabilidad

AMTSO (la Organización de Estándares de Evaluación de Antivirus) es una coalición de profesionales de seguridad compuesta por muchos expertos de empresas antivirus, individuos interesados en el tema y organizaciones y revistas que evalúan los productos antivirus. Los especialistas de seguridad más importantes otorgan seriedad al grupo por la avanzada naturaleza técnica de sus actividades, pero esto no significa que la organización sea un centro de encuentro para los empresarios del medio. Como Kurt Wismer (que no es miembro de AMTSO) dijo: “muchos de ellos trabajan en empresas porque este es uno de los principales lugares donde alguien con experiencia en este campo puede encontrar empleo”. Como AMTSO ha recibido mala publicidad estos últimos días (ejemplo), nos hemos unido para clarificar los siguientes puntos a nombre de la industria antivirus, de la que somos partícipes, y de forma indirecta también a nombre de AMTSO.

Nos parece extraño que la experiencia en el área de evaluación se perciba como algo negativo, tomando en cuenta el alto nivel de pericia que caracteriza al grupo.

Aunque algunos usuarios desconfían de lo que diga una empresa y aceptan a ciegas lo que diga un evaluador, otros se confunden al ver que los resultados de diferentes pruebas del mismo producto varían de forma drástica. A veces esto sólo se debe a prácticas de evaluación pobres, pero en otros casos es por razones más profundas, como el gran volumen del malware y los nuevos ataques que aparecen cada día. Las empresas de seguridad trabajan duro para que desaparezcan las diferencias entre el índice de detección ideal del 100% y el que es posible alcanzar. Para ello desarrollan nuevas tecnologías, tanto proactivas como reactivas. Las capacidades de los productos pueden cambiar, pero las evaluaciones en las que se utiliza tecnología similar pueden generar resultados muy “conflictivos” según las diferentes formas de seleccionar, clasificar y validar las muestras y URLs, entre otros factores.

AMTSO intenta promover las pruebas que muestren con claridad la razón de estas variaciones, y sus miembros pedían que se encontrara una forma más realista de evaluar los productos de seguridad mucho antes de que se fundara la organización, ya que esto beneficiaría tanto a las empresas como a los clientes y evaluadores. Como industria, estamos conscientes de que no podemos detectar todos los programas maliciosos conocidos y desconocidos. Las puntuaciones altas que alcanzamos en pruebas realizadas por evaluadores reconocidos muchas veces no reflejan con fidelidad el funcionamiento real del producto, pero la detección que un producto realizada en el mundo real tampoco se puede medir comparando productos sin controlar la selección, clasificación y validación de las muestras y URLs que se utilicen en la prueba.

Algunos también cometen el error de pensar que los miembros de AMTSO simplemente no aceptan las evaluaciones de las demás organizaciones. No es así: ninguno de los miembros está en contra de los laboratorios que quieren evaluar los productos de forma objetiva y fiel. (Aunque otros evaluadores pueden oponerse echando un grito al cielo cuando una empresa dice que es la única que realiza las pruebas al vivo y conectada a Internet, mientras que el resto lo hace de forma estática basándose en WildList).

Sin embargo, el cobrar dinero por publicar cualquier información sobre la prueba (hasta a los participantes) no encaja con la idea de transparencia que AMTSO pregona, aunque reconocemos que los evaluadores a tiempo completo deben recibir un pago, como en cualquier otro negocio. Sin embargo, cuando un evaluador dice que ha compartido información sobre la metodología por anticipado y no provee los datos metodológicos y de las muestras ni siquiera a las empresas dispuestas a pagar las grandes tasas de consultoría que se necesitan para obtener esta información, da a entender que el evaluador no está listo para exponer su metodología para que se la analice y valide, y esto corta sus aspiraciones de que se tome su organización en serio o que consiga la misma reputación que las principales organizaciones de evaluaciones que se comprometieron a trabajar con AMTSO.

Nadie cree que AMTSO tenga todas las respuestas o pueda “arreglar” los métodos de evaluación por sí sola, pero ha compilado y generado recursos que han hecho que los buenos métodos de evaluación sean mucho más factibles y comprensibles. Para que los evaluadores (y otros) puedan mejorar estos recursos, es necesario hablar y cooperar con AMTSO: la transparencia siempre será una necesidad.

Roel Schouwenberg, Kaspersky Lab
Andrew Lee, K7 Computing Private Ltd
Luis Corrons, Panda Security
David Harley, ESET
Mark Kennedy, Symantec Corporation
Igor Muttik, McAfee