AMTSO (Anti-Malware Testing Standards Organization) es una coalición de profesionales de la seguridad, incluyendo muchos fabricantes de productos antivirus, organizaciones evaluadoras de productos y editores, así como algunos personas interesadas en la materia que participan de forma individual. Dada la alta naturaleza técnica de sus actividades, es inevitable que la organización deba parte de su autoridad a la pericia de los especialistas en seguridad que se encuentran entre sus filas, aunque esto no lo convierte en un lobby de fabricantes. Como Kurt Wismer, quien no es miembro de AMTSO, observa a este respecto “muchos de ellos son empleados por los fabricantes, precisamente porque ése es uno de los principales lugares donde una persona con experiencia en este campo podría encontrar un trabajo”. Dada cierta publicidad negativa dirigida a AMTSO (ejemplo), queremos de forma colectiva aclarar los siguientes puntos en nombre de la industria anti-malware, que es de donde procedemos, e, indirectamente, en nombre de AMTSO.

Nos resulta extraño que la experiencia en el campo de la evaluación sea vista de alguna manera como una descalificación, dados los conocimientos especializados que caracterizan al grupo.

Mientras que algunas personas desechan cualquier cosa dicha por un fabricante y aceptan sin sentido crítico cualquier cosa dicha por un evaluador, otros se quedan perplejos al ver que diferentes pruebas pueden variar de manera tan significativa en sus resultados sobre el mismo producto. Aunque a veces esto puede ser simplemente debido a la práctica de una mala metodología en las pruebas, hay motivos de peso que explican esta situación: uno de ellos es la gran cantidad de malware y ataques que vemos todos los días. Los fabricantes trabajan duro para cerrar la brecha entre la detección ideal del 100% de las amenazas y la que es realmente alcanzable, mediante el desarrollo de un conjunto de tecnologías, tanto proactivas como reactivas. La capacidad de los productos puede cambiar, y unas pruebas con una metodología muy similar, pueden generar resultados “contradictorios” debido a los diferentes enfoques en la selección, clasificación y validación de las muestras y direcciones URL, entre otros factores.

AMTSO tiene como objetivo promover precisamente el tipo de pruebas que muestran claramente estas variaciones, y sus miembros ya ondeaban la bandera de las pruebas que reflejan lo que sucede en el mundo real mucho antes de que AMTSO existiera oficialmente, creyendo que este tipo de pruebas beneficiaría tanto a los fabricantes, como a los usuarios y a los evaluadores. Como sector, también somos muy conscientes de que no podemos detectar todo el malware existente, tanto conocido como desconocido. Los resultados relativamente altos que los principales fabricantes obtienen en ciertos test no reflejan necesariamente lo que sucede en el mundo real, pero la detección en el mundo real no se puede medir en términos de comparación de productos sin controles de selección, clasificación y validación de muestras y URLs maliciosas.

Otro concepto equivocado es que a los miembros AMTSO simplemente no les gustan las pruebas realizadas por miembros que no pertenecen a AMTSO. Este no es el caso, ninguno de los abajo firmantes tenemos un problema con los laboratorios que intentan proporcionar pruebas objetivas que reflejan la situación en el mundo real. (Aunque otros evaluadores tienen todo el derecho a oponerse con vehemencia cuando una compañía se autoproclama como la única que hace en pruebas en vivo con conexión a Internet, y que el resto sólo hacen pruebas basadas en las muestras de la Wildlist).

Sin embargo, cobrar honorarios de “consultoría” a cambio de facilitar cualquier información relativa a una prueba (incluso a los participantes de dicha prueba) dista mucho de la transparencia que AMTSO defiende, aunque reconocemos que los evaluadores tienen que generar ingresos como cualquier otro negocio. Sin embargo, cuando un evaluador reclama haber compartido información sobre la metodología de antemano, y no proporciona datos metodológicos ni sobre las muestras utilizadas, ni siquiera a los participantes dispuestos a pagar los altos honorarios de “consultoría” exigidos para obtener dicha información, esto sugiere que el evaluador no está preparado para exponer su metodología para que sea sometida a escrutinio y validación, y pone en entredicho  sus aspiraciones de ser una empresa que juega en la misma liga que el resto de las organizaciones comprometidas a trabajar con AMTSO.

Nadie cree que AMTSO tenga todas las respuestas y pueda “arreglar” las pruebas por sí mismo, pero ha recopilado y generado que han hecho que el trabajo de realizar estas pruebas sea mucho másfactible y de fácil comprensión. El camino para los evaluadores (u otras personas interesadas) de mejorar estos recursos is hablar y trabajar con la organización, con espíritu de cooperación y transparencia: AMTSO no va a desaparecer.

Roel Schouwenberg, Kaspersky Lab
Luis Corrons, Panda Security
David Harley, ESET
Mark Kennedy, Symantec Corporation
Igor Muttik, McAfee