La presse informatique et les tests de logiciels antivirus

Par les participants du groupe alt.comp.virus.
(Ces pages de sécurité sont le résultat d'un effort collectif continu.)

par Andrew J. Lee
Membre fondateur AVIEN
http://www.avien.net

Il est sûr et certain que tous les magazines peuvent tester et comparer la facilité d'utilisation, l'interface, la procédure de mise à jour, l'effet sur les performances du système et les options offertes par un certain produit. Ceci dit, beaucoup de magazines ont effectué de bons tests honnêtes de logiciels antivirus.

Par contre, vu la méthodologie de test des taux de détection des antivirus, cela n'a pas souvent été le cas. L'idée qu'un magazine pourra tester n'importe quel logiciel antivirus avec sa propre collection de virus "en quarantaine" est idiote sinon dangereuse.

Laissez moi expliquer. Quand il est question de tester des logiciels antivirus, ces magazines ne savent souvent pas ce qu'ils font. Et ils le prouvent eux-mêmes en publiant les détails de leur méthodologie de test. Il ne faut surtout pas croire qu'il suffit de voir si un antivirus détecte tous les virus qu'ils possèdent. S'il les détecte, ils n'ont rien prouvé à part le fait qu'il détecte certains fichiers qu'ils estiment être des virus. On ne peut pas en tirer d'autres conclusions. Si, par contre, il ne détecte rien, ils ne peuvent pas expliquer pourquoi.

La raison pour cela est qu'ils ne savent ni si leurs échantillons sont de vrais* virus, ni si leurs échantillons sont des mutations ou des variantes (donc des virus qui ont été modifiés par quelqu'un ou quelque chose). Voici les principales plaintes que j'ai concernant ce genre de méthodologie:

Ils ne définissent et ne publient pas le jeu d'échantillons utilisé - une liste par famille, variante et type.

Ils n'ont pas vérifié l'aptitude à se reproduire de chaque membre du jeu d'échantillons (c'est ça la définition d'un virus).

Ils ne publient pas leur méthodologie de test, qui doit être identique pour chaque produit - donc la configuration du produit, si les fichiers examinés se trouvaient dans leur état naturel comme on les rencontrerait en liberté, etc.

Ils n'indiquent pas s'ils ont fait la différence entre les virus, les chevaux de Troie ou autres types de code malfaisant non viral.

Ils présentent souvent la désinfection ou la "guérison" comme un avantage, alors que ce n'en est pas forcément un.

Souvent, ils n'indiquent ni la mise à jour ou la version des produits, ni le système sous lequel le test a été effectué.

Il en suit que ces tests n'ont rien prouvé et qu'ils ne valent pas grand chose quand il s'agit de choisir un produit.

Pour des résultats fiables, jetez un coup d'oeil sur les tests réalisés par des organismes respectés et indépendants. Vous verrez souvent que leurs tests sont en contradiction avec les résultats des tests menés par des magazines. Vous trouverez de vrais tests sur les pages suivantes:

http://www.av-test.org/index.php3?lang=en
http://www.virusbtn.com/100
http://agn-www.informatik.uni-hamburg.de/vtc/
ftp://agn-www.informatik.uni-hamburg.de/pub/texts/tests/pc-av/2001-07/0xecsum.txt
http://www.uta.fi/laitokset/virus/
http://www.check-mark.com/cgi-bin/redirect.pl
http://www.icsalabs.com/html/communities/antivirus/certifiedproducts.shtml

Les tests de logiciels antivirus sont effectués sous contrôle strict à l'aide de milliers de virus examinés auparavant. Ces tests, du moins les tests reconnus, sont effectués par des experts en matière de virus, qui comprennent non seulement les implications des résultats, mais qui sont également capables d'interpréter ces résultats correctement. Tout test qu'un magazine de l'informatique a réalisé comme décrit auparavant est immédiatement invalidé par la méthode non scientifique.

*"vrai" signifie ici que le virus est capable de se reproduire et d'infecter d'autres fichiers.

Quelques liens intéressants...

Open Letter
(Lettre ouverte)

Outraged of Slovakia - Virus Bulletin
(Outragé en Slovaquie)

NOD32 trashed by CNet / ZDNet review !!!
(NOD32 sévèrement critiqué par CNet/ZDNet)

Dernière mise à jour: 29 mai 2002