Secunia vient de publier les résultats d'un comparatif de 12 suites de sécurité (PDF) dans lequel ils ont testé le niveau de détection de chacune des suites contre 300 vulnérabilités connues et référencées.
Les résultats sont assez consternants : pour les vulnérabilités considérées comme étant les plus critiques, la moyenne est d'environ 5% de détection avec un seul et unique produit dépassant la barre des 4% (près de 30% de détection en l'occurrence)... Damned.
Au vu de ces chiffres, on peut se demander si la proposition de valeur de ces solutions est fondée ou si elle repose sur de fragiles équilibre que l'on pourrait qualifier de "bullshit marketing" ou "snake-oil" ?
Quelle analyse faire de ces résultats ?
Le type de tests effectués: Ces résultats ne veulent pas dire que les suite de sécurité sont si mauvaises que cela : La plupart d'entre-elles sont axées sur un mode défensif (connaissance des attaques, des virus et vers) ce qui n'a pas été testé ici. Il faut donc pondérer ces résultats avec les tests d'un organisme indépendant comme AV-Comparatives.org ou plus précisément leur dernier rapport d'Aout 2008 (PDF).
La finalité de l'outil est importante: Si la suite de vulnérabilité inclue des fonctionnalités de type HIPS (Host Intrusion Prevention System) alors elle doit détecter et bloquer les exploitations de failles. Si il s'agit d'un antivirus (comportemental et/ou basés sur des bases de sigantures) alors c'est normal qu'il obtienne de très mauvais résultats à ce type de test.
Le message marketing est important : Pour un utilisateur "lambda", quelle est la différence entre "anti-intrusion", "anti-exploitation" et "anti-virus" ? Pour lui tout se résume à la dernière des 3 notions... C'est sur ce dernier point que les choses sont peut-être limites de la part des éditeurs : C'est du "anti-tout" sur les boites, donc l'utilisateur final s'y perd.
En conclusion
Rien de bien nouveau à l'horizon : Il faut patcher ses systèmes et mettre un antivirus pour bloquer les codes malicieux. Les fonctions de type HIPS ne représentent, actuellement du moins, qu'une part très minime des mécanismes de défense devant être présents : C'est que cette étude montre. Donc pas la peine de dépenser des fortunes pour une fonction qui ne fait pas grand chose.
Au sein de la direction sécurité du Groupe Orange, je suis en charge de la veille sécurité et de la sensibilisation à la sécurité. Franchise, optimisme et bonne-humeur sont mes moteurs quotidiens