de la Présentation de HTS-Corrector

Par Jérémie Auger

Résumé

Les expériences de criblage à haut débit sont un incontournable pour le développement de nouvelles molécules physiologiquement actives. Elles permettent de tester des dizaines de milliers de substances synthétiques très rapidement pour sélectionner les composés prometteurs pour les analyses plus poussées. Toutefois, vu le nombre très élevé de molécules différentes testées, il est pratique courante de ne faire qu’une seule lecture par composé. Cette absence de réplicats rend difficile l’application de méthodes statistiques classiques. Il est donc important d’utiliser des méthodes d’analyses appropriées, alors que la sélection de faux positifs engendre du gaspillage de matériel pour les étapes subséquentes et que les faux négatifs engendrent une perte d’information qui se traduira aussi par des pertes économiques pour le laboratoire. Il existe deux sources de variabilité par rapport aux vraies valeurs, soit l’erreur aléatoire et l’erreur systématique. L’erreur aléatoire est généralement due aux limitations de réalisation de l’expérience, comme des erreurs de pipetage, l’évaporation, la solubilité des composés testés ou autre. Cette erreur n’est pas calculable, ni possible à corriger. L’erreur systématique quant à elle est détectable, quantifiable et corrigeable en analysant les patrons de distributions des valeurs enregistrées. Le programme HTS-corrector a été développé pour corriger l’erreur systématique et augmenter la puissance de discrimination des tests statistiques conduits par la suite. Cette communication scientifique se penche sur les méthodes de correction proposées dans le logiciel en y soumettant les données de criblage à haut débit d’un essai d’inhibition de l’enzyme bactérienne MurG.

Introduction

Les criblages à haut débit (ou HTS pour High-Throughput Screening en anglais) sont des méthodes automatisées pour l’identification des composés à potentiel thérapeutique. Le principe est de tester les dizaines de milliers de composés d’une chimiothèque afin d’y trouver des candidats potentiels pour le développement nouveaux médicaments. Ces techniques sont particulièrement utilisées dans l’industrie pharmaceutique afin de trouver des composés qui possèdent toutes les caractéristiques recherchées pour un traitement efficace.

Depuis leur développement, ces techniques ont mené à la mise en marché de nombreux composés actifs, mais sont en perte de vitesse. En effet, malgré la perfectionnement des techniques d’automatisation et de traitement des data, le taux d’approbation de nouveaux médicaments a drastiquement diminué (Dove 2003). Il n’est pas clair si ce déclin est dû à trop de faux positifs, trop de faux négatifs ou un mélange des deux. Dans tous les cas, il semble essentiel d’adopter une approche statistique conséquente pour avoir le meilleur taux de détection des vrais positifs.

Pour les expérimentateurs, un faux positif est synonyme avec un gaspillage de ressources, alors que les composés seront sélectionnés pour les tests subséquents de confirmation d’activité qui ne produiront pas de résultats. À l’inverse, un faux négatif signifie la perte d’information par rapport à candidat potentiel et par conséquent, encore des pertes économiques pour les chercheurs.

L’approche classique du traitement des données produites par HTS peut paraître peu orthodoxe pour les statisticiens, alors qu’il n’y a généralement pas de réplicats pour les données traitées. En effet, par souci de pouvoir traiter la plus large banque de candidats chimiques à coût raisonnable, une seule mesure est prise pour chaque substance testée. Le principe est de, dans un premier temps, normaliser les résultats pour chaque plaque par rapport aux contrôles présents sur celle-ci (souvent 8 contrôles positifs produisant l’effet recherché et 4 contrôles négatifs), pour, dans un second temps, calculer la variation présente entre tous les échantillons.

Pour être en mesure de réaliser des tests pour sélectionner les résultats potentiellement intéressants, il est courant d’utiliser l’ensemble des résultats du plateau, ou encore l’ensemble des puits criblés, afin de calculer une valeur de déviation standard (σ ou SD, pour Standard Deviation) et de ne prendre que les valeurs qui sont significativement différentes de la moyenne. Le seuil est généralement fixé à 3σ. Il est possible de faire la sélection des candidats potentiels en utilisant la SD plateau par plateau ou encore la SD de toutes les mesures du criblage.

En plus des principes théoriques énoncés ci-haut, en pratique, les criblages sont aussi sujets à l’erreur systématique. Par exemple, il peut y avoir des problèmes de pipetage, l’effet de l’évaporation, de la solubilité du composé testé ou encore l’effet connu des colonnes ou des lignes de puits situés au pourtour des plateaux. En somme, la lecture enregistrée par le lecteur dépend non seulement de la « vraie » lecture (engendrée par l’activité du composé), mais aussi de toutes les variables citées. En somme, l’erreur systématique peut biaiser les résultats et les tests de sélection des candidats prometteurs (Hits en anglais) et mener à des pertes de ressources. Des techniques sont proposées pour évaluer la part de l’erreur systématique dans les résultats de HTS analysés et de soustraire leurs effets afin d’augmenter la puissance statistique des analyses subséquentes.

Dans cette communication scientifique, le programme HTS-Corrector est décrit et évalué. Ce programme permet de visualiser les matrices de résultats de HTS à partir des données brutes et propose divers outils intéressants pour corriger et analyser les données.

Méthodologie

Le programme utilisé pour corriger l’erreur systématique dans ce projet d’analyse est le logiciel HTS Corrector (v. 2.0, Copyright 2004-2007), disponible gratuitement pour téléchargement en version pour les systèmes Windows sur le site http://www.info2.uqam.ca/~makarenkov_v/HTS/home.php . Le logiciel a été développé par le Dr. Vladimir Makarenkov et son équipe (Pablo Zentilli, Dmytro Kevorkov, Andrei Gagarin, Martin Lacroix et Rémi Lavoie) et propose de nombreuses techniques de modification et d’analyse pour les résultats de HTS.

Dans le but d’explorer les fonctionnalités du logiciel, le jeu de données de HTS sélectionné est le criblage nommé Harvard_164. Il s’agit de lectures de 164 plateaux de 384 puits d’un essai d’inhibition de la protéine MurG. Cette denrière est une enzyme clé dans la biosynthèse des peptidoglycanes, alors qu’elle catalyse la dernière étape intracellulaire de la synthèse bactérienne. Il existe déjà des inhibiteurs pour les autres étapes de cette voie de synthèse, mais tous les composés inhibiteurs de MurG préalablement identifiés sont chargés négativement, ce qui limite leur efficacité (Helm et al. 2003). L’équipe affiliée à Harvard a donc, en 2003, décidé d’explorer une chimiothèque de 48 877 composés afin d’y trouver un inhibiteur neutre. Leur expérience a été réalisée avec des duplicatas pour chaque substance testée (chaque plateau entier a été analysé en doublon).

Comme le programme propose plusieurs moyens de corriger les data bruts, les cinq techniques de correction ont été utilisées pour comparer leur résultats. Les 5 méthodes sont : le polissage par médiane (median polish), le pointage B (B Score), la soustraction de l’arrière plan (Background Substraction), la soustraction de l’arrière plan approximatif (Approx. Background Substraction) et la correction par puits (Well correction).

La technique de median polish est une technique de manipulations de matrices pour en faire une statistique plus robuste. Développée par John Tukey en 1977, cette technique est déjà largement utilisée pour l’analyse des résultats d’expériences à haut débit.

Le B Score est une autre technique robuste de normalisation de data développée par Merck Frost (Malo et al. 2006). Elle se base sur l’analyse des résidus par rapport à la variation absolue de la médiane (MAD pour Median Absolute Deviation) selon :

Le résidu de chaque position du plateau (rijp) est calculé d’abord par le calcul d’un two-way median polish pour la position donnée ŷijp, puis en soustrayant cette valeur à la valeur enregistrée, yijp . La valeur du median polish ŷijp, peut être défini comme la moyenne estimée du plateau û + l’erreur systématique estimée de la ligne i au plateau p (R̂ip ) + l’erreur systématique estimée de la ligne j au plateau p (Ĉjp). et La variation absolue de la médiane est un estimateur robuste de la variabilité des résidus Rijp (Malo et al. 2006).

La procédure de correction par puits a été développée par le Dr. Makarenkov et son équipe. Elle est réalisée en deux parties. Dans un premier temps, une normalisation par score Z est appliquée :

où xi est la valeur brute à la position donnée alors que ¯X et Sx sont, respectivement, la moyenne et la variance des mesures du plateau. HTS-corrector estime ensuite une fonction linéaire ou polynomiale pour calculer la valeur de la correction à réaliser à chaque puits. Pour simplifier la comparaison, les data corrigés ont été traité de la même façon pour les 5 méthodes, soit une sélection par μ-3σ.

Pour les comparer, trois paramètres ont été calculés : la répartition des positifs par ligne et par colonne, la forme approximée de l’arrière plan et le nombre total de positifs sélectionnés. Les deux premiers critères d’évaluation proposés ont été choisis parce qu’ils sont des mesures quantitatives de la répartition des positifs par rapport à leur position sur les plateaux. En effet, il s’agit d’un bon indice pour déceler la présence d’un biais systématique lors de la prise de données. Si l’on suppose que les substances sont distribuées uniformément à l’intérieur des plateaux et que l’on suppose qu’elles ont toutes la même chance d’être un positif, il devrait y avoir un nombre équivalent de positifs à toutes les positions Xi,j et les totaux des lignes devraient être similaires. La variance entre les différents totaux par ligne et par colonne ont été calculés pour résumer ces tendances.

Les graphiques d’arrière plan estimé (Background approx.) ont été choisis pour amener une représentation graphique de l’effet de la correction utilisée sur les data bruts. Encore ici, l’idée est de vérifier si l’effet du biais systématique a été corrigé en observant si les positifs sont liés à leur position relative sur le plateau ou s’ils sont répartis uniformément. Le graphique 3D de surface a été généré en utilisant HTS-Corrector pour approximer la distribution des positifs selon une fonction polynomiale pour obtenir un tableau de valeurs en fonction de la position de puits. Ce tableau est traité dans le logiciel statistique R pour y générer des graphiques selon toutes les conditions.

Résultats

L’erreur systématique a, dans un premier temps, été évaluée en calculant les totaux de hits par colonne et par ligne pour les données brutes (avec une sélection de positifs par seuil 3σ). Le même traitement a été réalisé pour les data corrigés avec les 5 méthodes proposées par HTS corrector. Les résultats de cette analyse sont illustrés dans la figure 1.

Figure 1. Collection de graphiques représentant la répartition des positifs (tableaux de « hit distribution » produits par HTS corrector. Pour chaque condition analysée, la variance (SD) a été calculée sur les moyennes comme indice de dispersion des positifs selon la position. Le graphique marqué « sans correction » correspond au data bruts et les autres étiquettes représentent le type de correction utilisée avant l’analyse de distribution de positifs.

Toujours dans le but de vérifier la distribution uniforme des données, l’arrière-plan de chaque ensemble de data corrigé a été évalué, puis approximé. En considérant que les composés de la chimiothèque sont répartis aléatoirement à l’intérieur des plateaux et qu’ils ont tous une chance égale d’être une piste positive, on s’attend à ce que la variation de l’arrière plan soit minimale.

Figure 2. Graphiques de surface 3D représentant l’approximation de l’arrière plan de chaque distribution (données brutes et les 5 traitements de correction). Le graphique présentant les données brutes a une échelle de valeurs allant de 0 à 0.3, les deux suivants (median polish et B Score) ont une échelle allant de -0.04 à 0.04 et les trois dernières (les deux corrections d’arrière-plan et la correction par puits) ont des échelles allant de -0.01 à 0.01. (figure générée par persp3D de la librairie plot3D du logiciel R)

Tableau 1. Résumé du nombre total de positifs obtenus selon le traitement des data utilisé pour la correction Le pourcentage de sélection a été déterminé en utilisant le nombre total de puits de 57 728.

Figure 3. Représentation en nuage de points pour tous les résultats bruts de l’essai d’inhibition Harvard_164. Une courbe de tendance a été ajoutée pour évaluer la tendance globale des données.

Discussion

L’objectif du présent rapport est de comparer les différentes techniques de normalisation proposées par HTS-Corrector. L’analyse des résultats bruts du HTS harvard_164 suggère qu’il y ait un biais systématique dans les lectures, alors que le graphique de surface de l’arrière plan démontre une tendance marquée pour les valeurs plus faible aux pourtour des plaques. Cette distribution inégale des lectures peut aussi être confirmée par le test de chi-carré sur la distribution des hits (option proposée par HTS-Corrector directement à partir de la console).Ce constat signifie qu’une erreur systématique est détectée par le programme et qu’il est donc judicieux de traiter les data par une méthode de correction.

Les deux premières techniques de correction évaluées sont le Median Polish et le B-Score. Ce sont des techniques assez classiques pour l’analyse des criblages à haut débit et les résultats obtenus suggèrent que les résultats qu’elles produisent sont hautement semblables. En effet, la distribution des positifs correspondant à chaque méthode de correction est virtuellement identique selon les résultats présentés à la figure 1. De plus, les arrière-plans approximés pour les data correspondant sont hautement semblables aussi. Toutefois, selon le tableau 1, on peut voir que le B Score permet de sélectionner plus de positifs que le median polish s’ils sont soumis à la même méthode de sélection des hits (346 contre 316).Ces deux résultats sont plus élevés que celui obtenu pour le data sans correction.

Cette conclusion quant à la haute similitude des résultats obtenus pour ces deux méthodes de correction est peu surprenante, puisque le B Score (technique plus récente) dépend des principes de correction de la median polish pour calculer la valeur du résidu associé à une position. Bien que ces méthodes aient été développées pour corriger l’erreur systématique, il semble que leur efficacité soit limités, alors qu’il semble encore y avoir des tendances marquées dans l’arrière-plan évalué pour chacune des méthodes.

Ensuite, les deux techniques de soustraction de l’arrière plan donnent des résultats intéressants aussi, mais pas nécessairement meilleurs. La figure 1 ne démontre pas d’amélioration de la distribution uniforme des positifs. En fait, il semble y avoir une plus grande variation entre les nombres de hits par ligne, alors que la SD a augmenté pour ces deux traitements par rapport au data non corrigé. Toutefois, selon les graphiques de la figure 2, ces corrections ont permis de retirer une grande partie de la variabilité au niveau de l’arrière-plan pour ces deux traitements. Pour ce qui est de la quantité de positifs sélectionnés, elle est plus élevée que celle obtenue pour le data brut, mais plus basse que celles obtenues pour les techniques basées sur le median polish.

La 5e technique de correction est la correction par puits décrite dans le matériel et méthodes. Selon les paramètres sélectionnés pour dans ce travail d’analyse, cette méthode semble la plus efficace pour corriger le biais systématique. En effet, selon la figure 1, c’est cette technique qui minimise la variation entre les colonnes et les lignes pour la distribution, alors que les SD sont à leur plus bas niveau. Toutefois, la différence semble petite et l’évaluation visuelle des histogrammes ne permet par d’observer une tendance claire vers la correction.

Ensuite, le graphique de l’estimation de l’arrière-plan démontre une bonne correction de l’erreur systématique, alors que les valeurs semblent réparties uniformément. Le graphique correspondant à la correction par puits est assez semblable à ceux des corrections de soustraction d’arrière-plan, alors que l’échelle des valeurs de z et leurs variations sont assez proches. Toutefois, la méthode de correction par puits semble fournir un résultat supérieur à ces deux autres méthodes, puisque pour les corrections par arrière-plan, les maximums et les minimums sont concentrés dans des régions distinctes (avec le centre plus élevé et les tours plus bas). Cette répartition des valeurs est normale, puisqu’elle est une version atténuée du biais systématique observé pour les data bruts. Pour la correction par puits, le biais systématique ne semble plus observable, alors que les maximums et les minimums ne sont pas répartis selon des patrons clairs.

Finalement, la sélection des positifs semble plus restrictive pour avec la correction par puits. En effet, il n’y a que 281 positifs sélectionnés, ce qui en fait la seule méthode de correction qui donne un résultat plus bas que celui pour les données brutes. Cela peut être un bon signe, surtout si l’on cherche à réduire le nombre de pistes pour le criblage secondaire. Toutefois, il est impossible de déterminer avec certitude si la qualité des résultats obtenus est supérieure ou nom. Il serait possible de réaliser des tests statistiques plus poussés pour déterminer si cette diminution de nombre de résultats est due à une élimination de faux positifs ou si elle synonyme de perte de vrais positifs.

En somme, les techniques de correction ont leurs avantages respectifs et le programme permet une gestion efficace de tous ces résultats. Toutefois, comme il est possible de le voir sur la distribution des positifs ligne/colonne pour le data brut (figure 1) ainsi que sur la figure 3, il ne semble pas y avoir de tendance forte confirmant une erreur systématique dans les data originaux. C’est peut-être pour cette raison que les analyses ne permettent pas bien d’explorer les forces respectives des différentes méthodes de correction.

Conclusion

En résumé, le logiciel HTS-Corrector propose une gamme complète d’outils d’analyse pour les criblages à haut débit ou d’autres types de données à haut débit. Il permet de gérer facilement un grand nombre de résultats différents grâce aux fenêtres superposables. De plus, ses analyses sont rapides et le logiciel permet de les visualiser facilement. Selon les data analysés et les paramètres choisis pour l’évaluation, il semble que ce soit la méthode de correction par puits (Well correction) qui donne lieu aux meilleurs résultats. Toutefois, sans techniques statistiques plus avancées (comme des simulations avec du bruit artificiel ajouté aux données ou des techniques de False Discorery rate) les conclusions de la présente étude sont limitées. Il serait aussi intéressant de comparer les hits sélectionnés avec la liste des composés présents dans la chimiothèque. Cela permettrais d’évaluer, au moins qualitativement, la vraisemblance des résultats générés. Par exemple il serait pertinent de comparer la liste des résultats trouvés selon les techniques de correction. De plus, il serait important de trouver un programme en mesure de faire des statistiques plus complexes tenant compte des réplicats, comme avec la méthode proposée par Malo et al. dans leur revue de littérature parue en 2006.

Bibliographie

Dove, A., 2003. Screening for content–the evolution of high throughput. Nature biotechnology, 21(8), pp.859–64. Available at: http://www.ncbi.nlm.nih.gov/pubmed/12894197 [Accessed February 17, 2015]. Helm, J.S. et al., 2003. Identification of active-site inhibitors of MurG using a generalizable, high-throughput glycosyltransferase screen. Journal of the American Chemical Society, 125, pp.11168–11169. Malo, N. et al., 2006. Statistical practice in high-throughput screening data analysis. Nature biotechnology, 24(2), pp.167–75. Available at: http://www.ncbi.nlm.nih.gov/pubmed/16465162 [Accessed July 10, 2014].