Codage optimal et encodage: nouveaux regards sur un ancien problème
Résumé
La transformation de variables qualitatives en variables quantitatives a une longue histoire remontant aux années 1935. Elle fut à l’origine de l’analyse des correspondances et entretient des rapports surprenants avec la loi normale.
Les années 70 et le début des années 80 furent celles de la recherche de codages optimaux dans des contextes supervisés ou non supervisés avec des algorithmes de moindres carrés alternés. Pendant près de 30 ans, le sujet ne suscita plus guère de recherches; les applications devinrent routinières pour les calculs de scores.
Avec la disponibilité de données massives, les praticiens de l’apprentissage se sont trouvés confrontés à des données catégorielles, mal adaptées aux réseaux de neurones et possédant des dizaines, voire des centaines de catégories (comme des codes postaux par exemple). On a vu fleurir pléthore de méthodes plus ou moins arbitraires ou redécouvertes dans l'ignorance des travaux des statisticiens.
La confrontation de ces deux mondes est l'occasion de revisiter la théorie du codage optimal et d’envisager un renouveau de ses méthodes.