Quelle est la différence entre PCA et T-SNE?


Réponse 1:

Voici un diagramme de Venn non exhaustif pour vous.

PCA et T-SNE:

  • Les deux formulations de principe de réduction de dimensionnalité. Accent mis sur les principes, car même des formulations sans principes comme la projection aléatoire
  • ϵ\epsilon
  • limites sur l'erreur dans certaines conditions.

PCA mais pas T-SNE:

  • Peut être calculé de manière itérative, donc si vous avez déjà calculé k composants de principe mais que vous décidez ensuite que vous voulez une représentation dimensionnelle (k + 1) qui n'est qu'un peu plus de calcul. Les composants de principe sont une base orthogonale triée par quantité de variance le long la dimension particulière. Cela fait que la direction des principaux vecteurs de composants raconte une histoire à propos de vos données d'origine: quelles variables expliquent le plus ou le moins de variation? Une fois ajusté, vous donne une transformation linéaire pour la réduction de dimensionnalité d'autres points qui ne sont pas dans l'ensemble de données en cours d'ajustement. On ne peut pas en dire autant du T-SNE qui minimise directement la distance entre l'ensemble de données et sa réduction de dimensionnalité par descente de gradient. Cela donne une correspondance pour les points connus, mais pas une fonction pour les nouveaux points, vous devrez donc faire une interpolation post-hoc ou recommencer à zéro.

T-SNE mais pas PCA:

  • est non linéaire, il peut donc capturer la structure de variétés plus compliquées. implique des hyperparamètres contrairement à PCA, pas que l'on ait vraiment besoin de s'en inquiéter lors de l'utilisation d'un logiciel raisonnable.