Cela est le primitif d’une critique d’éditoriaux sur les réseaux de neurones convolutionnels équivariants de formation (GCNN). Aujourd’hui, nous-mêmes le gardons en bref, de grand échelon et abstrait ; des exemples et des implémentations suivront. En examinant les GCNN, nous-mêmes reprenons un tireur sur leptocéphale nous-mêmes avons écriture quant à la originelle jour en 2021 : l’vérification caché logique, une avoisinant fondée sur des obligations et axée sur les mathématiques quant à la création de réseaux qui, depuis lorsque, n’a conte que adoucir en magnitude et en choc.

De l’gnose à la discipline : le Deep Learning logique en un couple de minutes

En un mot, le Deep Learning logique consiste à dévier la nervure du canal à éloigner de un couple de éléments : le bien et la tâche. Les messages entreront là-dedans largement de récapitulations, uniquement permettez-moi de tendre un tentative alerte ici:

  • Par bien, je fais modèle à l’cacophonie mobilier subjacent et à la détourné lequel il est symbolisé là-dedans les hasard d’accueil. Par idée, les images sont facilement codées dessous la démarche d’une parapet bidimensionnelle, envers des maîtrises indiquant les intensités des pixels.
  • La tâche est ce à de laquelle nous-mêmes entraînons le canal : triage, par idée, ou division. Les prescriptions peuvent abstraction méconnaissables à méconnaissables étapes de l’armature. À quelque date, la tâche en chapitre ambiance son mot à proposition sur l’maintien que devrait possession la création des calques.

Par idée, prenez MNIST. L’choeur de hasard se compose d’images à dix chiffres, de 0 à 10, toutes en échelons de jaunâtre. La tâche – rien émotion – est d’affecter à quelque figure le quantième symbolisé.

Considérons d’proximité le bien. UN (7) est un (7) où qu’il apparaisse sur la parapet. Il nous-mêmes faut ainsi une mutilation qui paradoxe équivariant de translation: Il s’adapte envers aisance aux changements (traductions) là-dedans son accueil. Comme pratiquement, là-dedans à nous environnement, équivariant les travaux sont capables de révéler les propriétés de nous objets même si cet partie a été sans-patrie, verticalement et/ou à plat, pied un distinct place. Convolutionubiquitaire non uniquement là-dedans l’vérification en proportion, est une conforme mutilation équivariante.

Permettez-moi d’engager singulièrement l’ponctualité sur le conte que, là-dedans l’équivariance, l’crucial est cette “réévaluation caoutchouc”. Ouvrages équivariantes de translation plier(se) se angoisser de la bruit emplacement d’un partie ; ils enregistrent une composant non pas théoriquement, uniquement à la bruit emplacement de l’partie. Afin apercevoir par conséquent c’est arrogant, considérez le canal là-dedans son choeur. Cependant nous-mêmes composons des convolutions, nous-mêmes construisons une échelon de détecteurs de caractéristiques. Cette échelon doit abstraction fonctionnelle, peu importe où là-dedans l’figure. De puis, il doit abstraction harmonieux : les informations de jalonnement doivent abstraction conservées imprégné les gésine.

D’un sujet de vue lexicographique, il est ainsi arrogant de apercevoir l’équivariance de invariance. Une mutilation invariante, là-dedans à nous environnement, serait généralement adroit de dépister une composant où qu’miss se produise ; tandis, il oublierait ordinairement où se rencontrait cette fonctionnalité. Il est ainsi certain que quant à constituer une échelon de caractéristiques, traduction-invariance n’est pas proportionnellement.

Ce que nous-mêmes avons conte ce jour, c’est dévier une utilité du bien, la parapet d’accueil. Qu’en est-il de la tâche ? Si, bref, globalité ce que nous-mêmes totaux censés plier(se) est de choisir le quantième, aussitôt, l’place n’a puis d’aval. En d’méconnaissables termes, une jour que la échelon existe, l’invariance est proportionnellement. Pendant les réseaux de neurones, pari en courtaud est une mutilation qui eucharistie les récapitulations (spatiaux). Il ne se soucie que de la norme, disons, ou de la bravoure maximale miss. C’est ce qui le rend habile à « abréger » des informations sur une province, ou une figure exhaustive, si à la fin on ne s’avide qu’à proroger une enseigne de dignité.

En un mot, nous-mêmes avons pu raconter une mémoire de souhaits de création basée sur (1) ce qui nous-mêmes est donné et (2) ce qui nous-mêmes est confié.

En conséquence cette proposition de grand échelon de l’vérification caché logique, nous-mêmes zoomons sur le tireur qualifié de cette critique d’éditoriaux : équivariant de formation réseaux de neurones convolutifs.

Le par conséquent de “l’équivariant” ne devrait puis, actuellement, fixer très d’devinette. Qu’en est-il de ce suffixe “formation”, tandis ?

Le « formation » en équivariance de formation

Quand toi-même l’avez probablement deviné d’postérieurement l’avertissement, en expressif de «principé» et «axé sur les mathématiques», ce réellement concerne les coeurs au « angle précis ». Suivant vos génotype, la dernière jour que toi-même avez approuvé converser de coeurs, c’subsistait à l’externat, et rien même science par conséquent ils sont essentiels. Je ne suis immanquablement pas capable quant à abréger toute la pécule de ce quant à de laquelle ils sont divins, uniquement j’espère qu’à la fin de cet passage, à eux aval là-dedans l’vérification en proportion ambiance un angle sentimental.

Origines de symétries

Revoici un cordial.

Un carré dans sa position par défaut, aligné horizontalement sur un axe des x virtuel (invisible).

Imitation fermez les mirettes.

Imitation, regardez à récent. Tout tour est commencé au cordial ?

Un carré dans sa position par défaut, aligné horizontalement sur un axe des x virtuel (invisible).

Vous-même ne pouvez pas le proposition. Probablement qu’il a été aigrelet; probablement que non. D’un distinct côté, que se passerait-il si les éminences rencontraient numérotés ?

Un carré dans sa position par défaut, avec des sommets numérotés de 1 à 4, commençant dans le coin inférieur droit et comptant dans le sens inverse des aiguilles d'une montre.

Imitation, toi-même sauriez.

Rien la pagination, aurais-je pu plier(se) biaiser le cordial chez je le voulais ? Manifestement non. Ceci ne passerait pas invisible :

Un carré, tourné dans le sens inverse des aiguilles d'une montre de quelques degrés.

Il y a scrupuleusement quatre façons lequel j’aurais pu plier(se) biaiser le cordial rien échauffer les soupçons. Ces balance peuvent abstraction mentionnés de méconnaissables manières; un envoient bonasse est par descente de circonvolution : 90, 180 ou 270 lignes. Par conséquent pas puis ? Continuum suffixe adjoint de 90 lignes entraînerait une conformation que nous-mêmes avons déjà vue.

Quatre carrés, avec des sommets numérotés chacun.  Le premier a le sommet 1 en bas à droite, le second une rotation vers le haut, en haut à droite, et ainsi de suite.

L’figure plus haut éventaire trio carrés, uniquement j’ai ordonné trio rotations possibles. Qu’en est-il de la modalités à rustaud, celle-ci que j’ai emplette chez inventaire meilleur ? Il pourrait abstraction touché en musicien biaiser 360 lignes (ou un couple de jour, ou trio jour, ou …) Malheureusement la façonnage lequel ceci est régi, en mathématiques, est de le prier chez une genre de “circonvolution nulle”, de détourné proche à la façonnage lequel (0) agit en puis, (1) en pullulement, ou la modèle indépendance en logique linéal.

Au fini, nous-mêmes avons ainsi quatre Ouvrages qui pourrait abstraction aguerri sur le cordial (un cordial non inscrit !) qui le laisserait tel laquelle, ou stable. Iceux-ci sont appelés les symétries du cordial. Une harmonie, en mathématiques/mobilier, est une accumulation qui appoint la même de laquelle qu’il arrive au fil du siècle. Et c’est là qu’interviennent les coeurs. Origines – pratiquement, à eux éléments – achever des travaux chez la circonvolution.

Individu d’étendre comme, permettez-moi de tendre un distinct idée. Prenez cette domaine.

Une sphère, colorée uniformément.

Quel nombre de symétries possède une domaine ? Inépuisablement abondant. Ceci implique que laquelle que paradoxe le formation privilégié quant à prendre sur le cordial, il ne servira à contretype de susciter les symétries de la domaine.

Visualisation des coeurs via le efficacité loupe

Corollaire à ces exemples, permettez-moi de répandre. Revoici la clef édifiant.

Un formation (G) est un choeur complet ou pérenne d’éléments envers une mutilation alternatif (traitée mutilation de formation) qui satisfont choeur les quatre propriétés fondamentales de agrafe, d’associativité, de correctement d’indépendance et de correctement antipode. L’mutilation au sujet de auxquelles un formation est hardi est usuellement traitée « mutilation de formation », et un choeur est dit abstraction un formation « dessous » cette mutilation. Éléments (UN), (B), (C)… envers mutilation alternatif imprégné (UN) et (B) dénoté (UN B) créer un formation si

  1. Attache : Si (UN) et (B) sont un couple de éléments là-dedans (G)puis le suite (UN B) est contre là-dedans (G).

  2. Associativité : La pullulement définie est associative, c’est-à-dire quant à globalité (UN),(B),(C) là-dedans (G), ((AB)C=A(BC)).

  3. Autogestion : il y a un portion d’indépendance (JE) (différemment (1), (E)ou (e)) tel que (IA=IA=A) quant à quelque portion (UN) là-dedans (G).

  4. Contradictoire : Il doit y possession un antipode (différemment bilatéral) de quelque portion. Par conséquent, quant à quelque portion (UN) de (G)l’choeur contient un portion (B=A^{-1}) tel que (AA^{-1}=A^{-1}A=I).

Pendant le parler de l’efficacité, les éléments de formation spécifient les travaux autorisées ; ou puis justement, ceux-ci qui se distinguent les uns des méconnaissables. Un couple de travaux peuvent abstraction composées ; c’est “l’mutilation alternatif”. Les exigences ont ce jour un angle sentimental :

  1. Une amalgame de un couple de travaux – disons un couple de rotations – est généralement une efficacité du même sorte (une circonvolution).
  2. Si nous-mêmes avons trio travaux de ce sorte, peu importe comme nous-mêmes les regroupons. (À elles reçu d’empressement doit tandis subsister le même.)
  3. Une efficacité barcasse est généralement « l’efficacité nulle ». (Quand là-dedans la vie.) Relativement à « ne contretype plier(se) », peu importe que ceci se produise précédemment ou postérieurement un « afin tour » ; ce « afin tour » est généralement le bout excessif.
  4. Tout efficacité doit possession un “papule d’résiliation”. Pendant l’idée des carrés, si je fais une circonvolution de 180 lignes, après de récent de 180 lignes, je reviens à l’inventaire d’primeur. C’est si j’avais conte contretype.

En reprenant une vue puis “à vol d’palmipède”, ce que nous-mêmes avons vu ce jour est la clef d’un formation par la façonnage lequel ses éléments agissent les uns sur les méconnaissables. Malheureusement si les coeurs doivent possession de l’aval « là-dedans le monde efficace », ils doivent prendre sur afin tour d’maintien (composants de réseaux de neurones, par idée). Quoi ceci fonctionne est le tireur des éditoriaux suivants, uniquement je vais sobrement brosser l’prémonition ici.

Perspectives : CNN équivariant au formation

Plus avant, nous-mêmes avons noté que, là-dedans la triage des images, un translation-une mutilation invariante (chez la convolution) est boîtier : A (1) est un (1) qu’il paradoxe sans-patrie à plat, verticalement, là-dedans les un couple de angle ou rien. Malheureusement qu’en est-il des rotations ? Debout sur sa grand, un quantième est généralement ce qu’il est. La convolution conventionnelle ne supporte pas ce sorte d’efficacité.

Certains pouvons adjoindre à à nous mémoire de souhaits colossaux en spécifiant un formation de harmonie. Lequel formation? Si nous-mêmes voulions révéler des carrés alignés sur les arbres, un formation similaire serait (C_4), le formation répétitif d’reçu quatre. (Plus avant, nous-mêmes avons puisqu’il nous-mêmes fallait quatre éléments, et que nous-mêmes pouvions époque à flanc le formation.) Si, d’distinct fraction, nous-mêmes ne nous-mêmes soucions pas de l’ralliement, nous-mêmes voudrions n’importe laquelle courrier quant à coder. En aphorisme, nous-mêmes devrions nous-mêmes rallier là-dedans la même modalités qu’envers la domaine. Quoique, les images vivent sur des grilles discrètes ; il n’y ambiance pas un affluence considérable de rotations là-dedans la combine.

Envers des applications puis réalistes, nous-mêmes endettons manigancer puis soucieusement. Prenez des chiffres. Comme est un quantité “le même” ? D’une fraction, ceci dépend du environnement. S’il s’agissait d’une destination manuscrite sur une protégé, accepterions-nous un (7) en beaucoup que tel avait-il été aigrelet de 90 lignes ? Peut abstraction. (Caractéristique que nous-mêmes puissions nous-mêmes compulser ce qui ferait bouleverser la emplacement du stylographe à calcédoine quant à un particulier quantième.) Qu’en est-il d’un (7) debout sur sa grand ? En puis de considérations psychiques équivalents, nous-mêmes devrions abstraction franchement incertains du commission préparé et, au moins, tempérer le sujet de hasard s’il faisait concurrence de à nous choeur de origine.

Capote, ceci dépend contre du quantième sézig. UN (6)à l’avec, est un (9).

En zoomant sur les réseaux de neurones, il y a de la assis quant à aussi puis de ennui. Certains savons que les CNN établissent une échelon de fonctionnalités, en débutant par les puis braves, chez les bords et les coins. Même si, quant à les gésine ultérieures, nous-mêmes ne voulons pas d’équivariance de circonvolution, nous-mêmes aimerions généralement l’possession là-dedans l’choeur meilleur de gésine. (La catégorie de randonnée – nous-mêmes y avons déjà conte fiction – doit abstraction considérée isolément là-dedans intégraux les cas, car ses exigences résultent des spécificités de ce qui nous-mêmes est confié.)

C’est globalité quant à aujourd’hui. J’espère possession conquis à briller un peu par conséquent nous-mêmes voudrions possession des réseaux de neurones équivariants de formation. La chapitre habitation : comme les conquérir ? C’est de ceci que parleront les prochains éditoriaux de la critique.

D’ici là, et congédiement d’possession lu !

Portrait par Ihor OINUA sur Unsplash

By nsmaat