Réseau neuronal - Revision history

Uadmin: RÃ©seau neuronal déplacé vers Réseau neuronal

2007-07-11T20:53:10Z

RÃ©seau neuronal déplacé vers Réseau neuronal

Uadmin: /* Fonctions de transfert */

2005-10-24T17:18:50Z

‎Fonctions de transfert

Uadmin: /* Fonctions de transfert */

2005-10-24T17:17:08Z

‎Fonctions de transfert

Uadmin: /* Fonctions de transfert */

2005-10-24T17:16:39Z

‎Fonctions de transfert

Uadmin: /* Fonctions de transfert */

2005-10-24T17:15:35Z

‎Fonctions de transfert

Uadmin: /* Architecture de réseau */

2005-10-24T17:13:58Z

‎Architecture de réseau

Uadmin: /* Architecture de réseau */

2005-10-24T17:13:41Z

‎Architecture de réseau

Uadmin: /* Architecture de réseau */

2005-10-24T17:13:02Z

‎Architecture de réseau

Uadmin: /* Fonctions de transfert */

2005-10-24T17:12:12Z

‎Fonctions de transfert

Uadmin: /* Modèle de Neurone */

2005-10-24T17:11:22Z

‎Modèle de Neurone

@@ Ligne 84: / Ligne 84: @@
   a = 1/(1+e^-n)
-elle ressemble soit à la fonction seuil, soit à la fonction linéaire, selon que nous somme loin ou près de b respectivement. La fonction seuil est très non linéaire car il y a une discontinuité lorsque . De son côté, la fonction linéaire est tout à fait linéaire. Elle ne comporte aucun changement de pente. La sigmoïde est un compris intéressant entre les deux précédentes. Notons finalement que la fonction "tangente hyperbolique" est une version symétrique de la sigmoïde.
+elle ressemble soit à la fonction seuil, soit à la fonction linéaire, selon que nous somme loin ou près de b respectivement. La fonction seuil est très non linéaire car il y a une discontinuité lorsque . De son côté, la fonction linéaire est tout à fait linéaire. Elle ne comporte aucun changement de pente. La sigmoïde est un compris intéressant entre les deux précédentes. Notons finalement que la fonction "tangente hyperbolique" est une version symétrique de la sigmoïde:
 ===Architecture de réseau===

← Version précédente		Version du 17:17, 24 octobre 2005
Ligne 117:		Ligne 117:

	Définition : "entraîner" un réseau de neurones signifie modifier la valeur de ses poids et de ses biais pour qu'il réalise la fonction d'entrée sortie (I/O). Nous étudierons en détails différents algorithmes et méthodes d'approche heuristiques pour y parvenir dans différents contextes.		Définition : "entraîner" un réseau de neurones signifie modifier la valeur de ses poids et de ses biais pour qu'il réalise la fonction d'entrée sortie (I/O). Nous étudierons en détails différents algorithmes et méthodes d'approche heuristiques pour y parvenir dans différents contextes.
−
−	~~===Fonctions de transfert===~~
−
−	~~[[image:F-transferts.gif]]~~
−
−
−	* <b>1. Fonction binaire</b>
−
−	~~[[image:F-transfert-binaire.gif]]~~
−
−	~~Le neurone crée par McCulloch et Pitts utilise une fonction binaire:~~
−
−	~~SI p>a ALORS S=1 SINON S = -1</b>~~
−
−	* <b>2. fonction linéaire par morceaux</b>
−
−	* <b>3. fonction sigmoïde</b>
−
−	~~Par exemple:~~
−
−	~~f(x)=tanh(a*x+b)~~
−
−	~~a est la 'pente' de la fonction d'activation et b le 'biais'~~
−
−	* <b>4. Fonction Gaussienne</b>
−
−	~~[[image:F-transfert.gif]]~~

@@ Ligne 76: / Ligne 76: @@
 [[image:RN15.gif]]
-Comme son nom l'indique, la fonction seuil applique un seuil sur son entrée. Plus précisément, une entrée négative de passe pas le seuil, la fonction retourne la valeur 0 (faux), alors qu'une entrée positive ou nulle dépasse le seuil, et la fonction retourne 1 (vrai). Il est évidant que ce genre de fonction permet de prendre des décisions binaires (cette fonction peut aussi être assimilée à la "fonction de Heaviside" pour ceux qui connaissent).
+* la fonction seuil applique un seuil sur son entrée. Plus précisément, une entrée négative de passe pas le seuil, la fonction retourne la valeur 0 (faux), alors qu'une entrée positive ou nulle dépasse le seuil, et la fonction retourne 1 (vrai). Il est évidant que ce genre de fonction permet de prendre des décisions binaires (cette fonction peut aussi être assimilée à la "fonction de Heaviside" pour ceux qui connaissent).
-La fonction linéaire est quant à elle très simple, elle affecte directement son entrée à sa sortie selon la relation . Il est évidant que la sortie du neurone correspond alors à son niveau d'activation dont le passage à zéro (l'ordonnée à l'origine) se produit lorsque .
+* La fonction linéaire est quant à elle très simple, elle affecte directement son entrée à sa sortie selon la relation . Il est évidant que la sortie du neurone correspond alors à son niveau d'activation dont le passage à zéro (l'ordonnée à l'origine) se produit lorsque .
 elle ressemble soit à la fonction seuil, soit à la fonction linéaire, selon que nous somme loin ou près de b respectivement. La fonction seuil est très non linéaire car il y a une discontinuité lorsque . De son côté, la fonction linéaire est tout à fait linéaire. Elle ne comporte aucun changement de pente. La sigmoïde est un compris intéressant entre les deux précédentes. Notons finalement que la fonction "tangente hyperbolique" est une version symétrique de la sigmoïde.

← Version précédente		Version du 17:15, 24 octobre 2005
Ligne 70:		Ligne 70:

	[[image:RN14.gif]]		[[image:RN14.gif]]
		+	<i>il manque la fonction gaussienne</i>

	Les trois les plus utilisées dans le domaine de l'ingénierie sont les fonctions "seuil" (a) (en anglais "hard limit"), "linéaire" (b) et "sigmoïde" (c) comme représentées ci-dessous :		Les trois les plus utilisées dans le domaine de l'ingénierie sont les fonctions "seuil" (a) (en anglais "hard limit"), "linéaire" (b) et "sigmoïde" (c) comme représentées ci-dessous :

@@ Ligne 102: / Ligne 102: @@
 [[image:RN25.gif]]
 Finalement, pour construire un réseau de neurones (ou PMC pour "Perceptron Multi-Couches") , il ne suffit plus que de combiner des couches comme ci-dessous :
+[[image:RN26.gif]]
 Cet exemple comporte R entrées et trois couches de neurones comptant respectivement  neurones. Dans le cas général, de nouveau ces nombres ne sont pas nécessairement égaux. Chaque couche possède aussi sa propre matrice de poids , où k désigne l'indice de couche. Dans le contexte des vecteurs et des matrices relatives à une couche, nous emploierons toujours un exposant pour désigner cet indice. Ainsi, les vecteurs  sont aussi associés à la couche k.

← Version précédente	Version du 20:53, 11 juillet 2007
(No difference)

@@ Ligne 90: / Ligne 90: @@
 [[image:RN20.gif]]
 Les S neurones d'une même couche sont tous branchés aux R entrées. Nous disons alors que la couche est "totalement connectée". Un poids  est associé à chacune des connexions. Nous noterons toujours le premier indice par i et le deuxième par j (jamais l'inverse). Le premier indice (rangée) désigne toujours le numéro de neurone sur la couche, alors que le deuxième indice (colonne) spécifie le numéro de l'entrée. Ainsi,  désigne le poids de la connexion qui relie le neurone i à sont entrée j. L'ensemble des poids d'une couche forme donc une matrice W de dimension  :
@@ Ligne 105: / Ligne 101: @@
 Ceci nous amène à la représentation simplifiée illustrée ci-dessous :
+[[image:RN25.gif]]
 Finalement, pour construire un réseau de neurones (ou PMC pour "Perceptron Multi-Couches") , il ne suffit plus que de combiner des couches comme ci-dessous :

@@ Ligne 89: / Ligne 89: @@
 Par définition, un réseau de neurones est un maillage de plusieurs neurones, généralement organisés en couches. Pour construire une couche de S neurones, il s'agit simplement des les assembler comme à la figure ci-dessous :
+[[image:RN20.gif]]
 Les S neurones d'une même couche sont tous branchés aux R entrées. Nous disons alors que la couche est "totalement connectée". Un poids  est associé à chacune des connexions. Nous noterons toujours le premier indice par i et le deuxième par j (jamais l'inverse). Le premier indice (rangée) désigne toujours le numéro de neurone sur la couche, alors que le deuxième indice (colonne) spécifie le numéro de l'entrée. Ainsi,  désigne le poids de la connexion qui relie le neurone i à sont entrée j. L'ensemble des poids d'une couche forme donc une matrice W de dimension  :
@@ Ligne 116: / Ligne 120: @@
 Définition : "entraîner" un réseau de neurones signifie modifier la valeur de ses poids et de ses biais pour qu'il réalise la fonction d'entrée sortie (I/O). Nous étudierons en détails différents algorithmes et méthodes d'approche heuristiques pour y parvenir dans différents contextes.
 ===Fonctions de transfert===

@@ Ligne 69: / Ligne 69: @@
 Jusqu'à présent, nous n'avons pas spécifié la nature de la fonction d'activation de notre modèle. Il se trouve que plusieurs possibilités existent et celles-ci sont quasiment empiriques et à adapter en fonction des situations. Les plus courantes et les plus citées dans la littérature sont énumérées dans la figure ci-dessous :
+[[image:RN14.gif]]
 Les trois les plus utilisées dans le domaine de l'ingénierie sont les fonctions "seuil" (a) (en anglais "hard limit"), "linéaire" (b) et "sigmoïde" (c) comme représentées ci-dessous :
+[[image:RN15.gif]]
 Comme son nom l'indique, la fonction seuil applique un seuil sur son entrée. Plus précisément, une entrée négative de passe pas le seuil, la fonction retourne la valeur 0 (faux), alors qu'une entrée positive ou nulle dépasse le seuil, et la fonction retourne 1 (vrai). Il est évidant que ce genre de fonction permet de prendre des décisions binaires (cette fonction peut aussi être assimilée à la "fonction de Heaviside" pour ceux qui connaissent).

@@ Ligne 57: / Ligne 57: @@
 Il est temps maintenant de remplacer (parce que la notation est un peu lourde à la longue)  par une matrice d'une seule ligne que nous noterons . Nous obtenons alors une forme générale que nous adopterons tout le long de notre étude :
-[[image:RN9.gif]]
+[[image:RN11.gif]]
 Cette équation nous amène à introduire un nouveau schéma plus formel de notre RNF (ou perceptron) :
 [[image:RN12.gif]]