Premiers pas — apprendre à marcher

Jusqu’ici, LifeLabs a montré des formes qui persistent (Lenia) et des comportements qui émergent d’une population (les agents évolutifs). Aujourd’hui, une seule créature, un seul corps, une seule vie — et une question plus intime : peut-on apprendre à marcher sans que personne n’ait jamais écrit comment ? C’est le palier 4, le dernier de la série inaugurale, et il porte le nom qui fait le plus rêver et le plus fantasmer : l’avatar.

Un corps, un cerveau vide, aucune démarche écrite

L’avatar est un corps bipède simulé dans un moteur physique (MuJoCo, environnement Walker2d) : un torse, deux jambes articulées en cuisse–jambe–pied. Rien de plus. Son « cerveau » est un réseau de neurones qui, au premier instant, ne contient que du bruit : il envoie à chaque articulation des ordres aléatoires. Nous n’avons codé aucune trajectoire de marche, aucun cycle de jambes, aucune notion d’équilibre. Nous avons seulement défini une récompense — avancer vaut des points, tomber en coûte, rester en vie en rapporte un peu — et laissé l’agent essayer, échouer, et recommencer, des centaines de milliers de fois.

C’est ça, l’apprentissage par renforcement (ici l’algorithme PPO). Contrairement aux agents évolutifs, il n’y a pas de population qu’on trie et qu’on fait muter de génération en génération : il y a un seul individu qui, au fil de sa propre expérience, ajuste les poids de son réseau pour récolter davantage de récompense. Et pour une fois le mot « apprendre » est employé au sens technique exact : le réseau modifie ses propres paramètres afin d’améliorer un score. Rien de plus, rien de moins. Aucune conscience, aucune intention là-dedans — un ensemble de nombres qui se règle pour qu’un corps tombe moins et avance plus.

Ce que montre ce run

Le point de départ ne triche pas. À 8 000 pas d’entraînement, la récompense moyenne est négative (−1,0), les épisodes durent à peine 18 pas avant la chute, et le déplacement net est négatif (−0,15) : l’avatar convulse, agite ses jambes et s’effondre presque immédiatement. Une politique purement aléatoire, pour comparaison, n’avance pas non plus (distance −0,13).

Puis, sur 500 000 pas, quelque chose se construit — et les sept vidéos de checkpoints en donnent le film, dans l’ordre :

• Checkpoint 1 (~74 k pas) : l’avatar a d’abord appris à ne plus tomber tout de suite. Les épisodes passent à ~165 pas, la récompense grimpe à ~144. Mais le déplacement net reste quasi nul (−0,16) : il tient debout, il se balance, il ne va encore nulle part. Apprendre à marcher commence par apprendre à ne pas s’écrouler.
• Checkpoints 2 à 4 (~147 k → ~295 k pas) : la marche s’amorce. Le déplacement devient positif (+0,77, puis +1,38, puis +1,57) — l’avatar se déplace franchement vers l’avant. Les mouvements sont encore heurtés, mais la direction est là.
• Checkpoints 5 à 7 (~369 k → ~516 k pas) : la locomotion se consolide. Distance +2,09, puis +2,53, enfin +2,79 ; les épisodes atteignent 240 pas. L’avatar marche vraiment vers l’avant, de manière soutenue.

En chiffres finaux : la récompense est passée de −1 à 587, la longueur d’épisode de 18 à 240 pas (treize fois plus longtemps sur ses jambes), et la distance de −0,15 à +2,79 — d’une chute immédiate à une marche vers l’avant tenue. C’est une vraie réussite, et elle mérite qu’on la dise sans en rajouter : l’avatar a appris à équilibrer puis à avancer, mais ce n’est pas encore une démarche parfaite ni infinie. Il marche une durée limitée, puis finit par perdre l’équilibre — 240 pas, pas les 1 000 possibles. Pour une foulée ample et régulière, il faudrait pousser l’entraînement à plusieurs millions de pas ; 500 000 suffisent à voir naître la marche, pas à la polir. C’est exactement le bouton prévu, et il est documenté.

Le plus honnête est de regarder. La démarche du modèle final se rejoue en 3D, directement dans le navigateur, sur la page de l’expérience — faites tourner la caméra autour de l’avatar pendant qu’il avance. Les sept vidéos de checkpoints y sont aussi, côte à côte : la progression spasmes → équilibre → marche s’y lit d’un coup d’œil. Toutes les courbes sont sur la fiche complète du run.

Ce que ce n’est pas — et en quoi c’est différent

Il faut nommer précisément ce qu’on regarde. Contrairement aux agents évolutifs, ici rien n’émerge d’une population : il n’y a pas de sélection, pas de mutation, pas de générations. Un individu unique apprend sur sa propre « vie » en ajustant son réseau à partir de la récompense qu’il reçoit. C’est la différence entre l’évolution (Darwin trie une population sur plusieurs générations) et l’apprentissage (un cerveau se règle sur une seule existence).

Et contrairement à Lenia, il ne s’agit pas d’une forme qui émerge d’une règle locale figée. Chez Lenia, la règle ne change jamais et fait apparaître une créature ; ici, c’est la règle elle-même — les poids du réseau — qui change sans cesse, parce que c’est elle qu’on apprend. Ce n’est donc pas, à proprement parler, de l’émergence : c’est un apprentissage. La complexité ne vient ni de la règle (Lenia) ni de la sélection (agents), mais de l’expérience répétée d’un seul corps.

Cela ne dit toujours rien de la conscience de l’avatar. Un réseau qui minimise un coût et récolte une récompense n’a aucune expérience subjective connue. Ce qui est troublant n’est pas qu’il « veuille » marcher — il ne veut rien — mais que la marche, ce geste qu’on croit si naturel, puisse surgir d’un tas de nombres qui ne fait qu’essayer et corriger.

La fin d’un début

Ce billet clôt le palier 4 et, avec lui, la première série d’expériences de LifeLabs : une forme qui se maintient (Lenia), un comportement qui évolue (les agents), une compétence qui s’apprend (l’avatar). Trois manières très différentes de faire apparaître quelque chose qui ressemble à du vivant sans jamais le programmer directement. Tout est reproductible à partir de la graine 42, et le curseur --timesteps reste là, prêt à transformer ces premiers pas hésitants en une vraie foulée pour qui voudra y consacrer les heures de calcul.