L'étude en une page
L'idée en langage courant
Quand un assistant IA recommande un produit, il ne lit pas seulement la fiche qu'on lui montre. Il arrive avec tout ce qu'il a appris sur les marques pendant son entraînement. Nous cherchons à savoir si, à l'intérieur du modèle, il existe quelque chose qui ressemble à une « idée du niveau de prix » de chaque marque, puis si cette idée pèse réellement sur ses recommandations.
La démarche se fait en deux temps, et le second est celui qui compte pour le papier.
Où en est on
Ce que disent les résultats à ce stade
Tous les chiffres de ce site sont lus directement dans les fichiers de résultats. Les onglets détaillent chaque étape, ce qui a été fait, et comment lire chaque chiffre.
Positionnement du papier
Le papier est large dans sa question et précis dans sa démonstration : une dimension principale, l'image prix ; une intervention interne ; une conséquence sur la recommandation. Le prestige est gardé comme construit rival, parce qu'il rend le test plus exigeant et plus informatif.
D'où vient l'idée
Gurnee et Tegmark (« Language Models Represent Space and Time », ICLR 2024) présentent des noms de lieux et d'évènements à Llama 2, enregistrent les activations internes, puis entraînent une régression linéaire qui prédit la latitude, la longitude ou l'année. La prédiction fonctionne, elle résiste à plusieurs contrôles, et certains neurones isolés sont fortement corrélés à ces coordonnées. Conclusion des auteurs : le modèle ne mémorise pas seulement des cooccurrences de mots, il construit une représentation structurée de l'espace et du temps.
Le prix est le candidat marketing le plus proche d'une coordonnée : c'est une grandeur continue, ordonnée, pour laquelle une vérité terrain externe existe.
Pourquoi cela intéresse le marketing
Les agents d'achat IA deviennent des intermédiaires entre les marques et les acheteurs. Si un agent porte en lui une image prix de chaque marque, cette image devient un actif (ou un passif) de marque d'un genre nouveau : elle n'est ni dans la tête des consommateurs, ni sur la fiche produit, mais dans les poids d'un modèle. La question pratique qui suit est directe : une marque perçue comme chère par l'agent est elle écartée pour les acheteurs à budget serré, même quand son prix affiché est identique à celui du concurrent ?
Ce qu'une intervention interne apporte de plus
On remplace « marque A » par « marque B » dans le prompt et on compare les réponses. Problème : le changement de nom modifie tout à la fois, la familiarité, le prestige, l'origine, la sonorité, et toutes les associations du nom. Impossible d'attribuer l'écart à l'image prix.
Le nom, le produit, la description et le prix affiché restent strictement identiques. Seule l'activation de la marque est déplacée le long d'une direction candidate. Ce qui change dans la réponse est attribuable à ce déplacement.
La difficulté scientifique se déplace alors : il faut vérifier ce que l'intervention déplace réellement. Si elle fait aussi monter le prestige perçu, l'objet identifié est une représentation plus générale du positionnement premium. C'est un résultat marketing à part entière, à condition de le nommer correctement.
Hypothèses
| Condition | Prédiction | Ce que cela signifierait | |
|---|---|---|---|
| H1 | Prix masqués, acheteur à budget serré | Pousser la marque vers « cher » réduit sa probabilité d'être recommandée | L'agent utilise l'image prix apprise pour inférer une information absente |
| H2 | Prix masqués, acheteur qui veut la meilleure qualité | Effet nul ou inverse | L'effet dépend de l'objectif : c'est bien une information de prix, pas une simple dégradation de la marque |
| H3a | Prix visibles et identiques | L'effet disparaît | Le prix observé prend le dessus sur l'association apprise |
| H3b | Prix visibles et identiques | L'effet persiste | L'association apprise continue d'orienter la recommandation. Il faut alors départager image prix, qualité et prestige perçus |
| H4 | Vérification de manipulation | L'intervention déplace le prix perçu plus que le prestige, la qualité ou un attribut placebo | La direction capte l'image prix. Sinon elle capte un positionnement premium plus général |
Le mot « neurones »
Une sonde peut repérer une direction répartie sur de nombreux neurones. Si quelques neurones individuels reproduisent une part substantielle de l'effet sur la recommandation, il y a un argument pour les mettre en avant. Si une direction distribuée porte l'effet, la découverte centrale tient toujours : on peut intervenir sur une représentation de marque à l'intérieur d'un agent et mesurer sa contribution à une décision de marché. D'où le titre interrogatif, qui laisse la question empirique ouverte.
Contribution visée
- Théorique. Étendre la notion d'associations de marque à un nouveau porteur, l'agent IA, et montrer que ces associations ont un rôle causal dans une décision de marché.
- Méthodologique. Introduire en marketing l'intervention sur les représentations internes comme moyen d'isoler une association de marque en gardant le stimulus constant.
- Managériale. Donner aux marques un moyen de mesurer comment un agent les positionne, et ce que ce positionnement leur coûte ou leur rapporte selon le type d'acheteur.
Données
Source : métadonnées publiques Amazon Products 2023 (117 243 fiches produits, dérivées du corpus Amazon Reviews 2023 du McAuley Lab). Chaque fiche donne un titre, un vendeur ou une marque, une catégorie, un prix et un nombre d'avis.
Préparation
- On garde les fiches dont le prix est compris entre 1 et 10 000 dollars.
- On écarte les catégories où le « vendeur » est un artiste ou un auteur (musique, livres, films), car ce ne sont pas des marques commerciales.
- On nettoie le nom de marque (suppression des mentions de format, des suffixes « Store »).
- On travaille en logarithme du prix (base 10). Raison : les prix s'étalent sur plusieurs ordres de grandeur, et passer de 10 à 20 dollars est un écart comparable à passer de 100 à 200. Une unité de log10 correspond à un facteur 10 sur le prix.
Deux jeux de données
- Marques. Une ligne par marque ayant au moins 5 produits avec prix. La cible est la médiane du log prix de ses produits. La médiane évite qu'un produit atypique déforme le niveau de la marque.
- Produits. Un échantillon aléatoire de titres (graine 42). La cible est le log prix du produit.
Prix absolu et prix relatif
Une marque d'ordinateurs est plus chère qu'une marque de chaussettes, mais cela ne dit rien de son positionnement. Nous calculons donc aussi le prix centré par catégorie : le log prix de la marque moins la moyenne de sa catégorie. Une valeur positive signifie « plus chère que ses concurrentes directes ». C'est cette grandeur qui correspond à l'image prix au sens marketing, et c'est elle qui sert à construire la direction utilisée dans l'intervention.
Répartition par catégorie (marques)
Exemples de marques aux extrêmes
Méthode, pas à pas
Modèle étudié : . Tout tourne en local sur un Mac, avec une graine aléatoire fixe pour la reproductibilité.
Rappel : que se passe t il dans un modèle de langage
Le texte est découpé en tokens. Chaque token est transformé en un vecteur de 1 536 nombres. Ce vecteur traverse 28 couches successives. Chaque couche lui ajoute de l'information, soit en regardant les autres tokens (attention), soit en le transformant par un petit réseau interne appelé MLP, composé de 8 960 neurones. Le vecteur qui circule de couche en couche s'appelle le flux résiduel. C'est la « mémoire de travail » du modèle à un instant donné, et c'est elle que nous lisons puis modifions.
Étape 1 : lire les activations
On présente au modèle un texte minimal :
Brand: Ray-Ban
On enregistre le flux résiduel au dernier token du nom, à la sortie de chacune des couches, ainsi que l'activation de chaque neurone MLP. À ce stade le modèle n'a rien à répondre : on capture seulement ce que le nom évoque pour lui.
Étape 2 : la sonde linéaire
Une sonde est une régression linéaire : elle cherche des poids tels que la somme pondérée des 1 536 nombres prédise le log prix. Nous utilisons une régression ridge (une régression linéaire avec pénalité, nécessaire quand il y a presque autant de variables que d'observations).
- Validation croisée à 5 plis. Les marques sont réparties en 5 groupes. La sonde est entraînée sur 4 groupes et évaluée sur le cinquième, qu'elle n'a jamais vu. Tous les scores affichés sont mesurés hors échantillon.
- Pénalité choisie sans tricher. La force de la pénalité est choisie à l'intérieur du pli d'entraînement, jamais sur les données de test.
- Une sonde par couche. Cela montre à quelle profondeur l'information de prix apparaît.
Étape 3 : les contrôles
Un bon score ne prouve rien tant qu'on n'a pas écarté les explications triviales. Chaque contrôle répond à une objection précise.
| Contrôle | Objection à laquelle il répond | Résultat attendu si le signal est réel |
|---|---|---|
| Étiquettes permutées | « Avec 1 536 variables on peut prédire n'importe quoi » | Score proche de zéro |
| Même architecture, poids aléatoires | « C'est la structure du réseau ou la forme du nom qui fait le travail, pas ce que le modèle a appris » | Score très inférieur à celui du modèle entraîné |
| TF IDF sur caractères ou mots, sans LLM | « L'orthographe du nom suffit à deviner le prix » | Score inférieur à celui de la sonde |
| Catégorie seule | « La sonde reconnaît juste la catégorie de produit » | Score inférieur à celui de la sonde |
| Popularité et longueur du nom | « La sonde reconnaît juste les marques connues » | Score faible |
| Prix centré par catégorie | « Le signal n'existe qu'entre catégories » | La sonde prédit encore le prix relatif |
| Catégories jamais vues | « La sonde a appris une règle propre à chaque catégorie » | La sonde fonctionne sur des catégories absentes de l'entraînement |
| Composantes principales | « Le signal est dilué dans tout l'espace » | Quelques dimensions suffisent |
Étape 4 : les neurones individuels
Pour chacun des 250 880 neurones MLP (28 couches fois 8 960), on calcule la corrélation entre son activation et le prix. Sélectionner les meilleurs parmi autant de candidats produit forcément de belles corrélations par hasard. Nous coupons donc les données en deux moitiés : les neurones sont choisis sur la première, et leur corrélation est mesurée à nouveau sur la seconde. Seule cette seconde mesure est crédible.
Étape 5 : l'intervention causale
Construire la direction « cher ». On prend les marques du tiers le plus cher et celles du tiers le moins cher, en prix relatif à leur catégorie. La direction est la différence entre l'activation moyenne des premières et celle des secondes. Elle est estimée uniquement sur des marques absentes de l'expérience. Une seconde direction candidate est celle de la sonde ridge.
Le stimulus. Exemple de prompt, ici avec objectif budget et prix masqués :
I am on a tight budget and I want to spend as little as possible. Option A: Marque1 wireless headphones Option B: Marque2 wireless headphones Which option do you recommend? Answer with the letter only.
Dans la condition « prix visibles », chaque ligne se termine par le même prix (le prix médian de la catégorie, calculé depuis les données). L'objectif « qualité » remplace la première phrase par : I want the highest quality available and money is no object.
L'intervention. Pendant que le modèle lit le nom de la marque cible, et seulement sur ces tokens, on ajoute au flux résiduel le vecteur α·σ·d :
- d est la direction « cher », de longueur 1 ;
- σ est l'écart type des marques le long de cette direction. Un déplacement de 1 σ est donc un déplacement « typique » entre deux marques ;
- α est la dose. Positive : on pousse vers « cher ». Négative : vers « pas cher ».
La mesure. Le modèle doit répondre A ou B. On lit l'écart entre le score (logit) de la lettre de la marque cible et celui de l'autre lettre. On compare ensuite ce même écart avec et sans intervention, sur le même prompt. La différence est l'effet de l'intervention.
Neutraliser les biais de position. Les modèles préfèrent souvent la première option. Chaque paire est donc présentée dans les deux ordres, et chaque marque est tour à tour la cible. Sans intervention, la préférence moyenne pour la cible vaut exactement zéro par construction.
Contrôles de l'intervention. Des directions tirées au hasard, de même longueur que le vecteur principal. Si elles produisent le même effet, c'est que n'importe quelle perturbation du nom suffit, et la direction « cher » n'a rien de spécial.
Vérification de manipulation. Sous la même intervention, on demande au modèle de noter la marque de 1 à 9 sur le prix, le prestige, la qualité, et un attribut placebo (durabilité environnementale). On lit la note attendue à partir des probabilités des chiffres 1 à 9.
Statistiques
- L'unité d'analyse est la paire de marques (ou la marque pour les notes), pas le prompt, pour ne pas gonfler artificiellement la précision.
- Intervalles de confiance à 95 % par bootstrap (10 000 rééchantillonnages, graine fixe).
- Taille d'effet : dz de Cohen (moyenne des différences divisée par leur écart type).
Étape 1 : l'image prix est elle lisible dans le modèle ?
Niveau marque
Niveau produit
Y a t il des « neurones marketing » ?
La sonde lit une combinaison de 1 536 dimensions. La question ici est plus étroite : existe t il des neurones isolés dont l'activation, à elle seule, suit le niveau de prix d'une marque ?
Étape 2 : l'image prix pèse t elle sur la recommandation ?
Rappel du protocole : deux marques réelles d'une même catégorie, même produit, même formulation. On déplace l'activation de la marque cible le long de la direction « cher » et on mesure le changement de recommandation par rapport au même prompt sans intervention. Détails dans l'onglet Méthode.
Limites actuelles
| Limite | Conséquence | Réponse prévue |
|---|---|---|
| Un seul modèle, petit (1,5 milliard de paramètres) | Rien ne garantit que le résultat tient sur les modèles utilisés par les agents commerciaux | Réplication sur plusieurs tailles et familles de modèles ouverts |
| Marques Amazon souvent obscures | Performance de décodage plafonnée, stimuli peu réalistes pour un test de recommandation | Liste de marques connues, avec mesure de notoriété |
| Le prestige et la qualité ne sont mesurés que par le modèle lui même | Circularité dans le test du construit rival | Vérité terrain externe pour le prestige, distincte du prix |
| Une seule couche d'intervention, une seule formulation de prompt | Résultat possiblement fragile | Balayage des couches, plusieurs formulations, effets aléatoires par formulation |
| Le prix Amazon à une date donnée est une mesure bruitée | Atténue toutes les corrélations | Sources de prix complémentaires |
| Pilote causal de petite taille | Intervalles larges, puissance limitée pour les interactions | Passage à plusieurs centaines de paires, plan préenregistré |
| Au niveau produit, la sonde dépasse à peine un modèle de mots | Le titre contient déjà le prix, le décodage n'y prouve pas grand chose | Le papier repose sur le niveau marque |
| La direction « cher » et la direction de la sonde ne coïncident pas | Deux objets différents prédisent le prix, lequel est le bon ? | Comparer leurs effets causaux et leurs effets sur les construits rivaux |
Prochaines étapes
- Lire le pilote causal et décider de la couche, des doses et de la direction pour l'étude principale.
- Marques connues. Refaire décodage et intervention sur des marques à forte notoriété, et comparer aux marques obscures.
- Neurones. Intervenir sur les seuls neurones les plus corrélés et mesurer la part de l'effet qu'ils reproduisent. C'est ce qui décidera du titre.
- Prix contre prestige. Construire une direction prestige, puis une direction prix orthogonalisée, et comparer leurs effets.
- Échelle. Modèles plus grands, plusieurs familles, effets selon la taille.
- Pont avec l'étude Agent Marketing, qui manipule les signaux visibles sur la fiche produit : ici on manipule ce que l'agent a en mémoire.
Reproductibilité
| Script | Rôle |
|---|---|
00_download.py | Téléchargement des données et du modèle |
01_build_dataset.py | Construction des jeux marques et produits |
02_extract.py | Extraction des activations et corrélations par neurone |
03_probe.py | Sondes par couche et contrôles |
05_steer.py | Expérience d'intervention causale |
06_analyze_steer.py | Effets par paire, intervalles bootstrap, contrastes |
04_build_site.py | Génération des données de ce site |
Graine 42 partout. Aucune valeur de résultat n'est écrite à la main dans ce site.
Glossaire
- Activation
- Valeur numérique prise par une unité interne du modèle quand il lit un texte donné.
- Flux résiduel
- Vecteur de 1 536 nombres associé à chaque token, qui traverse les couches et accumule l'information. C'est l'objet que nous lisons et modifions.
- Couche
- Étape de calcul du modèle. Les premières couches traitent surtout la forme des mots, les couches médianes le sens, les dernières préparent la réponse.
- Neurone MLP
- Unité élémentaire du petit réseau présent dans chaque couche. Le modèle étudié en compte 8 960 par couche.
- Sonde linéaire
- Régression linéaire entraînée à prédire une grandeur externe (ici le prix) à partir des activations. Elle indique qu'une information est présente et facilement lisible.
- Régression ridge
- Régression linéaire avec une pénalité sur la taille des coefficients, qui évite le surapprentissage quand les variables sont nombreuses.
- Validation croisée
- Procédure qui évalue toujours le modèle sur des données qu'il n'a pas vues à l'entraînement.
- R²
- Part de variance expliquée. Ici toujours mesurée hors échantillon.
- Corrélation de Spearman
- Mesure de l'accord entre deux classements, insensible aux valeurs extrêmes.
- TF IDF
- Représentation d'un texte par la fréquence de ses mots ou de ses fragments de mots. Sert ici de référence « sans intelligence » : ce qu'on peut deviner du prix à partir de l'orthographe seule.
- Direction
- Un axe dans l'espace à 1 536 dimensions des activations. Se déplacer le long de cet axe revient à modifier une propriété que le modèle attribue à l'objet lu.
- Intervention, ou steering
- Ajout volontaire d'un vecteur aux activations pendant le calcul, pour modifier ce que le modèle « pense » sans changer le texte qu'il lit.
- σ (sigma)
- Écart type des marques le long de la direction. Unité de dose de l'intervention.
- Logit
- Score brut que le modèle attribue à chaque réponse possible avant conversion en probabilité. Un écart de logit de 1 entre deux options fait passer de 50 % à environ 73 %.
- dz de Cohen
- Taille d'effet pour des mesures appariées. Repères usuels : 0,2 faible, 0,5 moyen, 0,8 fort.
- Bootstrap
- Méthode de calcul d'intervalle de confiance par rééchantillonnage répété des unités observées.
- Construit rival
- Concept voisin qui pourrait expliquer le même résultat. Ici le prestige et la qualité perçue face à l'image prix.
- Vérification de manipulation
- Mesure qui vérifie que l'intervention a bien modifié ce qu'elle prétend modifier, et pas autre chose.