Étude en cours · Charles Perez, Paris School of Business · mise à jour …

Marketing Neurons? How Learned Brand Associations Shape AI Recommendations

Titre de travail. Cible : Journal of Marketing. Une dimension (l'image prix), une intervention interne, une conséquence sur la recommandation.

L'étude en une page

Question. Dans quelle mesure le positionnement qu'un agent IA a appris à associer à une marque contribue t il causalement aux recommandations qu'il formule ?

L'idée en langage courant

Quand un assistant IA recommande un produit, il ne lit pas seulement la fiche qu'on lui montre. Il arrive avec tout ce qu'il a appris sur les marques pendant son entraînement. Nous cherchons à savoir si, à l'intérieur du modèle, il existe quelque chose qui ressemble à une « idée du niveau de prix » de chaque marque, puis si cette idée pèse réellement sur ses recommandations.

La démarche se fait en deux temps, et le second est celui qui compte pour le papier.

1
Lire. On regarde l'état interne du modèle quand il lit un nom de marque, et on vérifie qu'une simple formule linéaire permet d'y retrouver le niveau de prix réel de la marque. C'est la méthode de Gurnee et Tegmark, qui ont retrouvé ainsi la latitude des villes et la date des évènements.
2
Écrire. On modifie cet état interne pour « faire croire » au modèle que la marque est plus chère ou moins chère, sans changer un seul mot de ce qu'il lit. On observe si sa recommandation change. Si oui, la représentation n'est pas seulement présente, elle est utilisée.

Où en est on

Ce que disent les résultats à ce stade

Tous les chiffres de ce site sont lus directement dans les fichiers de résultats. Les onglets détaillent chaque étape, ce qui a été fait, et comment lire chaque chiffre.

Positionnement du papier

Le papier est large dans sa question et précis dans sa démonstration : une dimension principale, l'image prix ; une intervention interne ; une conséquence sur la recommandation. Le prestige est gardé comme construit rival, parce qu'il rend le test plus exigeant et plus informatif.

D'où vient l'idée

Gurnee et Tegmark (« Language Models Represent Space and Time », ICLR 2024) présentent des noms de lieux et d'évènements à Llama 2, enregistrent les activations internes, puis entraînent une régression linéaire qui prédit la latitude, la longitude ou l'année. La prédiction fonctionne, elle résiste à plusieurs contrôles, et certains neurones isolés sont fortement corrélés à ces coordonnées. Conclusion des auteurs : le modèle ne mémorise pas seulement des cooccurrences de mots, il construit une représentation structurée de l'espace et du temps.

Le prix est le candidat marketing le plus proche d'une coordonnée : c'est une grandeur continue, ordonnée, pour laquelle une vérité terrain externe existe.

Pourquoi cela intéresse le marketing

Les agents d'achat IA deviennent des intermédiaires entre les marques et les acheteurs. Si un agent porte en lui une image prix de chaque marque, cette image devient un actif (ou un passif) de marque d'un genre nouveau : elle n'est ni dans la tête des consommateurs, ni sur la fiche produit, mais dans les poids d'un modèle. La question pratique qui suit est directe : une marque perçue comme chère par l'agent est elle écartée pour les acheteurs à budget serré, même quand son prix affiché est identique à celui du concurrent ?

Ce qu'une intervention interne apporte de plus

Expérience sur les sorties seules

On remplace « marque A » par « marque B » dans le prompt et on compare les réponses. Problème : le changement de nom modifie tout à la fois, la familiarité, le prestige, l'origine, la sonorité, et toutes les associations du nom. Impossible d'attribuer l'écart à l'image prix.

Intervention sur une direction interne

Le nom, le produit, la description et le prix affiché restent strictement identiques. Seule l'activation de la marque est déplacée le long d'une direction candidate. Ce qui change dans la réponse est attribuable à ce déplacement.

La difficulté scientifique se déplace alors : il faut vérifier ce que l'intervention déplace réellement. Si elle fait aussi monter le prestige perçu, l'objet identifié est une représentation plus générale du positionnement premium. C'est un résultat marketing à part entière, à condition de le nommer correctement.

Hypothèses

ConditionPrédictionCe que cela signifierait
H1Prix masqués, acheteur à budget serréPousser la marque vers « cher » réduit sa probabilité d'être recommandéeL'agent utilise l'image prix apprise pour inférer une information absente
H2Prix masqués, acheteur qui veut la meilleure qualitéEffet nul ou inverseL'effet dépend de l'objectif : c'est bien une information de prix, pas une simple dégradation de la marque
H3aPrix visibles et identiquesL'effet disparaîtLe prix observé prend le dessus sur l'association apprise
H3bPrix visibles et identiquesL'effet persisteL'association apprise continue d'orienter la recommandation. Il faut alors départager image prix, qualité et prestige perçus
H4Vérification de manipulationL'intervention déplace le prix perçu plus que le prestige, la qualité ou un attribut placeboLa direction capte l'image prix. Sinon elle capte un positionnement premium plus général

Le mot « neurones »

Une sonde peut repérer une direction répartie sur de nombreux neurones. Si quelques neurones individuels reproduisent une part substantielle de l'effet sur la recommandation, il y a un argument pour les mettre en avant. Si une direction distribuée porte l'effet, la découverte centrale tient toujours : on peut intervenir sur une représentation de marque à l'intérieur d'un agent et mesurer sa contribution à une décision de marché. D'où le titre interrogatif, qui laisse la question empirique ouverte.

Contribution visée

Données

Source : métadonnées publiques Amazon Products 2023 (117 243 fiches produits, dérivées du corpus Amazon Reviews 2023 du McAuley Lab). Chaque fiche donne un titre, un vendeur ou une marque, une catégorie, un prix et un nombre d'avis.

Règle de base. Aucune valeur cible n'est saisie à la main. Le « vrai » niveau de prix d'une marque est calculé à partir des prix observés de ses produits dans la source.

Préparation

  1. On garde les fiches dont le prix est compris entre 1 et 10 000 dollars.
  2. On écarte les catégories où le « vendeur » est un artiste ou un auteur (musique, livres, films), car ce ne sont pas des marques commerciales.
  3. On nettoie le nom de marque (suppression des mentions de format, des suffixes « Store »).
  4. On travaille en logarithme du prix (base 10). Raison : les prix s'étalent sur plusieurs ordres de grandeur, et passer de 10 à 20 dollars est un écart comparable à passer de 100 à 200. Une unité de log10 correspond à un facteur 10 sur le prix.

Deux jeux de données

Prix absolu et prix relatif

Une marque d'ordinateurs est plus chère qu'une marque de chaussettes, mais cela ne dit rien de son positionnement. Nous calculons donc aussi le prix centré par catégorie : le log prix de la marque moins la moyenne de sa catégorie. Une valeur positive signifie « plus chère que ses concurrentes directes ». C'est cette grandeur qui correspond à l'image prix au sens marketing, et c'est elle qui sert à construire la direction utilisée dans l'intervention.

Répartition par catégorie (marques)

Exemples de marques aux extrêmes

Limite importante. Beaucoup de marques Amazon sont de petites marques que le modèle n'a probablement jamais rencontrées. Pour elles, il ne peut s'appuyer que sur la forme du nom. Cela plafonne mécaniquement la performance mesurée, et cela plaide pour une liste de marques connues dans la version finale.

Méthode, pas à pas

Modèle étudié : . Tout tourne en local sur un Mac, avec une graine aléatoire fixe pour la reproductibilité.

Rappel : que se passe t il dans un modèle de langage

Le texte est découpé en tokens. Chaque token est transformé en un vecteur de 1 536 nombres. Ce vecteur traverse 28 couches successives. Chaque couche lui ajoute de l'information, soit en regardant les autres tokens (attention), soit en le transformant par un petit réseau interne appelé MLP, composé de 8 960 neurones. Le vecteur qui circule de couche en couche s'appelle le flux résiduel. C'est la « mémoire de travail » du modèle à un instant donné, et c'est elle que nous lisons puis modifions.

Étape 1 : lire les activations

On présente au modèle un texte minimal :

Brand: Ray-Ban

On enregistre le flux résiduel au dernier token du nom, à la sortie de chacune des couches, ainsi que l'activation de chaque neurone MLP. À ce stade le modèle n'a rien à répondre : on capture seulement ce que le nom évoque pour lui.

Étape 2 : la sonde linéaire

Une sonde est une régression linéaire : elle cherche des poids tels que la somme pondérée des 1 536 nombres prédise le log prix. Nous utilisons une régression ridge (une régression linéaire avec pénalité, nécessaire quand il y a presque autant de variables que d'observations).

Pourquoi linéaire. Une sonde très puissante pourrait apprendre elle même la relation entre un nom et un prix. Une sonde linéaire ne peut que lire ce qui est déjà disposé simplement dans les activations. Si elle réussit, c'est que le modèle a déjà fait le travail.

Étape 3 : les contrôles

Un bon score ne prouve rien tant qu'on n'a pas écarté les explications triviales. Chaque contrôle répond à une objection précise.

ContrôleObjection à laquelle il répondRésultat attendu si le signal est réel
Étiquettes permutées« Avec 1 536 variables on peut prédire n'importe quoi »Score proche de zéro
Même architecture, poids aléatoires« C'est la structure du réseau ou la forme du nom qui fait le travail, pas ce que le modèle a appris »Score très inférieur à celui du modèle entraîné
TF IDF sur caractères ou mots, sans LLM« L'orthographe du nom suffit à deviner le prix »Score inférieur à celui de la sonde
Catégorie seule« La sonde reconnaît juste la catégorie de produit »Score inférieur à celui de la sonde
Popularité et longueur du nom« La sonde reconnaît juste les marques connues »Score faible
Prix centré par catégorie« Le signal n'existe qu'entre catégories »La sonde prédit encore le prix relatif
Catégories jamais vues« La sonde a appris une règle propre à chaque catégorie »La sonde fonctionne sur des catégories absentes de l'entraînement
Composantes principales« Le signal est dilué dans tout l'espace »Quelques dimensions suffisent

Étape 4 : les neurones individuels

Pour chacun des 250 880 neurones MLP (28 couches fois 8 960), on calcule la corrélation entre son activation et le prix. Sélectionner les meilleurs parmi autant de candidats produit forcément de belles corrélations par hasard. Nous coupons donc les données en deux moitiés : les neurones sont choisis sur la première, et leur corrélation est mesurée à nouveau sur la seconde. Seule cette seconde mesure est crédible.

Étape 5 : l'intervention causale

Construire la direction « cher ». On prend les marques du tiers le plus cher et celles du tiers le moins cher, en prix relatif à leur catégorie. La direction est la différence entre l'activation moyenne des premières et celle des secondes. Elle est estimée uniquement sur des marques absentes de l'expérience. Une seconde direction candidate est celle de la sonde ridge.

Le stimulus. Exemple de prompt, ici avec objectif budget et prix masqués :

I am on a tight budget and I want to spend as little as possible.

Option A: Marque1 wireless headphones
Option B: Marque2 wireless headphones

Which option do you recommend? Answer with the letter only.

Dans la condition « prix visibles », chaque ligne se termine par le même prix (le prix médian de la catégorie, calculé depuis les données). L'objectif « qualité » remplace la première phrase par : I want the highest quality available and money is no object.

L'intervention. Pendant que le modèle lit le nom de la marque cible, et seulement sur ces tokens, on ajoute au flux résiduel le vecteur α·σ·d :

La mesure. Le modèle doit répondre A ou B. On lit l'écart entre le score (logit) de la lettre de la marque cible et celui de l'autre lettre. On compare ensuite ce même écart avec et sans intervention, sur le même prompt. La différence est l'effet de l'intervention.

Neutraliser les biais de position. Les modèles préfèrent souvent la première option. Chaque paire est donc présentée dans les deux ordres, et chaque marque est tour à tour la cible. Sans intervention, la préférence moyenne pour la cible vaut exactement zéro par construction.

Contrôles de l'intervention. Des directions tirées au hasard, de même longueur que le vecteur principal. Si elles produisent le même effet, c'est que n'importe quelle perturbation du nom suffit, et la direction « cher » n'a rien de spécial.

Vérification de manipulation. Sous la même intervention, on demande au modèle de noter la marque de 1 à 9 sur le prix, le prestige, la qualité, et un attribut placebo (durabilité environnementale). On lit la note attendue à partir des probabilités des chiffres 1 à 9.

Statistiques

Étape 1 : l'image prix est elle lisible dans le modèle ?

Comment lire les deux métriques. Le R² est la part de la variance du log prix expliquée par la sonde sur des marques jamais vues : 0 signifie « pas mieux que prédire la moyenne », 1 signifie « prédiction parfaite ». Il peut être négatif si la sonde fait pire que la moyenne. Le Spearman mesure si la sonde classe correctement les marques de la moins chère à la plus chère : 0 pour un classement au hasard, 1 pour un classement parfait.

Niveau marque

Niveau produit

Y a t il des « neurones marketing » ?

La sonde lit une combinaison de 1 536 dimensions. La question ici est plus étroite : existe t il des neurones isolés dont l'activation, à elle seule, suit le niveau de prix d'une marque ?

Comment lire. r est une corrélation de Pearson entre l'activation du neurone et le log prix. Positive : le neurone s'active davantage pour les marques chères. Négative : il s'active davantage pour les marques bon marché. La colonne « moitié test » est la seule qui compte, car la sélection s'est faite sur l'autre moitié.
Prudence. Une corrélation ne dit pas que le neurone « code le prix ». Il peut réagir à un trait corrélé au prix (type de produit, registre de langue du nom, notoriété). Le test décisif est causal : intervenir sur ces seuls neurones et mesurer la part de l'effet de recommandation qu'ils reproduisent. Ce test n'est pas encore fait.

Étape 2 : l'image prix pèse t elle sur la recommandation ?

Rappel du protocole : deux marques réelles d'une même catégorie, même produit, même formulation. On déplace l'activation de la marque cible le long de la direction « cher » et on mesure le changement de recommandation par rapport au même prompt sans intervention. Détails dans l'onglet Méthode.

Comment lire. L'effet est exprimé en variation de l'écart de logit en faveur de la marque déplacée, pour un déplacement de 1 σ vers « cher ». Négatif : la marque est moins recommandée quand on la rend « plus chère » dans la tête du modèle. Positif : elle est davantage recommandée. Un intervalle qui ne contient pas zéro indique un effet distinguable du bruit. Pour fixer les idées, un écart de logit de 1 fait passer une probabilité de 50 % à environ 73 %.

Limites actuelles

LimiteConséquenceRéponse prévue
Un seul modèle, petit (1,5 milliard de paramètres)Rien ne garantit que le résultat tient sur les modèles utilisés par les agents commerciauxRéplication sur plusieurs tailles et familles de modèles ouverts
Marques Amazon souvent obscuresPerformance de décodage plafonnée, stimuli peu réalistes pour un test de recommandationListe de marques connues, avec mesure de notoriété
Le prestige et la qualité ne sont mesurés que par le modèle lui mêmeCircularité dans le test du construit rivalVérité terrain externe pour le prestige, distincte du prix
Une seule couche d'intervention, une seule formulation de promptRésultat possiblement fragileBalayage des couches, plusieurs formulations, effets aléatoires par formulation
Le prix Amazon à une date donnée est une mesure bruitéeAtténue toutes les corrélationsSources de prix complémentaires
Pilote causal de petite tailleIntervalles larges, puissance limitée pour les interactionsPassage à plusieurs centaines de paires, plan préenregistré
Au niveau produit, la sonde dépasse à peine un modèle de motsLe titre contient déjà le prix, le décodage n'y prouve pas grand choseLe papier repose sur le niveau marque
La direction « cher » et la direction de la sonde ne coïncident pasDeux objets différents prédisent le prix, lequel est le bon ?Comparer leurs effets causaux et leurs effets sur les construits rivaux

Prochaines étapes

  1. Lire le pilote causal et décider de la couche, des doses et de la direction pour l'étude principale.
  2. Marques connues. Refaire décodage et intervention sur des marques à forte notoriété, et comparer aux marques obscures.
  3. Neurones. Intervenir sur les seuls neurones les plus corrélés et mesurer la part de l'effet qu'ils reproduisent. C'est ce qui décidera du titre.
  4. Prix contre prestige. Construire une direction prestige, puis une direction prix orthogonalisée, et comparer leurs effets.
  5. Échelle. Modèles plus grands, plusieurs familles, effets selon la taille.
  6. Pont avec l'étude Agent Marketing, qui manipule les signaux visibles sur la fiche produit : ici on manipule ce que l'agent a en mémoire.

Reproductibilité

ScriptRôle
00_download.pyTéléchargement des données et du modèle
01_build_dataset.pyConstruction des jeux marques et produits
02_extract.pyExtraction des activations et corrélations par neurone
03_probe.pySondes par couche et contrôles
05_steer.pyExpérience d'intervention causale
06_analyze_steer.pyEffets par paire, intervalles bootstrap, contrastes
04_build_site.pyGénération des données de ce site

Graine 42 partout. Aucune valeur de résultat n'est écrite à la main dans ce site.

Glossaire

Activation
Valeur numérique prise par une unité interne du modèle quand il lit un texte donné.
Flux résiduel
Vecteur de 1 536 nombres associé à chaque token, qui traverse les couches et accumule l'information. C'est l'objet que nous lisons et modifions.
Couche
Étape de calcul du modèle. Les premières couches traitent surtout la forme des mots, les couches médianes le sens, les dernières préparent la réponse.
Neurone MLP
Unité élémentaire du petit réseau présent dans chaque couche. Le modèle étudié en compte 8 960 par couche.
Sonde linéaire
Régression linéaire entraînée à prédire une grandeur externe (ici le prix) à partir des activations. Elle indique qu'une information est présente et facilement lisible.
Régression ridge
Régression linéaire avec une pénalité sur la taille des coefficients, qui évite le surapprentissage quand les variables sont nombreuses.
Validation croisée
Procédure qui évalue toujours le modèle sur des données qu'il n'a pas vues à l'entraînement.
R²
Part de variance expliquée. Ici toujours mesurée hors échantillon.
Corrélation de Spearman
Mesure de l'accord entre deux classements, insensible aux valeurs extrêmes.
TF IDF
Représentation d'un texte par la fréquence de ses mots ou de ses fragments de mots. Sert ici de référence « sans intelligence » : ce qu'on peut deviner du prix à partir de l'orthographe seule.
Direction
Un axe dans l'espace à 1 536 dimensions des activations. Se déplacer le long de cet axe revient à modifier une propriété que le modèle attribue à l'objet lu.
Intervention, ou steering
Ajout volontaire d'un vecteur aux activations pendant le calcul, pour modifier ce que le modèle « pense » sans changer le texte qu'il lit.
σ (sigma)
Écart type des marques le long de la direction. Unité de dose de l'intervention.
Logit
Score brut que le modèle attribue à chaque réponse possible avant conversion en probabilité. Un écart de logit de 1 entre deux options fait passer de 50 % à environ 73 %.
dz de Cohen
Taille d'effet pour des mesures appariées. Repères usuels : 0,2 faible, 0,5 moyen, 0,8 fort.
Bootstrap
Méthode de calcul d'intervalle de confiance par rééchantillonnage répété des unités observées.
Construit rival
Concept voisin qui pourrait expliquer le même résultat. Ici le prestige et la qualité perçue face à l'image prix.
Vérification de manipulation
Mesure qui vérifie que l'intervention a bien modifié ce qu'elle prétend modifier, et pas autre chose.