Gestion d'attributs assistée par IA dans le commerce électronique : comment j'ai harmonisé des millions de données produit

La plupart des plateformes e-commerce évoquent de grands défis techniques : recherche à grande échelle, stocks en temps réel, recommandations personnalisées. Mais il existe un problème caché qui affecte presque chaque détaillant : la cohérence des valeurs d’attributs. Ceux-ci semblent superficiellement insignifiants, mais constituent la fondation pour la découverte de produits, les filtres, les comparaisons et la pertinence des recherches.

Dans les catalogues produits réels, l’état est chaotique. Les tailles apparaissent comme “XL”, “Small”, “12cm”, “Large” mélangés. Les couleurs sont enregistrées sous “RAL 3020”, “Crimson”, “Red” et “Dark Red” de manière désordonnée. Multipliez ces incohérences par des millions de SKUs avec une dizaine d’attributs par produit – le système devient inutilisable. Les filtres fonctionnent de manière imprévisible, les moteurs de recherche perdent en qualité, et les clients se frustrent lors de la navigation.

Le problème à grande échelle

En tant qu’ingénieur Full-Stack chez Zoro, j’ai été confronté exactement à cette tâche : construire un système qui non seulement gère ces attributs, mais les structure intelligemment. L’objectif était simple en apparence, mais la mise en œuvre complexe : fournir plus de 3 millions de SKUs avec des valeurs d’attributs cohérentes et compréhensibles.

Le défi : on ne peut pas coder manuellement des règles pour chaque catégorie. Il faut quelque chose qui pense, mais reste contrôlable. C’est là qu’intervient l’IA – pas comme une boîte noire, mais comme un partenaire pour une logique déterministe.

La stratégie hybride : IA avec garde-fous

Mon approche était radicalement différente : une pipeline hybride combinant l’intelligence des LLM avec des règles claires et des contrôles commerciaux. Le résultat : explicable, prévisible, scalable et contrôlable par l’humain.

Le système ne traite pas les attributs en temps réel, mais dans des jobs en arrière-plan hors ligne. Cela peut sembler un compromis, mais c’est une décision architecturale consciente avec de grands avantages :

• Débit élevé : traitement de volumes massifs de données sans surcharge des systèmes en direct
• Fiabilité : les pannes n’affectent jamais le trafic client
• Efficacité économique : calculs effectués en heures creuses
• Isolation : la latence des LLM ne touche jamais les pages produits
• Cohérence : mises à jour atomiques et prévisibles

Un traitement en temps réel aurait entraîné une latence imprévisible, des coûts plus élevés et des dépendances fragiles. Les jobs hors ligne offrent efficacité, appels asynchrones à l’IA et points de vérification humaine.

Préparation : nettoyage avant intelligence

Avant que le LLM ne regarde les attributs, je réalise une étape de nettoyage :

• suppression des espaces superflus
• suppression des valeurs vides
• déduplication
• transformation du contexte de catégorie en chaînes structurées

Le LLM reçoit des entrées propres et claires. Déchets dedans, déchets dehors – à cette échelle, de petites erreurs deviennent de gros problèmes. Le nettoyage est la base de tout ce qui suit.

Le service IA : penser avec contexte

Le service LLM reçoit plus que de simples valeurs brutes. Il obtient :

• attributs nettoyés
• fil d’Ariane de la catégorie
• métadonnées d’attributs

Avec ce contexte, le modèle comprend que “Spannung” dans les outils électriques est numérique, que “Taille” dans les vêtements suit une progression connue, et que “Couleur” respecte peut-être les standards RAL. Le modèle renvoie : des valeurs ordonnées, des noms d’attributs affinés, et la décision si un tri déterministe ou contextuel est nécessaire.

Cela permet à la pipeline de gérer différents types d’attributs sans coder de nouvelles règles pour chaque catégorie.

Fallbacks intelligents : pas besoin d’IA partout

Tous les attributs ne nécessitent pas d’intelligence artificielle. Les plages numériques, valeurs basées sur des unités et quantités simples profitent davantage d’une logique déterministe :

• traitement plus rapide
• tri prévisible
• coûts plus faibles
• absence d’ambiguïté

La pipeline détecte automatiquement ces cas et utilise des règles plutôt que l’IA. Cela maintient l’efficacité du système et évite des appels inutiles aux modèles.

Les marchands gardent le contrôle

Chaque catégorie peut être marquée comme :

• LLM_SORT : laisser le modèle décider
• MANUAL_SORT : définir manuellement l’ordre

Ce système dual permet un contrôle humain réel. L’IA fait le travail, mais ce sont les humains qui prennent la décision finale. Cela construit la confiance – les marchands peuvent surcharger le modèle sans interrompre la pipeline.

Persistance et synchronisation

Tous les résultats sont stockés dans une base MongoDB – le système nerveux central pour :

• attributs triés
• noms d’attributs affinés
• tags de tri liés à la catégorie
• champs sortOrder liés aux produits

De là, des jobs sortants synchronisent les données avec :

• Elasticsearch pour la recherche par mots-clés
• Vespa pour la recherche sémantique et vectorielle

Les filtres apparaissent dans un ordre logique, les pages produits affichent des attributs cohérents, et les moteurs de recherche classent mieux les produits.

De chaos à ordre : la transformation

Voici la puissance du système en pratique :

Des entrées chaotiques deviennent des séquences logiques et cohérentes.

L’architecture en mouvement

L’ensemble de la pipeline suit ce flux :

1. Les données produits proviennent du PIM
2. Le job d’extraction collecte attributs et contexte de catégorie
3. Le service de tri IA traite intelligemment
4. MongoDB stocke les résultats
5. Les jobs sortants synchronisent avec le PIM
6. Elasticsearch et Vespa distribuent aux moteurs de recherche
7. Les API relient recherche et pages client

Ce flux garantit qu’aucune valeur d’attribut n’est perdue – qu’elle soit triée par IA ou définie manuellement, elle est partout reflétée.

Pourquoi pas en temps réel ?

Une pipeline en temps réel aurait semblé attrayante, mais aurait conduit à :

• latence imprévisible
• pics de calcul plus élevés
• dépendances fragiles
• complexité opérationnelle

Les jobs hors ligne offrent efficacité, tolérance aux erreurs et coûts prévisibles. Le petit inconvénient : un léger délai entre la collecte des données et leur affichage. Le grand avantage : cohérence à grande échelle que les clients apprécient vraiment.

Les impacts

Le système fournit des résultats mesurables :

• tri cohérent sur plus de 3M+ SKUs
• attributs numériques prévisibles via règles
• mécanismes de contrôle pour les marchands via tagging manuel
• pages produits plus propres, filtres plus intuitifs
• pertinence accrue des recherches et meilleure conversion
• confiance renforcée des clients

Ce fut plus qu’une victoire technique – cela a amélioré l’expérience utilisateur et le chiffre d’affaires.

Les enseignements clés

• Hybride > IA seule : à grande échelle, il faut des garde-fous, pas seulement de l’intelligence
• Le contexte est roi : le bon environnement améliore considérablement la précision des LLM
• Offline > Online : pour le débit et la fiabilité, pas en temps réel
• Les humains gardent le contrôle : mécanismes de surcharge instaurent une vraie confiance
• Une entrée propre est fondamentale : Garbage In, Garbage Out – toujours nettoyer d’abord

Conclusion

Trier des valeurs d’attributs semble simple. Mais à l’échelle de millions de produits, cela devient un vrai défi. En combinant l’intelligence des LLM avec des règles claires et des contrôles humains, j’ai transformé un problème caché en un système propre et scalable.

C’est la force des approches hybrides : elles combinent le meilleur de l’humain et de la machine. Et parfois, les plus grands succès viennent de la résolution des problèmes les plus ennuyeux – ceux qui sont faciles à négliger, mais qui apparaissent sur chaque page produit.