L’IA raisonne, Jev tranche, l’expert signe

Ces dernières semaines, nous avons soumis le moteur de calcul d’Ajaccio Estimation à un exercice simple à énoncer : lui demander où il se trompe, méthodiquement.

Mon objectif ici est d’expliquer ce que nous avons fait, ce que nous avons trouvé, et ce que nous allons en faire. Je veux aussi être précis sur ce que nous ignorons encore. À mon sens, c’est là que se joue la crédibilité d’une estimation en ligne.

Ce que nous avons fait

Nous avons travaillé avec Jev, le modèle de décision lancé en septembre par TypeSafe AI. Selon son éditeur, Jev lit une situation et rend une décision accompagnée d’une probabilité, sans rédiger de texte. À ses côtés, des modèles de raisonnement de dernière génération, américains et chinois.

La méthode tient en deux gestes. D’abord, plusieurs cycles de questions rejoués en boucles de plus en plus larges, pour voir quels défauts revenaient. Ensuite, les mêmes questions traduites en anglais. Les réponses sont restées de même niveau. Le verdict ne dépendait donc pas de la langue de la question.

Ce que nous avons trouvé

Le résultat le plus net tient en un chiffre. Dans le 20090, notre moteur estime un appartement de 50 m² en bon état autour de 205 000 €. À 51 m², autour de 149 000 €¹. Un mètre carré de plus, 56 000 € de moins. Dans les deux cas, l’indicateur affiche trois points verts, son plus haut niveau de précision.

L’explication est mécanique. Jusqu’à 50 m², le moteur compare le bien aux petites surfaces. À 51 m², il le compare aux T3. Or, dans ce secteur, le mètre carré des appartements de 50 m² et moins se paie 40 % plus cher que celui des 51 à 75 m². Chacune des deux références décrit correctement son marché. L’erreur loge dans la frontière tracée entre eux.

Un second exemple me paraît plus important encore. Prenez une maison de 120 m² dans le 20000. Sur sa première fenêtre de deux ans, notre calcul ne trouve pas cinq ventes comparables. Il élargit alors à trois ans et à des maisons de 60 à 180 m², en trouve dix, et affiche trois points verts. L’indicateur compte les ventes, quelle que soit leur ressemblance avec le bien.

C’est, je crois, la leçon principale de cet audit. Notre indicateur de précision repose sur un nombre de ventes, fixé par une règle. Il doit désormais reposer sur des erreurs mesurées.

Pourquoi la Corse rend la question plus aiguë

Ce problème guette toute méthode qui range les ventes dans des cases. Ici, il pèse davantage, et les chiffres disent pourquoi.

Dans quatre communes corses sur cinq, il se vend moins de dix logements par an ; la commune médiane en vend un peu plus de deux². Ajaccio, première commune de l’île par le nombre de ventes, en concentre près d’un cinquième. Sur des marchés aussi étroits, chaque seuil d’un algorithme décide d’une part du prix : cinq ventes, deux ans ou une tranche de surface.

La Corse, et Ajaccio en particulier, est un laboratoire grandeur nature : un marché immobilier complexe et multiple. Dans le 20000, le mètre carré d’un T3 se paie moitié plus cher que dans le 20090³. C’est sur ce terrain que notre méthode doit faire ses preuves.

Ce que nous allons changer

Deux chantiers sortent de l’audit.

Le premier porte sur la précision. Aujourd’hui, le moteur retient les ventes du même code postal, du même type de bien et de la même tranche de surface ; l’adresse précise n’entre pas dans le calcul. Nous voulons faire de la ressemblance le premier critère, en combinant l’emplacement vérifié, la surface et l’ancienneté de la vente. Trois méthodes vont s’affronter sur les mêmes ventes. Le moteur actuel. Les cinq ventes les plus proches du bien. Vingt ventes pondérées selon leur ressemblance.

Jev donne 74 % à cette piste. Je prends ce chiffre au sérieux, sans le tenir pour une preuve. Bien calibré, un modèle qui annonce 74 % se trompe environ une fois sur quatre. La série de ses paris le dira, à cinq points près, comme nous nous y sommes engagés.

Le second chantier porte sur la sécurité du calcul. Quand la base de données ne répond pas, notre calcul prend aujourd’hui cette panne pour une absence de ventes. Il élargit sa recherche en silence et rend une autre estimation. Une panne doit se voir : le correctif prévu la signalera, sans produire de prix.

J’aimerais qu’un jour chaque fourchette affichée sur notre site annonce son propre taux de réussite.

Comment nous saurons si nous avons raison

C’est la partie à laquelle je tiens le plus.

Aucun correctif ne sera jugé sur sa promesse. Nous allons estimer des biens déjà vendus à la date de leur vente, avec les seules informations disponibles ce jour-là et le prix masqué. Les réglages seront choisis sur une partie des ventes, le verdict rendu sur les autres, selon le principe posé par la norme de l’IAAO sur les estimations automatisées⁴. Trois mesures feront foi : l’erreur médiane, le sens de l’erreur, la part des prix signés tombés dans la fourchette.

Il faut aussi envisager l’issue inverse : un moteur actuel qui résiste mieux que prévu, une ressemblance qui n’améliore les estimations que sur une partie des biens. Les villas viendront après les appartements, car leur terrain et leurs équipements sont moins bien documentés. Pendant les essais, le moteur actuel reste la référence. Les résultats seront publiés sans tri, échecs compris.

Ce qui ne change pas

Rien de tout cela ne retire le dernier mot à l’expert. Les modèles nous aident à choisir quoi tester. La vente signée tranche. L’expert fixe le prix et l’argumente, parce que les ventes enregistrent des prix et que les raisons restent sur le terrain.

À mon avis, la valeur d’une estimation en ligne se jouera de plus en plus sur sa capacité à dire combien de fois elle se trompe. J’aimerais qu’un jour chaque fourchette affichée sur notre site annonce son propre taux de réussite. Nous n’y sommes pas encore. Ce texte décrit le chemin.

Si la méthode tient à Ajaccio, elle s’étendra plus loin.