La naissance de Stalker Chat Export V4
Nous voulions conserver nos conversations ChatGPT. Alors nous avons fabriqué l’outil.
Il y avait un problème.
Certaines conversations ChatGPT étaient devenues très longues.
Il nous fallait un moyen fiable de les exporter.
Une extension Firefox existait déjà pour cela.
Puis elle a cessé d’être utilisable dans Firefox.
Nous avions conservé une copie de cette extension. Plutôt que de chercher immédiatement une autre solution, nous avons commencé par regarder comment son mécanisme d’exportation fonctionnait.
Comment exporter une conversation très longue ?
La première question était assez simple.
Lorsqu’une conversation contient des dizaines de milliers de lignes, faut-il réellement faire défiler toute la page ?
Faut-il attendre que tous les messages soient affichés dans le navigateur ?
Faut-il lire le DOM morceau par morceau ?
Et surtout : est-ce réellement nécessaire ?
Non.
Les données de la conversation existent déjà.
Il fallait simplement trouver comment y accéder directement.
La conversation n’est pas une simple liste de messages.
L’investigation nous a conduits vers l’API de conversation utilisée par ChatGPT.
Au lieu de lire uniquement ce qui était affiché dans le navigateur, il était possible de récupérer la structure complète de la conversation sous forme de données JSON.
Et cette structure n’était pas simplement une longue liste de messages.
Les messages étaient reliés entre eux.
On trouvait notamment des relations parent et children.
Des branches pouvaient exister.
Il fallait donc également retrouver correctement le chemin actif de la conversation.
Le problème n’était donc pas seulement d’extraire du texte.
Il fallait reconstruire la conversation.
CONVERSATION
|
v
JSON
|
v
MAPPING
|
+---- parent
|
+---- children
|
+---- message
|
v
ACTIVE CONVERSATION PATH
|
v
LOCAL PROCESSING
|
+---- Markdown
+---- HTML
+---- TXT
+---- JSONC’était le point essentiel.
Nous n’avions pas besoin de demander au navigateur de parcourir des dizaines de milliers de lignes.
Nous pouvions récupérer directement les données de la conversation, reconstruire sa structure, puis effectuer le traitement localement.
La première V4.
Nous avons donc commencé simplement.
Le premier objectif n’était pas de fabriquer immédiatement une extension complète.
Il fallait d’abord vérifier toute la chaîne d’extraction.
Can we retrieve a large conversation, reconstruct its active path, and export it without scrolling through the page?
La première V4 devait donc :
- récupérer directement la conversation ;
- obtenir sa structure JSON complète ;
- reconstruire le graphe de messages ;
- identifier le chemin actif ;
- vérifier le nombre de messages reconstruits ;
- générer l’export localement.
Le prototype fonctionnait.
Il fallait maintenant lui donner une vraie conversation à manger.
Le test réel.
Nous n’avons pas utilisé une conversation de cinq messages pour le test.
Nous avons utilisé l’une de nos grandes conversations disponibles.
L’une d’elles représentait environ 55 000 lignes.
Nous avons lancé l’export.
Le résultat est apparu en environ une à deux secondes.
Pas de défilement de la page.
Pas d’attente pour afficher des dizaines de milliers de messages.
Pas de traitement par un serveur intermédiaire.
STALKER LABS — REAL WORLD TEST
Conversation ≈ 55,000 lines
Extraction ≈ 1–2 seconds
Page scrolling None
Processing Local
OUTPUT
Markdown
HTML
TXT
JSONNous ne présentons pas ce résultat comme un classement des extensions Firefox.
C’est simplement ce que nous avons mesuré sur notre propre test réel.
Et c’était exactement le résultat que nous recherchions.
Pourquoi est-ce aussi rapide ?
Parce que le navigateur n’a finalement pas besoin de parcourir toute la conversation affichée.
Le principe de V4 peut être résumé très simplement :
CLICK | v API EXTRACTION | v JSON | v CONVERSATION RECONSTRUCTION | v LOCAL PROCESSING | v EXPORT READY
La page n’est donc pas utilisée comme une gigantesque feuille de texte à parcourir.
La conversation est récupérée directement, reconstruite, puis transformée localement dans le format demandé.
Quatre formats d’export.
Nous voulions que les conversations exportées restent utilisables indépendamment de l’extension.
V4 produit donc quatre formats :
- Markdown — pour la documentation et l’édition ;
- HTML — pour une lecture confortable hors ligne ;
- TXT — pour un format texte simple et universel ;
- JSON — pour conserver les données sous une forme structurée.
Le principe reste identique pour les quatre formats :
One extraction. Local processing. Four output formats.
Extraction locale.
Le fonctionnement de l’extension ne nécessite pas de serveur StalkerLabs chargé de récupérer les conversations.
Pas de compte StalkerLabs.
Pas d’abonnement.
Pas de publicité.
Pas de télémétrie.
L’extraction et le traitement sont réalisés localement par l’extension.
Pour un outil destiné à exporter des conversations personnelles, ce choix était important.
LOCAL EXTRACTION · NO UPLOAD · NO INTERMEDIARY SERVER
Et puis nous l’avons utilisé pour l’exporter lui-même.
Il y a une petite ironie dans cette histoire.
Nous avons construit Stalker Chat Export pour exporter des conversations ChatGPT.
Puis nous avons utilisé Stalker Chat Export pour exporter la conversation dans laquelle nous étions en train de construire et de tester Stalker Chat Export.
Le résultat était donc un export contenant l’histoire de la construction de l’outil.
CHATGPT CONVERSATION
|
v
STALKER CHAT EXPORT V4
|
v
CONVERSATION EXPORT
|
v
DOCUMENTATIONCe n’était pas prévu au départ.
C’était simplement un très bon test réel.
De la V4 à Firefox.
Une fois le fonctionnement validé, nous avons transformé le prototype en véritable extension Firefox.
L’interface reprend les codes visuels de StalkerLabs, mais son fonctionnement reste volontairement simple : lancer l’extraction, attendre le traitement, puis récupérer le fichier.
Une fois V4 suffisamment stable, nous voulions également pouvoir l’installer normalement dans Firefox, et pas uniquement comme extension temporaire de développement.
La signature Mozilla.
Nous avons soumis l’extension à la validation de Mozilla.
La première validation a signalé l’absence d’une déclaration concernant les données traitées par l’extension.
Nous avons ajouté la déclaration personalCommunications correspondant aux conversations exportées.
La validation suivante s’est terminée sans erreur ni avertissement.
La version 4.0.1 a ensuite été approuvée et signée par Mozilla.
Nous pouvions alors installer l’extension normalement dans Firefox et effectuer le test final avec la version signée.
Le résultat.
Stalker Chat Export V4 permet maintenant d’exporter directement une conversation ChatGPT sans dépendre du défilement de la page.
La conversation est récupérée, sa structure est reconstruite, puis les fichiers sont générés localement.
Markdown, HTML, TXT et JSON sont disponibles.
Et sur notre test réel, une conversation d’environ 55 000 lignes a été extraite en environ une à deux secondes.
EXTRACT ↓ RECONSTRUCT ↓ EXPORT STALKER CHAT EXPORT V4
Voilà.
Pas besoin de faire défiler 55 000 lignes.
Il fallait simplement trouver les données.
A suivre …
(2) – Comment Stalker Chat Export récupère une conversation?
AxehGo & DebIA
Independent Research & Experiments in Linux, AI and Statistical Computing
// discussion
No comments