Skip to main content

Vue d’ensemble

Le CLI Web2MD vous permet de convertir n’importe quelle URL en Markdown propre directement depuis votre terminal. Envoyez le résultat à des LLM, traitez des listes d’URL en lot, ou ingérez du contenu dans votre coffre Obsidian — le tout sans ouvrir de navigateur.
Le CLI nécessite Node.js 18+. Exécutez node -v pour vérifier votre version.

Installation

Aucune installation nécessaire — exécutez simplement avec npx :
Ou installez-le globalement pour un démarrage plus rapide :

Modes

Le CLI Web2MD fonctionne selon trois modes en fonction de votre configuration :

Local

Mode par défaut. Aucune clé API requise. Récupère et convertit les pages en local. Fonctionne pour la plupart des sites web publics.

Serveur

Avec clé API. Définissez WEB2MD_API_KEY pour débloquer Reddit, Fandom/Wikia et d’autres sites restreints nécessitant un traitement côté serveur.

Bridge

Avec l’option --bridge. Utilise votre extension Chrome pour récupérer des pages rendues en JS ou protégées par connexion, inaccessibles à la récupération statique.

Options

Commandes

Au-delà de la conversion d’URL, le CLI propose deux sous-commandes pour l’authentification et la synchronisation de la Bibliothèque :

login

Démarre un flux d’autorisation par appareil basé sur le navigateur : le CLI ouvre https://web2md.org et affiche un code à approuver. Une fois approuvé, votre clé API est enregistrée dans ~/.web2md/config.json — plus besoin d’exporter WEB2MD_API_KEY dans chaque shell. Le serveur MCP lit depuis le même fichier, donc se connecter une fois ici authentifie aussi les appels d’outils MCP. Vous préférez coller directement une clé plutôt que passer par le flux navigateur ?
Cela demande une clé (w2m_...) sur l’entrée standard et l’enregistre de la même manière. Obtenez une clé depuis le tableau de bord.

sync

Synchronise votre Bibliothèque — chaque page enregistrée via l’extension, le tableau de bord ou l’API — vers un répertoire local sous forme de fichiers Markdown avec en-tête YAML, organisés par tag. Nécessite d’être connecté (ou que WEB2MD_API_KEY soit défini). La synchronisation est incrémentale par défaut : elle suit un curseur dans <dir>/.web2md-sync.json et ne récupère que les nouveaux éléments lors des exécutions suivantes. Pointez Obsidian (ou tout autre outil lisant du Markdown) vers le répertoire cible pour parcourir votre Bibliothèque sous forme de notes.

Variables d’environnement

Ajoutez-les à votre profil shell (~/.zshrc ou ~/.bashrc) pour qu’elles persistent entre les sessions :

Exemples d’utilisation

Conversion basique

Affiche le Markdown sur la sortie standard.

Envoyer à un LLM

Enregistrer dans un fichier

L’option --meta ajoute un en-tête YAML avec le titre, l’URL source, le nombre de mots, le nombre de tokens, le temps de lecture et la date.

Traitement en lot depuis un fichier

Créez un fichier urls.txt :
Puis exécutez :
Chaque URL est enregistrée dans un fichier .md séparé dans le répertoire ./research.

Ingestion dans un coffre Obsidian

Cela enregistre chaque page dans ~/Documents/MyVault/raw/ et met à jour ~/Documents/MyVault/INDEX.md avec des liens vers toutes les pages converties.

Reddit avec clé API

Reddit nécessite une clé API valide. Sans clé, les URL Reddit échoueront en raison des restrictions anti-bot de Reddit.

Mode Bridge

Utilisez l’extension Chrome pour gérer les pages rendues en JS ou protégées par connexion :
Le mode Bridge nécessite que l’extension Chrome Web2MD soit installée et que Chrome soit en cours d’exécution. Le CLI communique avec l’extension via le protocole de messagerie native de Chrome.

Sortie JSON

Renvoie une sortie structurée :
Utile pour une consommation programmatique ou pour envoyer à jq :

Sites optimisés

Web2MD inclut des adaptateurs intégrés pour ces sites, produisant un résultat plus propre que la conversion générique :
  • Wikipedia — extraction propre des articles, gestion des infobox
  • arXiv — résumés et métadonnées d’articles
  • Hacker News — fils de discussion avec commentaires
  • GitHub — Issues et Pull Requests
  • Stack Overflow — questions et réponses
  • dev.to — articles de blog
  • Medium — articles (contourne l’aperçu du paywall)
  • Substack — articles de newsletter
  • OpenAI Docs — pages de documentation
  • Docs basées sur Mintlify — sites de documentation construits sur Mintlify
  • Reddit — posts et commentaires (nécessite une clé API)

Workflows courants

Pointez le répertoire de contexte de votre agent IA vers ./context pour des réponses ancrées.
Crée un coffre de recherche indexé et consultable dans Obsidian.
Supprime les images et les liens pour réduire la consommation de tokens lors de l’envoi à un LLM.