Vue d’ensemble
Le CLI Web2MD vous permet de convertir n’importe quelle URL en Markdown propre directement depuis votre terminal. Envoyez le résultat à des LLM, traitez des listes d’URL en lot, ou ingérez du contenu dans votre coffre Obsidian — le tout sans ouvrir de navigateur.Le CLI nécessite Node.js 18+. Exécutez
node -v pour vérifier votre version.Installation
Aucune installation nécessaire — exécutez simplement avecnpx :
Modes
Le CLI Web2MD fonctionne selon trois modes en fonction de votre configuration :Local
Mode par défaut. Aucune clé API requise. Récupère et convertit les pages en local. Fonctionne pour la plupart des sites web publics.
Serveur
Avec clé API. Définissez
WEB2MD_API_KEY pour débloquer Reddit, Fandom/Wikia et d’autres sites restreints nécessitant un traitement côté serveur.Bridge
Avec l’option
--bridge. Utilise votre extension Chrome pour récupérer des pages rendues en JS ou protégées par connexion, inaccessibles à la récupération statique.Options
Commandes
Au-delà de la conversion d’URL, le CLI propose deux sous-commandes pour l’authentification et la synchronisation de la Bibliothèque :login
https://web2md.org et affiche un code à approuver. Une fois approuvé, votre clé API est enregistrée dans ~/.web2md/config.json — plus besoin d’exporter WEB2MD_API_KEY dans chaque shell. Le serveur MCP lit depuis le même fichier, donc se connecter une fois ici authentifie aussi les appels d’outils MCP.
Vous préférez coller directement une clé plutôt que passer par le flux navigateur ?
w2m_...) sur l’entrée standard et l’enregistre de la même manière. Obtenez une clé depuis le tableau de bord.
sync
WEB2MD_API_KEY soit défini).
La synchronisation est incrémentale par défaut : elle suit un curseur dans
<dir>/.web2md-sync.json et ne récupère que les nouveaux éléments lors des exécutions suivantes. Pointez Obsidian (ou tout autre outil lisant du Markdown) vers le répertoire cible pour parcourir votre Bibliothèque sous forme de notes.
Variables d’environnement
Exemples d’utilisation
Conversion basique
Envoyer à un LLM
Enregistrer dans un fichier
--meta ajoute un en-tête YAML avec le titre, l’URL source, le nombre de mots, le nombre de tokens, le temps de lecture et la date.
Traitement en lot depuis un fichier
Créez un fichierurls.txt :
.md séparé dans le répertoire ./research.
Ingestion dans un coffre Obsidian
~/Documents/MyVault/raw/ et met à jour ~/Documents/MyVault/INDEX.md avec des liens vers toutes les pages converties.
Reddit avec clé API
Mode Bridge
Utilisez l’extension Chrome pour gérer les pages rendues en JS ou protégées par connexion :Le mode Bridge nécessite que l’extension Chrome Web2MD soit installée et que Chrome soit en cours d’exécution. Le CLI communique avec l’extension via le protocole de messagerie native de Chrome.
Sortie JSON
jq :
Sites optimisés
Web2MD inclut des adaptateurs intégrés pour ces sites, produisant un résultat plus propre que la conversion générique :Sites avec prise en charge optimisée
Sites avec prise en charge optimisée
- Wikipedia — extraction propre des articles, gestion des infobox
- arXiv — résumés et métadonnées d’articles
- Hacker News — fils de discussion avec commentaires
- GitHub — Issues et Pull Requests
- Stack Overflow — questions et réponses
- dev.to — articles de blog
- Medium — articles (contourne l’aperçu du paywall)
- Substack — articles de newsletter
- OpenAI Docs — pages de documentation
- Docs basées sur Mintlify — sites de documentation construits sur Mintlify
- Reddit — posts et commentaires (nécessite une clé API)
Workflows courants
Alimenter un agent IA en documentation
Alimenter un agent IA en documentation
./context pour des réponses ancrées.Construire un corpus de recherche
Construire un corpus de recherche
Supprimer la mise en forme pour une entrée LLM
Supprimer la mise en forme pour une entrée LLM