Zum Hauptinhalt springen

Überblick

Mit der Web2MD-CLI können Sie jede beliebige URL direkt über Ihr Terminal in sauberes Markdown umwandeln. Leiten Sie die Ausgabe an LLMs weiter, verarbeiten Sie Listen von URLs im Batch oder übernehmen Sie Inhalte in Ihren Obsidian-Vault — ganz ohne Browser.
Die CLI benötigt Node.js 18+. Führen Sie node -v aus, um Ihre Version zu prüfen.

Installation

Keine Installation nötig — einfach mit npx ausführen:
Oder für einen schnelleren Start global installieren:

Modi

Die Web2MD-CLI arbeitet je nach Konfiguration in drei Modi:

Lokal

Standardmodus. Kein API-Schlüssel erforderlich. Ruft Seiten ab und konvertiert sie lokal. Funktioniert für die meisten öffentlichen Websites.

Server

Mit API-Schlüssel. Setzen Sie WEB2MD_API_KEY, um Reddit, Fandom/Wikia und andere eingeschränkte Seiten freizuschalten, die serverseitige Verarbeitung erfordern.

Bridge

Mit dem --bridge-Flag. Nutzt Ihre Chrome-Erweiterung, um JS-gerenderte oder anmeldegeschützte Seiten abzurufen, die per statischem Abruf nicht erreichbar sind.

Flags

Umgebungsvariablen

Fügen Sie diese zu Ihrem Shell-Profil hinzu (~/.zshrc oder ~/.bashrc), damit sie über Sitzungen hinweg erhalten bleiben:

Anwendungsbeispiele

Einfache Konvertierung

Gibt Markdown auf stdout aus.

An ein LLM weiterleiten

In Datei speichern

Das --meta-Flag stellt YAML-Frontmatter mit Titel, Quell-URL, Wortanzahl, Token-Anzahl, Lesezeit und Datum voran.

Batch aus Datei

Erstellen Sie eine Datei urls.txt:
Führen Sie dann aus:
Jede URL wird als separate .md-Datei im Verzeichnis ./research gespeichert.

Import in einen Obsidian-Vault

Dadurch wird jede Seite unter ~/Documents/MyVault/raw/ gespeichert und ~/Documents/MyVault/INDEX.md mit Links zu allen konvertierten Seiten aktualisiert.

Reddit mit API-Schlüssel

Reddit erfordert einen gültigen API-Schlüssel. Ohne diesen schlagen Reddit-URLs aufgrund der Bot-Beschränkungen von Reddit fehl.

Bridge-Modus

Nutzen Sie die Chrome-Erweiterung, um JS-gerenderte oder anmeldegeschützte Seiten zu verarbeiten:
Der Bridge-Modus erfordert, dass die Web2MD-Chrome-Erweiterung installiert ist und Chrome läuft. Die CLI kommuniziert mit der Erweiterung über Chromes natives Messaging-Protokoll.

JSON-Ausgabe

Gibt eine strukturierte Ausgabe zurück:
Nützlich für die programmatische Weiterverarbeitung oder zum Weiterleiten an jq:

Optimierte Websites

Web2MD enthält integrierte Adapter für diese Websites, die eine sauberere Ausgabe liefern als die generische Konvertierung:
  • Wikipedia — saubere Artikelextraktion, Behandlung von Infoboxen
  • arXiv — Paper-Zusammenfassungen und Metadaten
  • Hacker News — Threads mit Kommentaren
  • GitHub — Issues und Pull Requests
  • Stack Overflow — Fragen und Antworten
  • dev.to — Blogbeiträge
  • Medium — Artikel (umgeht die Paywall-Vorschau)
  • Substack — Newsletter-Beiträge
  • OpenAI Docs — Dokumentationsseiten
  • Mintlify-basierte Docs — Dokumentations-Websites auf Mintlify-Basis
  • Reddit — Beiträge und Kommentare (erfordert API-Schlüssel)

Gängige Workflows

Richten Sie das Kontextverzeichnis Ihres KI-Agenten auf ./context, um fundierte Antworten zu erhalten.
Erstellt einen indizierten, durchsuchbaren Recherche-Vault in Obsidian.
Entfernt Bilder und Links, um den Token-Verbrauch beim Weiterleiten an LLMs zu reduzieren.