Saltar al contenido principal

Descripción general

La CLI de Web2MD te permite convertir cualquier URL a Markdown limpio directamente desde tu terminal. Envía el resultado a LLMs, procesa listas de URLs en lote o incorpora contenido a tu bóveda de Obsidian, todo sin abrir un navegador.
La CLI requiere Node.js 18+. Ejecuta node -v para comprobar tu versión.

Instalación

No se necesita instalación — simplemente ejecútala con npx:
O instálala de forma global para un inicio más rápido:

Modos

La CLI de Web2MD opera en tres modos según tu configuración:

Local

Modo predeterminado. No requiere clave de API. Obtiene páginas y las convierte localmente. Funciona para la mayoría de los sitios web públicos.

Servidor

Con clave de API. Configura WEB2MD_API_KEY para desbloquear Reddit, Fandom/Wikia y otros sitios restringidos que requieren procesamiento en el servidor.

Bridge

Con la opción --bridge. Usa tu extensión de Chrome para obtener páginas renderizadas con JS o protegidas por inicio de sesión a las que la obtención estática no puede acceder.

Opciones

Variables de entorno

Añade estas variables a tu perfil de shell (~/.zshrc o ~/.bashrc) para que persistan entre sesiones:

Ejemplos de uso

Conversión básica

Imprime Markdown en la salida estándar (stdout).

Enviar a un LLM

Guardar en un archivo

La opción --meta antepone frontmatter YAML con el título, la URL de origen, el conteo de palabras, el conteo de tokens, el tiempo de lectura y la fecha.

Procesamiento en lote desde un archivo

Crea un archivo urls.txt:
Luego ejecuta:
Cada URL se guarda como un archivo .md independiente en el directorio ./research.

Incorporación a una bóveda de Obsidian

Esto guarda cada página en ~/Documents/MyVault/raw/ y actualiza ~/Documents/MyVault/INDEX.md con enlaces a todas las páginas convertidas.

Reddit con clave de API

Reddit requiere una clave de API válida. Sin ella, las URLs de Reddit fallarán debido a las restricciones antibots de Reddit.

Modo Bridge

Usa la extensión de Chrome para gestionar páginas renderizadas con JS o protegidas por inicio de sesión:
El modo Bridge requiere que la extensión de Chrome de Web2MD esté instalada y que Chrome esté en ejecución. La CLI se comunica con la extensión mediante el protocolo de mensajería nativa de Chrome.

Salida en JSON

Devuelve una salida estructurada:
Útil para el consumo programático o para enviarlo a jq:

Sitios optimizados

Web2MD incluye adaptadores integrados para estos sitios, que producen un resultado más limpio que la conversión genérica:
  • Wikipedia — extracción limpia de artículos, gestión de infoboxes
  • arXiv — resúmenes y metadatos de artículos
  • Hacker News — hilos con comentarios
  • GitHub — Issues y Pull Requests
  • Stack Overflow — preguntas y respuestas
  • dev.to — entradas de blog
  • Medium — artículos (evita la vista previa del muro de pago)
  • Substack — publicaciones de newsletter
  • OpenAI Docs — páginas de documentación
  • Documentación basada en Mintlify — sitios de documentación construidos sobre Mintlify
  • Reddit — publicaciones y comentarios (requiere clave de API)

Flujos de trabajo comunes

Apunta el directorio de contexto de tu agente de IA a ./context para obtener respuestas fundamentadas.
Crea una bóveda de investigación indexada y con capacidad de búsqueda en Obsidian.
Elimina imágenes y enlaces para reducir el uso de tokens al enviar contenido a LLMs.