Pular para o conteúdo principal

Visão geral

O CLI do Web2MD permite converter qualquer URL em Markdown limpo diretamente do seu terminal. Envie a saída via pipe para LLMs, processe listas de URLs em lote ou importe conteúdo para o seu vault do Obsidian — tudo sem abrir um navegador.
O CLI requer Node.js 18+. Rode node -v para verificar sua versão.

Instalação

Nenhuma instalação necessária — basta rodar com npx:
Ou instale globalmente para uma inicialização mais rápida:

Modos

O CLI do Web2MD opera em três modos, dependendo da sua configuração:

Local

Modo padrão. Não requer API key. Busca páginas e converte localmente. Funciona para a maioria dos sites públicos.

Server

Com API key. Configure WEB2MD_API_KEY para desbloquear Reddit, Fandom/Wikia e outros sites restritos que exigem processamento no servidor.

Bridge

Com a flag --bridge. Usa sua extensão do Chrome para buscar páginas renderizadas via JS ou protegidas por login, que a busca estática não consegue alcançar.

Flags

Variáveis de ambiente

Adicione essas variáveis ao perfil do seu shell (~/.zshrc ou ~/.bashrc) para que persistam entre sessões:

Exemplos de uso

Conversão básica

Exibe o Markdown no stdout.

Enviar via pipe para um LLM

Salvar em arquivo

A flag --meta adiciona um frontmatter YAML com título, URL de origem, contagem de palavras, contagem de tokens, tempo de leitura e data.

Lote a partir de um arquivo

Crie um arquivo urls.txt:
Depois rode:
Cada URL é salva como um arquivo .md separado no diretório ./research.

Importação para o vault do Obsidian

Isso salva cada página em ~/Documents/MyVault/raw/ e atualiza ~/Documents/MyVault/INDEX.md com links para todas as páginas convertidas.

Reddit com API key

O Reddit exige uma API key válida. Sem ela, URLs do Reddit falharão devido às restrições anti-bot do Reddit.

Modo Bridge

Use a extensão do Chrome para lidar com páginas renderizadas via JS ou protegidas por login:
O modo Bridge requer que a extensão Web2MD para Chrome esteja instalada e o Chrome esteja em execução. O CLI se comunica com a extensão via protocolo de mensagens nativas do Chrome.

Saída em JSON

Retorna uma saída estruturada:
Útil para consumo programático ou envio via pipe para o jq:

Sites otimizados

O Web2MD inclui adaptadores nativos para estes sites, produzindo uma saída mais limpa do que a conversão genérica:
  • Wikipedia — extração limpa de artigos, tratamento de infobox
  • arXiv — resumos e metadados de papers
  • Hacker News — threads com comentários
  • GitHub — Issues e Pull Requests
  • Stack Overflow — perguntas e respostas
  • dev.to — posts de blog
  • Medium — artigos (contorna o preview do paywall)
  • Substack — posts de newsletter
  • OpenAI Docs — páginas de documentação
  • Documentações baseadas em Mintlify — sites de documentação construídos com Mintlify
  • Reddit — posts e comentários (requer API key)

Fluxos de trabalho comuns

Aponte o diretório de contexto do seu agente de IA para ./context para obter respostas fundamentadas.
Cria um vault de pesquisa indexado e pesquisável no Obsidian.
Remove imagens e links para reduzir o uso de tokens ao enviar via pipe para LLMs.