Обзор
Web2MD CLI позволяет конвертировать любой URL в чистый Markdown прямо из терминала. Передавайте вывод в LLM, обрабатывайте списки URL пакетно или загружайте контент в свой Obsidian-хранилище — и всё это без открытия браузера.Для работы CLI требуется Node.js 18+. Выполните
node -v, чтобы проверить версию.Установка
Устанавливать ничего не нужно — просто запустите черезnpx:
Режимы
Web2MD CLI работает в трёх режимах в зависимости от конфигурации:Локальный
Режим по умолчанию. API-ключ не требуется. Загружает страницы и конвертирует их локально. Работает для большинства публичных сайтов.
Серверный
С API-ключом. Задайте
WEB2MD_API_KEY, чтобы получить доступ к Reddit, Fandom/Wikia и другим ограниченным сайтам, требующим серверной обработки.Bridge
С флагом
--bridge. Использует ваше расширение Chrome для загрузки страниц с JS-рендерингом или защищённых авторизацией, которые статическая загрузка обработать не может.Флаги
Команды
Помимо конвертации URL, у CLI есть две подкоманды для аутентификации и синхронизации Library:login
https://web2md.org и показывает код для подтверждения. После подтверждения ваш API-ключ сохраняется в ~/.web2md/config.json — больше не нужно экспортировать WEB2MD_API_KEY в каждой оболочке. MCP-сервер читает из того же файла, так что авторизация здесь также аутентифицирует вызовы инструментов MCP.
Хотите вставить ключ напрямую вместо браузерного flow?
w2m_...) через stdin и сохраняет его так же. Получить ключ можно в дашборде.
sync
WEB2MD_API_KEY).
По умолчанию синхронизация инкрементальная: она отслеживает курсор в
<dir>/.web2md-sync.json и при последующих запусках получает только новые элементы. Укажите Obsidian (или любой инструмент для чтения Markdown) на целевую директорию, чтобы просматривать вашу Library как заметки.
Переменные окружения
Примеры использования
Базовая конвертация
Передача в LLM
Сохранение в файл
--meta добавляет в начало YAML-фронтматтер с заголовком, исходным URL, количеством слов, количеством токенов, временем чтения и датой.
Пакетная обработка из файла
Создайте файлurls.txt:
.md в директории ./research.
Загрузка в хранилище Obsidian
~/Documents/MyVault/raw/ и обновляет ~/Documents/MyVault/INDEX.md ссылками на все конвертированные страницы.
Reddit с API-ключом
Режим Bridge
Используйте расширение Chrome для обработки страниц с JS-рендерингом или защищённых авторизацией:Для режима Bridge требуется установленное расширение Web2MD для Chrome и запущенный Chrome. CLI взаимодействует с расширением через протокол нативных сообщений (native messaging) Chrome.
Вывод в JSON
jq:
Оптимизированные сайты
Web2MD включает встроенные адаптеры для следующих сайтов, обеспечивая более чистый результат по сравнению с обычной конвертацией:Сайты с оптимизированной поддержкой
Сайты с оптимизированной поддержкой
- Wikipedia — чистое извлечение статей, обработка инфобоксов
- arXiv — аннотации статей и метаданные
- Hacker News — треды с комментариями
- GitHub — Issues и Pull Requests
- Stack Overflow — вопросы и ответы
- dev.to — записи блога
- Medium — статьи (обходит превью пейвола)
- Substack — рассылки
- OpenAI Docs — страницы документации
- Mintlify-based docs — сайты документации на базе Mintlify
- Reddit — посты и комментарии (требуется API-ключ)
Типовые сценарии
Передать документацию AI-агенту
Передать документацию AI-агенту
./context в качестве контекста для вашего AI-агента, чтобы получать обоснованные ответы.Собрать исследовательский корпус
Собрать исследовательский корпус
Убрать форматирование для ввода в LLM
Убрать форматирование для ввода в LLM