[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

В видео рассмотрено:

• Вывод результатов в разные файлы с разными именами используя переменные
• Вывод результатов для каждого файла отдельно по определенному условию
• Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:

• Вы не можете просматривать ссылки. Регистрация или Вход - Шаблонизатор Template Toolkit
  
• Вы не можете просматривать ссылки. Регистрация или Вход - условная обработка (IF, UNLESS, ELSIF, ELSE)
  
• Вы не можете просматривать ссылки. Регистрация или Вход - циклическая обработка FOREACH
  
• Вы не можете просматривать ссылки. Регистрация или Вход - тестировщик заданий
  

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.

• Работа с Google таблицами
• Отправка писем из А-Парсера
• Авторизация с помощью puppeteer

Вы не можете просматривать ссылки. Регистрация или Вход
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
Вы не можете просматривать ссылки. Регистрация или Вход 
Вы не можете просматривать ссылки. Регистрация или Вход
Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.
Вы не можете просматривать ссылки. Регистрация или Вход

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е
Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.
Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход был полностью переписан и стабилизирован, добавлена поддержка нового формата apps.json и поддержка пользовательских правил.
Улучшения

• NodeJS обновлен до v14.2.0, v8 до 8.1
• Добавлена поддержка параметра data-s в рекаптчах для Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, также добавлена опция ReCaptcha2 pass proxy
  
• Увеличен лимит потоков до 10000 для OS Windows
• Значительно улучшена производительность при большом числе активных прокси и/или заданий, полностью переписан стек по работе с прокси, оптимизирована работа с большими списками
• Добавлен новый парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Полностью переписаны на JS Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Улучшена производительность при использовании регулярных выражений, а также улучшена совместимость
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлено автоматическое получение токена
  
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена возможность парсить ссылки на кэшированные страницы, а также добавлена возможность парсить мобильную выдачу
  
• В парсере Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход при выборе провайдера Capmonster или Xevil теперь необязательно указывать Provider url
  
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена возможность указывать произвольный диапазон дат
  
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлен выбор движка регулярок и поддержка собственного файла с признаками
  
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена опция Don't scrape if no other sizes, которая позволяет отключить сбор результатов, если искомой картинки нет в других размерах
  
• [NodeJS] Добавлена защита от бесконечных циклов и долгих регулярок
• [NodeJS] Исправлена работа this.cookies.getAll()
  
• [JS парсеры] Добавлена опция follow_meta_refresh для this.request
  
• [JS парсеры] Добавлена опция bypass_cloudflare для this.request
  
• [JS парсеры] Underscore заменен на Lodash
• [JS парсеры] В логе добавлена пометка при вызове других парсеров
• [JS парсеры] Использование предыдущего прокси после запроса к другому парсеру
• [JS парсеры] Добавлен метод destroy()
  

Исправления в связи с изменениями в выдаче

• Множество исправлений в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, в т.ч. парсинг по тегам
  
• Исправлен сбор ссылок в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлен парсинг телефонов в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлена работа с каптчами в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход удалена переменная $facebook_comment в связи с неактуальностью
  
• Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  

Исправления

• Исправлен баг, из-за которого игнорировался выбранный проксичекер
• Исправлена работа функций Decode HTML entities и Extract domain в Конструкторе результатов
  
• Исправлена проблема с определением кодировки
• Исправлена ошибка использования $tools.query
  
• Исправлен баг в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход при котором использовались все попытки при отсутствии результатов
  
• Исправлена работа http2
• Исправлена ошибка, когда парсер падает из-за невозможности писать в alive.txt
• Исправлено разгадывание каптч в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлена разница в запросах, отправляемых через Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и JS
  
• Исправлен баг в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлены ошибки в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход при выборе приложения без категории
  
• [NodeJS] Исправлен подсчет времени исполнения кода парсера
• [JS парсеры] При пустом body не передавался заголовок content-length при post запросе
• [JS парсеры] Исправлена работа CloudFlare bypass
• [JS парсеры] Исправлена работа с сессиями
• [JS парсеры] Исправлена работа с overrides для this.parser.request
  
• [JS парсеры] Исправлена ошибка определения кодировки в JS парсерах

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Представляем 42-й сборник рецептов, в котором собраны парсеры для определения наличия на сайте битых ссылок, сбора данных об используемых сервисах статистики и определения коммерциализации ключевых слов.
Вы не можете просматривать ссылки. Регистрация или Вход
Ahrefs Broken Link Checker - это сервис, позволяющий определить наличие битых ссылок на сайте, а также некоторую другую полезную информацию.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Этот парсер собирает данные об используемых на сайтах сервисах статистики с ресурса BuiltWith. С его помощью можно получить список id используемых сервисов статистики, а также список других сайтов, на которых используются эти же id.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Способ определения степени коммерциализации ключевых слов, основанный на анализе поисковой выдачи Яндекса. Оценивается количество вхождений определенного списка слов в анкорах и сниппетах ТОП10 выдачи.
Вы не можете просматривать ссылки. Регистрация или Вход
Кроме этого:

• Вы не можете просматривать ссылки. Регистрация или Вход
  

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
В этом видео рассмотрели где смотреть переменные, какие бывают скрытые переменные и какой результат они выводят на примерах.

Содержание видео:
Вы не можете просматривать ссылки. Регистрация или Вход - 1. Где смотреть какие у парсера есть переменные?
Вы не можете просматривать ссылки. Регистрация или Вход - 2. Какие бывают скрытые переменные ($query.*, $root и т.п.)?
Вы не можете просматривать ссылки. Регистрация или Вход - переменная root
Вы не можете просматривать ссылки. Регистрация или Вход - переменная root объект
Вы не можете просматривать ссылки. Регистрация или Вход - переменная query.orig
Вы не можете просматривать ссылки. Регистрация или Вход - переменная query.first
Вы не можете просматривать ссылки. Регистрация или Вход - переменная query.lvl
Вы не можете просматривать ссылки. Регистрация или Вход - переменная query.prev
Вы не можете просматривать ссылки. Регистрация или Вход - переменная query.num
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход 
Улучшения

• Добавлен парсер  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  Собираемые данные: вся информация, содержащаяся на странице.
  
• Добавлены парсеры Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  Для работы парсеров необходимо указать пресет Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  • Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
    В качестве запроса следует указывать ipv4 адрес.
    Собирает домены по IP и информацию о них.
    
  • Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
    В качестве запроса следует указывать домен, например a-parser.com.
    Собираемые данные:
    • Данные по DNS
    • Список технологий, используемых на сайте (движки и проч.)
    • Список открытых портов
    • Alexa rank
    • Страна
    • Хостер
    • Даты начала и окончания регистрации
    • Whois статус
    • Регистратор
    • Список исторических данных по DNS
    • Список субдоменов
• Добавлена возможность отключать валидацию TLS сертификатов.
• Добавлена поддержка доменных прокси.

Исправления в связи с изменениями в выдаче

• Исправлен парсинг новостей в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• Исправлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• Исправления в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход:
  • исправлен парсинг турбо ссылок;
  • исправлен парсинг новостных сниппетов.
• Исправления в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• Исправления в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход - ошибка в выборе стран, у которых одинаковый домен, восстановлен парсинг сниппетов.
  

Исправления

• Исправлена ошибка в алгоритме автовыбора домена в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• Исправлена работа Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• Исправлена ошибка, если файл config.txt был сохранен в кодировке utf-8 с BOM (парсер некорректно читал файл).
• Решена проблема с переопределениями опций в парсере Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход.
  
• NodeJS: новые установленные модули теперь доступны до перезагрузки A-Parser'a.
• Исправлено падение парсера при вызове метода getProxies.

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
В 12-м сборнике статей рассказывается о принципах работы парсеров и факторах, влияющих на их скорость, показаны возможности debug режима в Тестовом парсинге по отладке запросов, а также на реальном примере разбирается работа с куками.
Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье подробно рассказано об основном принципе работы парсеров и скорости их работы, а также рассмотрены основные факторы, влияющие на скорость парсинга.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье рассказывается об одном из методов отладки парсеров, а также об анализе получаемых данных - debug режиме в Тестовом парсинге. С его помощью можно прямо в парсере анализировать и экспериментировать с заголовками и изучать приходящие в ответ данные.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
А в этой статье на реальном примере показана работа с куками сайта: рассказано как определять необходимость передавать куки и как искать только необходимые для запроса куки. При этом показаны два варианта: простые запросы средствами А-Парсера и использование NodeJS модуля puppeteer.
Вы не можете просматривать ссылки. Регистрация или Вход
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
В этом видео уроке рассмотрены ответы на 3 часто задаваемых вопроса от новых пользователей А-Парсера

• Где и как можно посмотреть результаты парсинга?
• Как подключить прокси с авторизацией?
• Extra query string, что это такое и как применять эту опцию?

В уроке рассмотрено:

• Просмотр результатов парсинга 3-мя способами:
  • Способ первый. "Из очереди заданий, если задание на паузе".
  • Способ второй. "Из очереди заданий, если задание завершено".
  • Способ третий. "Забираем результат из папки results".
• Подключение прокси с авторизацией.
• Примеры использования опции Extra query string.

Полезные ссылки:

• Вы не можете просматривать ссылки. Регистрация или Вход - сохранение результатов (каталог)
  
• Вы не можете просматривать ссылки. Регистрация или Вход - Сохранение результатов нескольких парсеров в разные папки
  
• Вы не можете просматривать ссылки. Регистрация или Вход - Сохранение результатов в несколько файлов используя переменные, массивы и условия (видео)
  
• Вы не можете просматривать ссылки. Регистрация или Вход - Сохранение результатов в Google SpreadSheets
  
• Вы не можете просматривать ссылки. Регистрация или Вход - Настройка прокси
  
• Вы не можете просматривать ссылки. Регистрация или Вход - Общие настройки для парсеров
  

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

43-й сборник рецептов, в который вошли пресет для парсинга освобождающихся доменов, парсер категорий сайтов и пример сбора данных из PDF документов.

Вы не можете просматривать ссылки. Регистрация или Вход
Пресет, позволяющий парсить домены с аукциона Reg.ru. В пресете реализована возможность указывать количество страниц пагинации и использовать фильтр по ключевому слову.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Парсер, собирающий категории сайтов из MegaIndex.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Пример парсинга данных из документов в формате PDF. Для работы используется Node.js модуль pdf-parse.
Вы не можете просматривать ссылки. Регистрация или Вход

Кроме этого:

• Вы не можете просматривать ссылки. Регистрация или Вход - сбор ссылок на локации в Instagram
  

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.

Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход