[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.

В уроке рассмотрено:

• Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
• Получение title (с очисткой от HTML сущностей)
• Получение таких параметров как:
• кол-во предыдущих редиректов
• код ответа сервера
• кол-во внешних ссылок

Полезные ссылки:

• Вы не можете просматривать ссылки. Регистрация или Вход - готовый пресет в Каталоге
• Вы не можете просматривать ссылки. Регистрация или Вход - подробное описание по созданию настроек для парсинга в глубину сайта
• Вы не можете просматривать ссылки. Регистрация или Вход - документация по функции "Парсить до уровня"
  

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего Вы не можете просматривать ссылки. Регистрация или Вход, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:

А теперь перейдем непосредственно к сборнику.

Вы не можете просматривать ссылки. Регистрация или Вход
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.

Вы не можете просматривать ссылки. Регистрация или Вход
Кроме этого были обновлены:

• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход 

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Улучшения

• Добавлен новый парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
• Добавлен новый парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, который позволяет парсить поисковую выдачу на ebay.com
• Изменения в парсерах Google:
• Добавлена переменная $detected_geo, в которой содержится информация о геолокации
• В связи с неактуальностью удалены опции:
• Old desktop computer (IE6) в Device
  
• Util::AntiGate preset
  
• Use digit captcha
  

• В  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход увеличено максимальное значение Pages count до 25
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка новой верстки
• В  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка capmonster.cloud
• Парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
• Парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
• Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
• JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров

Исправления в связи с изменениями в выдаче

• Множество исправлений в Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, он теперь полностью дублирует  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
• Исправлен парсинг $indexed в Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
• В Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход исправлена работа с доменной зоной .sex
• Исправлен парсинг $title в Вы не можете просматривать ссылки. Регистрация или Вход  Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход,  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход,  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход

Исправления

• В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
• Исправлены проблемы с рандомизацией в некоторых случаях
• Исправлена ошибка в  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход при парсинге только массивов данных
• Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
• JS парсеры: исправлена работа с Node.js модулем socks
  
  
  Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Вы не можете просматривать ссылки. Регистрация или Вход
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
Вы не можете просматривать ссылки. Регистрация или Вход
Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Большая справочная статья, посвященная тематике редиректов.
Вы не можете просматривать ссылки. Регистрация или Вход
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Предыдущие сборники статей

• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.

В уроке рассмотрено:

• Парсинг поисковой выдачи Google
• Вывод уникальных результатов в качестве главных доменов
• Получение таких параметров как:
• зарегистрирован домен или нет
• дата регистрации и дата окончания регистрации домена
• язык сайта
• title и description
• индекс качества сайта
• позицию в глобальном рейтинге Alexa
• cтрану с наибольшим числом трафика по Alexa
• позицию в рейтинге этой страны по Alexa

Полезные ссылки:

• Вы не можете просматривать ссылки. Регистрация или Вход - парсер Net::Whois
  
• Вы не можете просматривать ссылки. Регистрация или Вход - парсер HTML::TextExtractor::LangDetect
  
• Вы не можете просматривать ссылки. Регистрация или Вход - парсер SE::Yandex::SQI
  

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход 

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Улучшения

• Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: Вы не можете просматривать ссылки. Регистрация или Вход
• Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
• Улучшена производительность Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
• В Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность подключать антигейт, а также поддержка сессий
• В Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность выбирать язык интерфейса, язык результатов и страну
• Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
• Исправлен парсинг рекламы в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход

Исправления

• Исправлена работа Bypass Cloudflare в некоторых случаях
• Исправлена работа при малом числе прокси
• Исправлена проблема при редактировании дополнительных форматов результатов

Вы не можете просматривать ссылки. Регистрация или Вход 

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Вы не можете просматривать ссылки. Регистрация или Вход
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

Вы не можете просматривать ссылки. Регистрация или Вход

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.

Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход 

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
Вы не можете просматривать ссылки. Регистрация или Вход

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.

Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

Улучшения

• Добавлен новый парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход - поиск картинок в Яндексе по ссылке
  
• В  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  добавлена возможность собирать ссылки на локации
  
• В   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка сессий
  
• В   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность определять считается ли домен "официальным"
  
• Улучшения в  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход для более качественного сбора почт
  
• В   Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  обновлен и значительно расширен список регионов
  
• Из   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход  удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
  

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $totalcount, рекламы и мобильной выдачи в парсерах Google
  
• Исправлен парсинг анкоров и сниппетов в  Вы не можете просматривать ссылки. Регистрация или Вход SE::Yandex
  
• Исправлены парсеры SerpStat
•    Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход ,  Вы не можете просматривать ссылки. Регистрация или Вход  Вы не можете просматривать ссылки. Регистрация или Вход,   Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход ,  Вы не можете просматривать ссылки. Регистрация или Вход  Вы не можете просматривать ссылки. Регистрация или Вход ,    Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  

Исправления

• Исправлен выбор страны в   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
  
• Исправлен баг с декодированием ссылок в  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  
• В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

Вы не можете просматривать ссылки. Регистрация или Вход 

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Вы не можете просматривать ссылки. Регистрация или Вход Net::HTTP

В видео рассмотрено

• Пользование разделом тестового парсинга
• Переход по страницам пагинации
• Проверка наличия определенного контента на странице сайта
• Использование регулярных выражений
• Применение конструктора результатов (декодирование HTML сущностей)
• Применение шаблонизатора Template Toolkit в формате результата:
• Использование инструмента $tools.CSVline
• Циклическая обработка директивой FOREACH
• Виртуальный метод .match
• Фильтры: .remove, .collapse, .replace

Полезные ссылки

• Net::HTTP - Вы не можете просматривать ссылки. Регистрация или Вход
  
• Тестовый парсинг - Вы не можете просматривать ссылки. Регистрация или Вход
  
• Template Toolkit - Вы не можете просматривать ссылки. Регистрация или Вход
  
• tools.CSVline - Вы не можете просматривать ссылки. Регистрация или Вход
  
• Готовый пресет: Вы не можете просматривать ссылки. Регистрация или Вход
  

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:

• телеграмм бот опросник
• парсер агрегатора цен hotline.ua
• парсер аукционов транспортных средств copart.com

Вы не можете просматривать ссылки. Регистрация или Вход
Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

Вы не можете просматривать ссылки. Регистрация или Вход
hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
Вы не можете просматривать ссылки. Регистрация или Вход

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.

Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

 

В видео рассмотрено:

• Нумерация файла результата в соответствии с запросами
• Нумерация файла результата + часть имени запроса
• Именование файла результата по запросу, если запрос линк

Полезные ссылки:

• Формат результата - Вы не можете просматривать ссылки. Регистрация или Вход
• Шаблонизатор Template Toolkit - Вы не можете просматривать ссылки. Регистрация или Вход
• Метод replace - Вы не можете просматривать ссылки. Регистрация или Вход

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Улучшения

• Добавлен парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • собираются списки подсказок и варианты ключевых слов
  • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
  • присутствует возможность указывать несколько ключевых слов в запросе
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
• В  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлены переменные сбор количества отзывов и оценок, а также рейтинга
• Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
• Автоматическое увеличение лимитов на ОС Linux
• Улучшена работа с регулярными выражениями
• При бане прокси в лог задания теперь выводится более детальная информация
• Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
  • Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
• Native NodeJS: добавлена экспериментальная поддержка HTTP/2
• Native NodeJS: обновление Node.js до актуальной версии
• JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее Вы не можете просматривать ссылки. Регистрация или Вход
  

Исправления в связи с изменениями в выдаче

• Исправлено скачивание каптчи в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
• Исправлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход: в $anchors переменная $bl заменена на $domains
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход исправлены:
  • парсинг mobile news
  • баг с дублированием ссылок в выдаче
  • парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp
• В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход исправлен парсинг gif
• Исправлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, убраны flat переменные $height и $width
• Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  

Исправления

• Исправлена работа Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход с доменами 3го уровня, а также улучшена проверка получаемого ответа
• Исправлена работа Extra query string в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
• Исправлена работа Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход при получении ответа без данных
• Исправлен баг с типами переменных
• Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
• Исправлена работа Bypass Cloudflare
• Исправлен динамический лимит потоков
• Исправлена ошибка при использовании Request delay
• Исправлено предупреждение о превышении лимита в Поле запросов
• Исправлена работа $tools.task.id в имени файла результата
• JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
• JS парсеры: исправлено определение кодировки страницы
• Native NodeJS: исправлено поведение при некоторых ошибках
• Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
• Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
• Native NodeJS: исправлена работа SOCKS5 с авторизацией
• Native NodeJS: исправлена подстановка данных после Конструктора запросов

Вы не можете просматривать ссылки. Регистрация или Вход     

[A-Parser_Support]

Вы не можете просматривать ссылки. Регистрация или Вход

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:

• парсер данных о посещаемости организаций
• парсер данных о SSL сертификатах
• парсер товаров на ikea.com
• комплексный пресет для анализа доменов по ряду характеристик
• способ извлечения доменов из ссылок без фактического захода на страницу

Вы не можете просматривать ссылки. Регистрация или Вход
В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.
Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход
Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.
Вы не можете просматривать ссылки. Регистрация или Вход

Кроме этого:

• Вы не можете просматривать ссылки. Регистрация или Вход
• Вы не можете просматривать ссылки. Регистрация или Вход
  

Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход