0 Пользователей и 1 Гость просматривают эту тему.

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Добавлен бан прокси при получении 403 кода ответа в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдачеИсправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена работа с url, содержащими фрагмент # в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлен парсинг ссылок в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена работа опции Pages count в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена ситуация, когда не читались настройки из config.txt

Вы не можете просматривать ссылки. Регистрация или Вход
24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!
Вы не можете просматривать ссылки. Регистрация или Вход
Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
В А-Парсере есть стандартный парсер Check::RosKomNadzor Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализована в пресете по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Как известно, в A-Parser реализована возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь наВы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход Улучшения
  • В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход больше не считается неудачным запросом
  • Улучшена работа с сессиями в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах

Вы не можете просматривать ссылки. Регистрация или Вход
В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Вы не можете просматривать ссылки. Регистрация или Вход

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.Вы не можете просматривать ссылки. Регистрация или ВходЕсли вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Предыдущие сборники статей

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

Вы не можете просматривать ссылки. Регистрация или Вход

В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- Вы не можете просматривать ссылки. Регистрация или Вход - учебник по SQL
- Вы не можете просматривать ссылки. Регистрация или Вход - тоже учебник по SQL
- Вы не можете просматривать ссылки. Регистрация или Вход - сайт, который использовался в качестве примера
-Вы не можете просматривать ссылки. Регистрация или Вход - статья и готовый парсер

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или ВходУлучшенияИсправления в связи с изменениями в выдачеИсправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground

Вы не можете просматривать ссылки. Регистрация или Вход
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!
Вы не можете просматривать ссылки. Регистрация или Вход
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Предыдущие сборники рецептов: