0 Пользователей и 1 Гость просматривают эту тему.

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход Улучшения
  • Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
  • Добавлен повтор без смены прокси при неудачной отправке рекаптчи в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Добавлен бан прокси при получении 403 кода ответа в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Процент неудачных запросов теперь отображается относительно числа выполненных запросов
  • Добавлена возможность вызвать URL после выполнения задания
  • Улучшен обзор каталогов при выборе файлов запросов
  • Добавлена поддержка setInterval в JavaScript парсерах
  • Уменьшено Wait between get status и улучшено логгирование в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Улучшена обработка редиректов
  • Добавлена защита от бесконечного выполнения в JavaScript парсерах
  • Значительно увеличены возможности check_content в JS парсерах
  • В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads
Исправления в связи с изменениями в выдачеИсправления
  • Исправлено ведение лога при нескольких паузах задания
  • Исправлена ошибка, из-за которой запрос считался неудачным при пустой выдаче в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена работа с url, содержащими фрагмент # в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлен парсинг ссылок в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена работа опции Pages count в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлен выбор файлов запросов на Windows 10
  • Исправлена ошибка, из-за которой иногда нельзя было удалить файл с запросами
  • Исправлено отображение проксичекера в конфиге потоков
  • Исправлена кодировка некоторых результатов в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена ситуация, когда не читались настройки из config.txt

Вы не можете просматривать ссылки. Регистрация или Вход
24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!
Вы не можете просматривать ссылки. Регистрация или Вход
Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
В А-Парсере есть стандартный парсер Check::RosKomNadzor Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса, для работы обязательно нужно подключать антигейт. Кроме того, официальный сервис РКН часто подвергается атакам, в связи с чем может быть недоступен. Но существуют альтернативные источники данных, доступность которых значительно выше и к тому же не требующие проверки в виде каптчи. Парсинг одного из таких источников и реализована в пресете по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Как известно, в A-Parser реализована возможность чтения/записи данных в БД SQLite. В этом рецепте показано использование этого функционала на примере парсинга курсов валют. Готовый парсер доступен по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь наВы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход Улучшения
  • В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход больше не считается неудачным запросом
  • Улучшена работа с сессиями в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
Исправления в связи с изменениями в выдачеИсправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах

Вы не можете просматривать ссылки. Регистрация или Вход
В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Вы не можете просматривать ссылки. Регистрация или Вход

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или Вход

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.Вы не можете просматривать ссылки. Регистрация или ВходЕсли вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

Предыдущие сборники статей

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

Вы не можете просматривать ссылки. Регистрация или Вход

В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- Вы не можете просматривать ссылки. Регистрация или Вход - учебник по SQL
- Вы не можете просматривать ссылки. Регистрация или Вход - тоже учебник по SQL
- Вы не можете просматривать ссылки. Регистрация или Вход - сайт, который использовался в качестве примера
-Вы не можете просматривать ссылки. Регистрация или Вход - статья и готовый парсер

Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или ВходУлучшенияИсправления в связи с изменениями в выдачеИсправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход и Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground

Вы не можете просматривать ссылки. Регистрация или Вход
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!
Вы не можете просматривать ссылки. Регистрация или Вход
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Предыдущие сборники рецептов:

Вы не можете просматривать ссылки. Регистрация или Вход
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
Вы не можете просматривать ссылки. Регистрация или Вход
В одной из наших Вы не можете просматривать ссылки. Регистрация или Входмы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.
В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:
Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход!

Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Улучшения
  • Добавлен парсер Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход - парсер Индекса качества сайта (Яндекс ИКС)
  • Оптимизирована работа Очереди заданий
  • Добавлена поддержка множества экзотических кодировок китайского языка
  • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
  • Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход полностью переписан с использованием современного юзерагента
  • Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход оптимизирован и переписан на JavaScript
  • Улучшена работа Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход,Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход,Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход,Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход для некоторых доменных зон
  • Исправлена ошибка, при которой не импортировался пресет, если не установлены модули, используемые в нем
  • Исправлена кодировка при использовании fs.readdirSync в JS парсерах

Вы не можете просматривать ссылки. Регистрация или Вход
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!
Вы не можете просматривать ссылки. Регистрация или Вход
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Вы не можете просматривать ссылки. Регистрация или Вход
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.
Вы не можете просматривать ссылки. Регистрация или Вход
Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.
Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
Предыдущие сборники статей