0 Пользователей и 1 Гость просматривают эту тему.

Вы не можете просматривать ссылки. Регистрация или Вход

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.


В уроке рассмотрено:
  • Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
  • Получение title (с очисткой от HTML сущностей)
  • Получение таких параметров как:
    • кол-во предыдущих редиректов
    • код ответа сервера
    • кол-во внешних ссылок
    Полезные ссылки:

    • Вы не можете просматривать ссылки. Регистрация или Вход - готовый пресет в Каталоге
    • Вы не можете просматривать ссылки. Регистрация или Вход - подробное описание по созданию настроек для парсинга в глубину сайта
    • Вы не можете просматривать ссылки. Регистрация или Вход - документация по функции "Парсить до уровня"
    Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

    Вы не можете просматривать ссылки. Регистрация или Вход

    Вы не можете просматривать ссылки. Регистрация или Вход
    36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

    Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего Вы не можете просматривать ссылки. Регистрация или Вход, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:



    А теперь перейдем непосредственно к сборнику.

    Вы не можете просматривать ссылки. Регистрация или Вход
    Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.

    Вы не можете просматривать ссылки. Регистрация или Вход
    Вы не можете просматривать ссылки. Регистрация или Вход
    Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.

    Вы не можете просматривать ссылки. Регистрация или Вход
    Вы не можете просматривать ссылки. Регистрация или Вход
    Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.

    Вы не можете просматривать ссылки. Регистрация или Вход
    Кроме этого были обновлены:
    Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
    Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
    Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
    Вы не можете просматривать ссылки. Регистрация или Вход
    Вы не можете просматривать ссылки. Регистрация или Вход 

    Вы не можете просматривать ссылки. Регистрация или Вход
    Вы не можете просматривать ссылки. Регистрация или Вход
    Улучшения
    • Добавлен новый парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
    • Добавлен новый парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход, который позволяет парсить поисковую выдачу на ebay.com
    • Изменения в парсерах Google:
      • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
      • В связи с неактуальностью удалены опции:
        • Old desktop computer (IE6) в Device
        • Util::AntiGate preset
        • Use digit captcha
        • В  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход увеличено максимальное значение Pages count до 25
        • В Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка новой верстки
        • В  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка capmonster.cloud
        • Парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
        • Парсер  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
        • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
        • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
        Исправления в связи с изменениями в выдаче
        Исправления

        • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
        • Исправлены проблемы с рандомизацией в некоторых случаях
        • Исправлена ошибка в  Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход при парсинге только массивов данных
        • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
        • JS парсеры: исправлена работа с Node.js модулем socks


          Вы не можете просматривать ссылки. Регистрация или Вход
        « Последнее редактирование: 12 Декабрь 2019, 18:32:13 от A-Parser_Support »

        Вы не можете просматривать ссылки. Регистрация или Вход
        37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

        Вы не можете просматривать ссылки. Регистрация или Вход
        Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.
        Вы не можете просматривать ссылки. Регистрация или Вход
        Вы не можете просматривать ссылки. Регистрация или Вход
        Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.
        Вы не можете просматривать ссылки. Регистрация или Вход
        Пресеты для парсинга публичных групп в Telegram
        Начиная с версии 1.2.709 в А-Парсер был добавлен Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:
        Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
        Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.
        Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

        Вы не можете просматривать ссылки. Регистрация или Вход
        В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        Большая справочная статья, посвященная тематике редиректов.
        Вы не можете просматривать ссылки. Регистрация или Вход
        Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.
        Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
        Предыдущие сборники статей
        Вы не можете просматривать ссылки. Регистрация или Вход


        Вы не можете просматривать ссылки. Регистрация или Вход

        В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.


        В уроке рассмотрено:
        • Парсинг поисковой выдачи Google
        • Вывод уникальных результатов в качестве главных доменов
        • Получение таких параметров как:
          • зарегистрирован домен или нет
          • дата регистрации и дата окончания регистрации домена
          • язык сайта
          • title и description
          • индекс качества сайта
          • позицию в глобальном рейтинге Alexa
          • cтрану с наибольшим числом трафика по Alexa
          • позицию в рейтинге этой страны по Alexa
        Полезные ссылки:
        Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход 

        Вы не можете просматривать ссылки. Регистрация или Вход
        Вы не можете просматривать ссылки. Регистрация или Вход
        Улучшения
        • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: Вы не можете просматривать ссылки. Регистрация или Вход
        • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
        • Улучшена производительность Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
        • В Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность подключать антигейт, а также поддержка сессий
        • В Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность выбирать язык интерфейса, язык результатов и страну
        • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%
        Исправления в связи с изменениями в выдаче
        Исправления
        • Исправлена работа Bypass Cloudflare в некоторых случаях
        • Исправлена работа при малом числе прокси
        • Исправлена проблема при редактировании дополнительных форматов результатов
        Вы не можете просматривать ссылки. Регистрация или Вход 

        Вы не можете просматривать ссылки. Регистрация или Вход

        38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

        Вы не можете просматривать ссылки. Регистрация или Вход
        Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
        Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.

        Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход 

        Вы не можете просматривать ссылки. Регистрация или Вход

        11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

        Вы не можете просматривать ссылки. Регистрация или Вход
        В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь Вы не можете просматривать ссылки. Регистрация или Вход.

        Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        Улучшения
        • Добавлен новый парсер Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход - поиск картинок в Яндексе по ссылке
        • В  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  добавлена возможность собирать ссылки на локации
        • В   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена поддержка сессий
        • В   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход добавлена возможность определять считается ли домен "официальным"
        • Улучшения в  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход для более качественного сбора почт
        • В   Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход  обновлен и значительно расширен список регионов
        • Из   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход  удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи
        Исправления в связи с изменениями в выдаче
        Исправления
        • Исправлен выбор страны в   Вы не можете просматривать ссылки. Регистрация или ВходВы не можете просматривать ссылки. Регистрация или Вход
        • Исправлен баг с декодированием ссылок в  Вы не можете просматривать ссылки. Регистрация или Вход Вы не можете просматривать ссылки. Регистрация или Вход
        • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти

        Вы не можете просматривать ссылки. Регистрация или Вход 

        Вы не можете просматривать ссылки. Регистрация или Вход

        В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Вы не можете просматривать ссылки. Регистрация или Вход Net::HTTP


        В видео рассмотрено
        • Пользование разделом тестового парсинга
        • Переход по страницам пагинации
        • Проверка наличия определенного контента на странице сайта
        • Использование регулярных выражений
        • Применение конструктора результатов (декодирование HTML сущностей)
        • Применение шаблонизатора Template Toolkit в формате результата:
          • Использование инструмента $tools.CSVline
          • Циклическая обработка директивой FOREACH
          • Виртуальный метод .match
          • Фильтры: .remove, .collapse, .replace

        Полезные ссылки
        Оставляйте комментарии и Вы не можете просматривать ссылки. Регистрация или Вход
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход

        Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
        • телеграмм бот опросник
        • парсер агрегатора цен hotline.ua
        • парсер аукционов транспортных средств copart.com
        Вы не можете просматривать ссылки. Регистрация или Вход
        Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
        Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.


        Вы не можете просматривать ссылки. Регистрация или Вход
        hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Вы не можете просматривать ссылки. Регистрация или Вход
        Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.
        Вы не можете просматривать ссылки. Регистрация или Вход

        Еще больше различных рецептов в нашем Вы не можете просматривать ссылки. Регистрация или Вход!
        Предлагайте ваши идеи для новых парсеров Вы не можете просматривать ссылки. Регистрация или Вход, лучшие будут реализованы и опубликованы.

        Подписывайтесь на Вы не можете просматривать ссылки. Регистрация или Вход - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Вы не можете просматривать ссылки. Регистрация или Вход.
        Вы не можете просматривать ссылки. Регистрация или Вход
        Вы не можете просматривать ссылки. Регистрация или Вход