Как сделать новостной агрегатор
Добавил пользователь Евгений Кузнецов Обновлено: 05.10.2024
WordPress имеет огромное количество различных дополнений, которые многократно расширяют функционал этой CMS. Среди этих расширений есть и такие, которые позволяют создавать настраиваемые формы, делать интеграции слайдеров и даже создавать страницы без навыков веб-разработки. Помимо подобных плагинов есть и такое расширение, с помощью которого можно отображать статьи с любых сайтов на своем ресурсе. Причем делать это можно в автоматическом режиме. Это расширение – WP RSS Aggregator. В этой статье мы сначала посмотрим, что это за дополнение, а затем научимся им пользоваться.
Что такое агрегаторы сайтов
Сначала мы разберемся с понятием “агрегаторы сайтов”. В интернете можно найти большое количество информации на разные тематики. Чтобы избавится от необходимости постоянно заходить на разные ресурсы и брать контент оттуда, можно использовать агрегаторы сайтов. Агрегатор позволяет подписываться на разные сайты и в автоматическом режиме выводить контент с них на указанном ресурсе. Достаточно один раз настроить выведение постов и дальше расширение будет работать в автоматическом режиме.
WP RSS Aggregator – как работает расширение
WP RSS Aggregator работает по такому же принципу, что и подобные ему расширения. То есть, с помощью этого агрегатора вы подписываетесь на RSS-ленты сайтов, а затем уже плагин импортирует контент и выводить его на вашем веб-сайте.
Бесплатный и платный тариф
WP RSS Aggregator можно получить совершенно бесплатно. В таком случае вы получите ограниченный набор функций. Этого вполне достаточно для небольшого веб-сайта. Если функционала бесплатной версии недостаточно, можно приобрести полную версию плагина. Полная версия может использоваться либо на одном сайте, либо на двух-пяти, либо на неограниченном количестве веб-сайтов. Разумеется, цены на каждый из трех вариантов отличаются.
Бесплатная версия
Бесплатная версия позволит ознакомиться с функционалом агрегатора и понять, насколько он подходит. Этот тариф включает в себя все функции, необходимые для нормальной работы с веб-сайтом:
- неограниченное количество источников. Вы можете импортировать контент с любого количества источников. Бесплатная версия не ограничивает этого;
- автоматическое обнаружение каналов. Нужно просто добавить адрес сайта и плагин автоматически найдет доступные каналы.
Автообнаружение работает не для всех источников. Поэтому есть шанс того, что у вас оно не будет функционировать.
- отображение блоков и шорткодов. Расширение полностью совместимо с функционалом Gutenberg, а также позволяет использовать шорткоды. Это обеспечивает максимальную гибкость при работе над веб-сайтом;
- уникальные заголовки. Плагин не допускает того, чтобы на сайте отображались статьи, которые уже публиковались ранее;
- привязка статьи к первоисточнику. Все статьи будут привязаны к первоисточнику. Также расширение позволяет указать автора статьи. Благодаря этому контент сайта не будет считаться плагиатом;
- создание шаблонов. Когда при работе вы находите для себя идеальное сочетание параметров, обязательно нужно его сохранить. Сделать это можно при помощи шаблонов. Просто создайте шаблон, и когда он будет нужен, выберите его и используйте;
- интеграция видео. RSS Aggregator также позволяет делать интеграцию видео с таких сервисов, как YouTube;
- множество удобных инструментов. Помимо импорта каналов вы можете управлять журналом ошибок и добавлять некоторые элементы каналов в черный список.
Помимо этого расширение можно перевести на любой язык. Но возможно вам это не понадобится, так как русский языковой пакет уже включен в плагин.
Платная версия
Платный тариф делится на два типа – базовый и PRO. Посмотреть цены на каждый из тарифов вы можете на сайте дополнения. Здесь мы посмотрим на возможности, которые предоставляет базовая версия плагина:
- все отдельные дополнения идут в комплекте, поэтому вы экономите около 40%;
- неограниченное количество источников контента;
- возможность установить ограничения на импорт и хранение контента;
- базовые шаблоны для списков;
- некоторые премиальные шаблоны;
- возможность установить категории для источников;
- фильтрация ключевых слов для проверки релевантности контента сайта;
- премиальная поддержка по электронной почте;
После покупки у вас есть 30 дней на то, чтобы полностью проверить все возможности базовой версии. В течение этого времени можно вернуть средства, если расширение не оправдает ожиданий.
Никакого плагиата
Скорее всего, вы подумали, что раз расширение интегрирует на сайт чужой контент, то это можно считать плагиатом. Но нет. Контент, который вы взяли с другого веб-сайта будет приписываться своему оригинальному источнику. Поэтому есть гарантия того, что вы не воруете чужой контент, а сам автор получит заслуженное признание. Хоть эта функция и отключаемая.
Установка WP RSS Aggregator
Прежде чем полностью рассматривать работу с расширением, нужно узнать, как его установить. WP RSS Aggregator можно установить любым из двух способов. Первый способ – нужно скачать плагин с официального каталога WordPress, а затем установить его на свой сайт. Второй способ – установить дополнение из панели администратора WordPress (нужно перейти в раздел “Плагины”, выбрать пункт “Добавить”, найти WP RSS Aggregator и установить его).
Работа с расширением
Мы рассмотрели основные возможности плагина. Вы узнали о бесплатном и платном тарифах и разобрались с установкой дополнения. Теперь можно перейти к примерам использования WP RSS Aggregator.
Как добавить страницу со списком вакансий
- URL. Это поле для добавления ссылки на источник;
- ограничения. Здесь вы можете ограничить количество контента, который будет использоваться. Если будет стоять значение “5”, то расширение возьмет только последние 5 записей;
- только уникальные заголовки. Если вам нужно, чтобы все статьи имели уникальные заголовки, установите этот флажок.
Когда вы закончите настройку ленты можно нажимать “опубликовать ленту”. После этого расширение соберет статьи из указанного URL-адреса.
Теперь можно переходить к самому интересному – созданию страницы со списком вакансий. Сначала вы должны создать новую страницу и дать ей название. В редакторе можно найти значок WP RSS Aggregator. Нажмите на него, и откроется всплывающее окно, в котором можно указать все необходимые данные:
- источник новостей;
- исключения (указать сайты, с которых не нужно брать статьи);
- предел подачи (ограничение по количеству результатов).
Затем нужно кликнуть на “добавить шорткод”, и на страницу будет добавлен шорткод агрегатора. Теперь можно опубликовать страницу и смотреть результат.
Создание сайта спортивных новостей
На самом деле, WP RSS Aggregator имеет гораздо больше возможностей, чем простое добавление RSS-каналов на сайт. С его помощью также можно создавать сайты спортивных новостей. Чтобы сделать это, нужно добавить несколько надстроек к плагину. Поэтому сначала вы должны интегрировать следующие дополнения:
- Feed to Post (скачать);
- Full Text RSS Feeds (скачать);
- Keyword Filtering (скачать).
Разработчики предлагают своим клиентам достаточно выгодные пакеты. Если вы хотите создать сайт спортивных новостей, то лучше все приобрести пакет Advanced Feeds Bundle. После активации бесплатного расширения RSS Aggregator нужно активировать надстройки для расширений. Для этого вы должны перейти по пути “RSS Aggregator/настройки/Лицензии”, ввести лицензионные ключи и активировать их.
После активации настроек можно задавать определенные параметры, вроде возрастного ограничения, количества элементов и интервала получения нового контента. Затем вы должны импортировать контент их нового источника. Здесь все проводится примерно так же, как и со списками работы. Единственное, что хотелось бы отметить – проверка канала. Если вы боитесь, что канал недействительный, то специальная служба проверит это.
Когда будет закончен импорт каналов, нужно будет настроить ключевые слова. Для чего это нужно? Контент на сайте должен быть релевантным. Поэтому стоит настроить фильтрацию ключевых слов, чтобы узнать, насколько релевантен контент сайта. Настройка происходит одним из двух способов. Первый – по пути “RSS Aggregator/ Settings/Keyword Filtering”. Второй – “RSS Aggregator/Add Mew Section” (Также здесь добавляются источники каналов). Дальше осталось только ввести слов в специальные поля. Благодаря тому, что вы можете применить фильтры к заголовку канала или содержимому, система фильтрации будет использоваться максимально эффективно.
После всех этих действие нужно определить параметры ленты публикации. Работает это через Feed to Post. Эта надстройка имеет следующие функции:
- вы можете определить типы контента из канала, с которого они импортируются: посты, страницы, медиа и другие типы;
- включение комментирования импортированных элементов;
- разрешить импорт изображений и определение их параметров (размеры и настройки);
- добавление таксономии;
- возможность указать автора поста в ленте;
- сокращение URL-адресов при помощи специального API от Google.
Feed to Post поддерживает обрезку контента. Поэтому вы можете указать количество слов, которое пользователи смогут прочитать, прежде чем им придется нажать на кнопку “прочитать больше”.
Затем уже можно назначить статьям определенные категории. Это поможет пользователям быстрее сориентироваться на сайте. После этого можно перейти к публикации источников. Когда вы все настроите, можно начать публикацию контента. Весь контент, который импортирует расширение, будет отображаться в виде черновиков в разделе “все посты”. Это не совсем автоматизированная публикация контента, но такой способ позволят отслеживать статьи, которые будут опубликованы. А это в свою очередь уже позволяет показывать посетителям только уникальный и качественный контент.
Действительно ли плагин работает как надо?
Ответ на этот вопрос нужно спрашивать не у разработчиков, а у пользователей. Это позволит получить максимально честные отзывы. Поэтому посмотрим на пару отзывов: “я тестировал несколько подключаемых модулей RSS. Некоторые из них работали лишь некоторое время, но затем прекратили работу. Единственное дополнение, которое работало стабильно и без перебоев – RSS Aggregator”, “я использую премиальную версию плагина на своем веб-сайте. И он превосходно работал на нем. Когда у меня возникли проблемы, я обратился к команде поддержки. Они очень быстро отреагировали на мой запрос и оказали просто превосходную поддержку”.
Поддержка
Создатели плагина оказывают поддержку всем своим клиентам. Также расширение имеет обширную базу знаний. Здесь можно найти и ответы на вопросы пользователей и связаться с разработчиками, но самое интересное и главное что здесь есть – учебники. В учебниках полностью рассказывается о том, как настраивать плагин, как создавать RSS-каналы и о других аспектах работы с дополнением. База знаний очень обширная, поэтому вы сможете найти в ней ответы на все вопросы, связанные с WP RSS Aggregator.
Заключение
WP RSS Aggregator – очень мощное расширение. Далеко не все плагины этой категории способны предоставить такое количество возможностей. Это еще при условии, что вы можете работать со многими возможностями дополнения совершенно бесплатно. Воспользоваться расширением определенно стоит. Начните с бесплатного тарифа. Исследуйте его возможности и когда их будет недостаточно, можно переходить на платную версию.
Здравствуйте, я копирайтер-маркетолог Ольга Усим! Эксперт в маркетинге, SEO, SMM, IT, фитнесе, музыке, бизнесе, криптовалютах. Уникальность .
Новостной портал по многим параметрам отличается от информационных или коммерческих сайтов. И главное отличие – источники трафика.
Увеличьте прибыльность и избавьтесь от рутины:
Стратегия продвижения новостного сайта
Просмотры сайта с 16.05.19 по 16.07.19
С чего начинается создание новостного сайта
С выбора CMS. Я решила разработать свою систему управления контентом, поскольку давно занимаюсь созданием сайтов. Получилась достаточно простая и удобная система, где было все, что мне нужно, – и ничего лишнего. Я назвала ее Lite. Конечно, существуют и более традиционные варианты – WordPress, Drupal, MODX и так далее.
Нужно оптимизировать размеры картинок на сайте, загрузку javascript, настроить кэш и так далее.
Следует помнить: такой проект – это текст 100% для людей. Трафик из поиска будет ничтожным, так что можно даже не думать о SEO.
Парсер новостей
Еще раз о SEO
Продвижение ссылками вообще в последнее время работает плохо, а продвигать молодой сайт тем более бессмысленно – в поисковиках невозможно конкурировать с трастовыми новостными ресурсами. Если вы будете регулярно продуцировать качественный контент, то автоматически получите обратные ссылки, которые будут повышать авторитетность вашего издания.
Основные источники трафика новостника
Как видите, в моем случае больше всего переходов дали социальные сети.
Новостные агрегаторы
- трафик – больше 300 уникальных посетителей в день;
- государственная регистрация СМИ;
- в день нужно публиковать более 6-7 статей;
- статьи должны быть уникальными.
Формирование лояльной аудитории
Технические аспекты продвижения
Необходимо позаботиться о сниппетах в поисковых системах. Выглядит это солидно, а кроме того, позволяет привлечь внимание пользователей.
Также нужно заранее сделать RSS-ленту, которая бы соответствует требованиям Яндекс.Новостей и Google.News. Эту задачу лучше доверить специалистам, чтобы не ошибиться.
На страницах новостей следует настроить автоматическое добавление блоков похожих по тематике статей. На продвигаемом мной сайте такой блок располагается под новостью. Блоки с новостями схожей тематики нужны для того, чтобы пользователь не уходил с сайта, дочитав текст, а шел изучать материалы портала дальше. Таким образом, можно улучшить поведенческие факторы и позиции сайта в поисковых системах.
12 лучших CRM-систем
CRM - система управления взаимоотношения с клиентами. Она представляет собой набор программ для автоматизации взаимодействий. Система позволяет повысить уровень продаж, оптимизировать маркетинг, улучшить обслуживание клиентов, установить и улучшить бизнес-процессы.
Правила написания материалов на новостной сайт:
Непоисковое продвижение
Добавиться в агрегатор Google можно по ссылке. Для американской поисковой система важно, чтобы на сайте была размещена подробная информация о регистрации новостного сайта как СМИ, с адресом редакции, списком сотрудников, телефоном, почтой и т. д. Можно даже добавить фотографии журналистов.
Другие меры продвижения
За время раскрутки сайта я накопила больше количество разнообразных мер, которые могут помочь сайту найти новых читателей.
Комментарий эксперта
Валентина Ивашова, контент-редактор новостного портала
Новостные сайты требуют постоянного мониторинга лент, выкладывающих материалы в режиме реального времени, а также прочесывания пабликов социальных сетей, где пользователи зачастую могут выложить новость раньше, чем она появится в официальных источниках. Наиболее активные в этом плане пользователи Вконтакте, но, если речь идет о крупных городах, то Facebook может быть более оперативным.
И не стоит забывать относительно недавно появившийся сервис Яндекс.Район, который сейчас стремительно развивается.
Итоги
Чтобы развивать новостной сайт, нужно писать качественный контент. Все остальное – вещь сугубо вторичная.
Стоит это удовольствие не менее 1 тысячи долларов в месяц.
Помните, что SEO будет полезно только через 1-2 года после начала работы, когда поисковики заметят сайт. Не ранее чем через год работы новостного сайта можно закупить несколько ссылок на главную страницу.
Еще в 2013 году Google прекратил поддержку RSS и закрыл свой популярный сервис Google Reader. Это был шаг, вызвавший шок в блогосфере. Повсюду веб-сайты изо всех сил пытались составить списки альтернативных сервисов для агрегирования новостей RSS, и многие люди увидели в этом конец RSS.
Хотя Google решил, что они больше не хотят тратить время или ресурсы на использование формата RSS, он по-прежнему находит множество применений, и за последние несколько лет он никуда не денется.
Сайты WordPress по умолчанию создают RSS-каналы во время установки. Эти каналы можно использовать для превращения разовых читателей в постоянных подписчиков, но их также можно использовать для агрегирования контента с других веб-сайтов и публикации их на вашем собственном сайте. Такое ответственное использование службы RSS позволяет создать сайт, который может быть центральным порталом, отображающим контент со многих сайтов в вашей нише.
Это можно сделать несколькими способами.
Ваши варианты включают:
Я всегда рекомендую вам указывать исходный источник всякий раз, когда импортируете контент, и, когда возможно, импортируйте только фрагменты исходной статьи, а не всю ее (если у вас нет разрешения на это от исходного автора).
Самый простой способ создать свой собственный сайт агрегирования новостей RSS – использовать плагин WordPress. Есть несколько вариантов. Мы рассмотрим самый мощный из доступных в настоящее время: WP RSS Aggregator.
Плагин WP RSS Aggregator
WP RSS Aggregator – это самый популярный плагин для импорта RSS, который позволяет объединять несколько каналов веб-сайтов и отображать их на своем сайте двумя различными способами. Вот эти варианты отображения:
Каждый вариант полезен по-своему.
Рассмотрим подробнее каждый из вариантов.
Вариант 1. Использование шорткода
Шорткод позволяет использовать несколько параметров для управления тем, что и как отображаются определенные элементы. Вы можете ограничить количество отображаемых элементов ленты, добавить в список разбиение на страницы и многое другое.
Используя дополнения Excerpts & Thumbnails и Categories, вы можете продвинуть отображение шорткода еще дальше. Первый вариант позволяет вам использовать контент, предоставляемый в RSS-каналах, которые вы используете, для улучшения отображения с помощью коротких фрагментов и миниатюрных изображений, в то время как последний позволяет вам лучше организовать источники ваших каналов.
Параметры шорткода также распространяются на эти два дополнения, позволяя вам решить, какой дисплей шорткода будет включать изображения, отрывки или и то, и другое.
Это может быть полезным методом отображения контента с других сайтов, но это не лучший вариант, если целью вашего сайта является либо исключительно агрегация контента, либо он ориентирован на то, чтобы дать вашему читателю лучший опыт.
Вариант 2. Использование канала для публикации
Использование надстройки Feed to Post – самый полезный и всеобъемлющий метод для объединения нескольких каналов веб-сайтов в один сайт, независимо от того, в какой нише он находится или в каком формате находится контент; будь то текст, изображения или видео.
Заключительные слова по созданию портала агрегирования новостей RSS
Существует несколько способов объединения содержимого коллекции веб-сайтов в одно место, и этот плагин упрощает этот процесс.
Создавали ли вы портал агрегирования новостей RSS с помощью WordPress или когда-нибудь думали о его создании? Используете ли вы RSS для добавления контента на свой сайт? Мы будем рады услышать ваши мысли в комментариях ниже.
А если вам интересно узнать больше, вам также может понравиться наше руководство о том, как создать социальную ленту с помощью WordPress.
Привет моим верным подписчикам и лиге вэб разработчиков! В данном посте я поведаю о:
- паре забавных случаев, возникших при разработке новой версии моего агрегатора котиков и мемасиков (а так же новостей, видео, пабликов, групп, RSS и Telegram каналов );
- текущем состоянии дел и планах развития.
Около 800 дней назад я опубликовал первую версию агрегатора контента и сделал пост на пикабу. Сервис получился неплохим и мои цели удовлетворял. Я пользовался им каждый день, для просотра мемасиков и котеек. Но, к сожалению, большого интереса у пользователей не вызывал. А в комментариях знающие люди советовали весь функционал перенести на сервер, что бы на клиентских устройствах все работало максимально быстро.
Так как по своей натуре я перфекционист, то идея сделать все "красиво" не давала мне покоя и в 2017 году я наконец сдался и решился переписать все с 0, нанять хорошего дизайнера и выкатить ресурс который заткнет за пояс конкурентов :) Получилось ли у меня или это очередное фиаско, я надеюсь узнать сегодня, в комментариях к этому посту :)
Итак, начнем с пары интересных задач, которые пришлось решить при разработке.
1. Как я добавлял вывод телеграмм каналов.
В последний год появляется все больше популярных телеграм-каналов. Но лично мне не удобно читать их в приложении, хотя я не пробовал :). Я сразу запланировал, что в новой версии агрегатора обязательно должна быть возможность вывести в свою ленту посты из любых публичных телеграм-каналов вместе со всеми другими источниками.
Обилие инструкций по работе с телеграм-ботами воодушевляло и я рассчитывал, что задача не займет много времени. И еще я не понимал, почему никто не сделал аналогичного сервиса :)
Как это всегда бывает в разработке, препятствия возникли на ровном месте: оказалось, что для того, что бы бот мог читать какой-то канал, бота надо туда добавить. Поэтому вариант сразу отпал. И я перешел к чтению мануалов на основной API телеграма.
Через 30 минут изучения документации я был в отчаянии.
Несколько дней поиска привели меня к решению: использовать на сервере opensource php телеграм клиент. Дада! Можно использовать телеграм под php, и там даже есть поддержка звонков! Это чудо называется madelineProto и исходники доступны на гитхабе.
В итоге, через 3 дня настройки и две блокировки моего аккаунта из-за чрезмерного количества попыток авторизации я настроил клиент и решил задачу. Теперь у меня есть свой шлюз из telegram в web! А пользователи могут читать любые публичные телеграмм каналы у меня на сайте без регистрации и смс.
2. Парсинг youtube каналов.
С API youtube'a вообще вышло забавно. Их справка предлагает использовать php плагин от гугла для доступа к API. От их API мне нужно было не много: список видео на канале с метаданными, название канала и его логотип. У vk или fb такой запрос создается парой строчек кода и разобраться можно за пол часа.
Но у гугла свой путь разработки :)
Я смирился с тем, что плагин для доступа к API весит более 30 мегабайт. Но я еще и не смог настроить его за 3 часа!
В итоге, кликая на все подряд в справке гугла, оказалось, что плагин можно вообще не использовать, а для получения всей информации - воспользоваться стандартным get запросом, как везде. На формирование запроса мне понадобилось ровно 10 строк кода и 15 минут, вместо 30 мегабайтного плагина.
3. Что сейчас с агрегатором?
- Добавить прямые ссылки на отдельные источники
- Расширять список источников: imgur, rutube, reddit, новостные сайты.
- Привлечь ядро активных пользователей, что бы были данные для формирования ленты популярных постов;
- Добавить в ленту вывод видео и гифок, что бы сократить число внешних переходов;
- Е-маил рассылки с лучшими постами за день/неделю (естественно при желании пользователя);
- Сотрудничество с создателями контента для совместного продвижения.
5. Техническая часть.
Для тех кому интересно то под капотом следующий стек технологий:
Backend: самописный, доставшийся мне в наследство на одном из проектов и переписаный мной под свои нужды. Используется шаблонизатор smarty.
Fron-end: HTML + Angular JS 1, так же используется Jquery 2 (в 3-й версии scroll события в firefox не работают периодически) для анимаций.
Парсинг осуществляю с помощью библиотеки php-query или через API раз в 5 минут по CRON'у в порядке живой очереди с приоритетом на публичные источники. Т.е. если за 4 минуты сайт не успел пройтись по всем источникам, то скрипт останавливается. А в следующий раз в начале очереди находятся те источники, которые дольше всего не обновлялись. Очереди для публичных и персональных источников разные - по 2 минуты и на те и на другие.
Читайте также: