Хожу на Работу в Интернет

Для новичков в Yahoo Pipes решил написать небольшой tutorial по работе с этим сервисом.

Для начала очень рекомендую хотя бы поверхностно изучить спецификацию RSS, без четкого понимания этих моментов сделать интересную трубу будет проблематично.

Начинать изучать сервис лучше всего с обзора готовых примеров. Следует понимать, что обработка всех блоков Yahoo Pipes идет последовательно “сверху вниз”. Данные, как вода, перетекают по трубам из одной “емкости” в другую, где с ними могут происходить какие-то преобразования.

При создании и отладке труб не надо забывать про встроенный Debugger – область внизу рабочего окна. В Debugger’е можно отслеживать все промежуточные данные и преобразование rss-потоков.

Рассмотрим наиболее полезные модули Yahoo Pipes.

1. Sources

Модули из раздела Sources предназначены для получения данных из внешних источников, например rss лент или результатов поиска некоторых сервисов.

Fetch Feed

Пожалуй, основной инструмент в Yahoo Pipes. Получает и отдает на выходе содержимое RSS ленты, указанной в поле URL. URL можно задать вручную, а можно подставить в виде параметра из другого блока (видите этот серый кружочек справа от поля ввода url?). Можно задавать несколько источников одновременно.

Fetch Page

Загружает html страницу находящуюся по адресу URL в с троку. Можно вырезать лишь часть этой строки, указав уникальный шаблон для начала и конца блока. Кроме того, можно сразу разбить строку на отдельные элементы, например, если мы имеем какой-то список, отформатированный с помощью повторяющимися html тегов. Ограничение на запрашиваемую html страницу – 200Кб и не должно быть запрета на индексацию роботами в meta-тегах. В отличии от Fetch Feed, нормально обрабатывает ru кодировки.

Flickr

Позволяет получить заголовки и картинки по заданному ключевому слову с популярного сервиса для загрузки фотографий Flickr.com. Неудобство в том, что картинка будет очень маленького размера, гораздо более интересно тянуть фотографии непосредственно с RSS фида Flickr.com.

Yahoo! Search

Возвращает поисковые результаты Yahoo по заданному киворду в виде RSS потока. Можно получить title сайта, url, дату последнего обновление в индексе и короткий снипет текста веб-страницы. Site restriction позволяет ограничить область поиска одним или несколькими сайтами.

2. User Inputs

Элементы этой группы позволяют ввести какие-то константы или запросить вод данных от пользователя.

Text Input, Private Text Input

Очень простой элемент, позволяет задать строковые константы во время отладки трубы или во время выполнения. Далее эти строки могут быть использованы для подстановки в другие блоки. Private Text Input отличается от обычного Text Input лишь тем, что позволяет указать данные, которые будут доступны только владельцу трубы и не переносятся, например, при клонировании.

3. Operators

Операторы позволяют производить определенные манипуляции с данными rss потока. Надо понимать, что каждый оператор применяет свое действие для всех items фида.

Filter

Оператор Filter пропускает или наоборот блокирует какие-то данные rss-ленты, удовлетворяющие определенным условиям. Условия можно налагать на любые поля rss ленты, например, мы хотим пропустить только те записи, которые содержат в title слово “new”.

Поля для фильтрации загружаются в дропдаун автоматически при соединении Filter с другими элементами трубы. Это действительно и для любых других операторов.

Loop

Loop циклически перебирает каждый item rss фида, применяя к его элементам какие-то модификаторы или производя определенные действия с данными. Внутри Loop вы можете размещать модификаторы строк или элементы из раздела Sources, для этого необходимо перетащить модуль непосредственно на Loop блок.

Опция emit result – перезапишет заново все содержимое rss-ленты, assign results to – направит вывод результатов в какой-то из тегов, и не повлияет на существующие данные.

Regex

Очень полезный и мощный оператор, но требует знания регулярных выражений. Пример на картинке, чистит текст от html тегов.

Rename

Позволяет переименовать название атрибутов для items. Например, чтобы привести RSS к правильному формату.

Tail, Truncate

Оператор Truncate – обрезает количество items в rss до указанной длинны. Tail – делает то же самое, только “с конца” списка.

Split, Union

Split – разделяет RSS-данные на два одинаковых потока. Union – объединяет вместе до 5 потоков. Если вам необходимо объединить более пяти rss-потоков – просто используйте несколько операторов Union.

Unique

Удалит items, которые содержат дублирующую строку. Например, если вы хотите, чтобы на выходе вашей RSS не было элементов с одинаковым title, то вы можете использовать этот оператор для фильтрации дублей.

4. String

Этот раздел содержит модули, позволяющие манипулировать со строками.

Translate

Очень интересный модуль, с точки зрения предоставляемых возможностей – позволяет переводить строки с одного языка на другой. Имеет один небольшой недостаток – при переводе удаляет все html теги, таким образом теряется форматирование текста.

Сложные трубы удобней всего разбивать на отдельные “под-трубы”, выполняющие определенную функцию, а потом собирать из готовых кусочков целостную систему. На вкладке My pipes вы найдете все свои созданные ранее трубы.

Я постарался рассмотреть наиболее интересные элементы Yahoo Pipes. Общее же их количество несколько больше и периодически появляются новые фичи. Чтобы получить короткую справку по любому из элементов и ссылку на пример – нужно нажать на знак “?” в заголовке любого блока.