Yahoo Pipes FAQ

Дата Автор Arser78 комментариев

Для новичков в Yahoo Pipes решил написать небольшой tutorial по работе с этим сервисом.

Для начала очень рекомендую хотя бы поверхностно изучить спецификацию RSS, без четкого понимания этих моментов сделать интересную трубу будет проблематично.

Начинать изучать сервис лучше всего с обзора готовых примеров. Следует понимать, что обработка всех блоков Yahoo Pipes идет последовательно «сверху вниз». Данные, как вода, перетекают по трубам из одной «емкости» в другую, где с ними могут происходить какие-то преобразования.

При создании и отладке труб не надо забывать про встроенный Debugger – область внизу рабочего окна. В Debugger’е можно отслеживать все промежуточные данные и преобразование rss-потоков.

Рассмотрим наиболее полезные модули Yahoo Pipes.

1. Sources

Модули из раздела Sources предназначены для получения данных из внешних источников, например rss лент или результатов поиска некоторых сервисов.

Fetch Feed

Fetch Feed

Пожалуй, основной инструмент в Yahoo Pipes. Получает и отдает на выходе содержимое RSS ленты, указанной в поле URL. URL можно задать вручную, а можно подставить в виде параметра из другого блока (видите этот серый кружочек справа от поля ввода url?). Можно задавать несколько источников одновременно.

Fetch Page

Fetch Page

Загружает html страницу находящуюся по адресу URL в с троку. Можно вырезать лишь часть этой строки, указав уникальный шаблон для начала и конца блока. Кроме того, можно сразу разбить строку на отдельные элементы, например, если мы имеем какой-то список, отформатированный с помощью повторяющимися html тегов. Ограничение на запрашиваемую html страницу – 200Кб и не должно быть запрета на индексацию роботами в meta-тегах. В отличии от Fetch Feed, нормально обрабатывает ru кодировки.

Flickr

Flickr

Позволяет получить заголовки и картинки по заданному ключевому слову с популярного сервиса для загрузки фотографий Flickr.com. Неудобство в том, что картинка будет очень маленького размера, гораздо более интересно тянуть фотографии непосредственно с RSS фида Flickr.com.

Yahoo! Search

Yahoo Search

Возвращает поисковые результаты Yahoo по заданному киворду в виде RSS потока. Можно получить title сайта, url, дату последнего обновление в индексе и короткий снипет текста веб-страницы. Site restriction позволяет ограничить область поиска одним или несколькими сайтами.

2. User Inputs

Элементы этой группы позволяют ввести какие-то константы или запросить вод данных от пользователя.

Text Input, Private Text Input

Text Input

Очень простой элемент, позволяет задать строковые константы во время отладки трубы или во время выполнения. Далее эти строки могут быть использованы для подстановки в другие блоки. Private Text Input отличается от обычного Text Input лишь тем, что позволяет указать данные, которые будут доступны только владельцу трубы и не переносятся, например, при клонировании.

3. Operators

Операторы позволяют производить определенные манипуляции с данными rss потока. Надо понимать, что каждый оператор применяет свое действие для всех items фида.

Filter

Filter

Оператор Filter пропускает или наоборот блокирует какие-то данные rss-ленты, удовлетворяющие определенным условиям. Условия можно налагать на любые поля rss ленты, например, мы хотим пропустить только те записи, которые содержат в title слово «new».

Поля для фильтрации загружаются в дропдаун автоматически при соединении Filter с другими элементами трубы. Это действительно и для любых других операторов.

Loop

Loop

Loop циклически перебирает каждый item rss фида, применяя к его элементам какие-то модификаторы или производя определенные действия с данными. Внутри Loop вы можете размещать модификаторы строк или элементы из раздела Sources, для этого необходимо перетащить модуль непосредственно на Loop блок.

Опция emit result – перезапишет заново все содержимое rss-ленты, assign results to – направит вывод результатов в какой-то из тегов, и не повлияет на существующие данные.

Regex

Regex

Очень полезный и мощный оператор, но требует знания регулярных выражений. Пример на картинке, чистит текст от html тегов.

Rename

Rename

Позволяет переименовать название атрибутов для items. Например, чтобы привести RSS к правильному формату.

Tail, Truncate

Tail, Truncate

Оператор Truncate – обрезает количество items в rss до указанной длинны. Tail – делает то же самое, только «с конца” списка.

Split, Union

Split, Union

Split – разделяет RSS-данные на два одинаковых потока. Union – объединяет вместе до 5 потоков. Если вам необходимо объединить более пяти rss-потоков – просто используйте несколько операторов Union.

Unique

Unique

Удалит items, которые содержат дублирующую строку. Например, если вы хотите, чтобы на выходе вашей RSS не было элементов с одинаковым title, то вы можете использовать этот оператор для фильтрации дублей.

4. String

Этот раздел содержит модули, позволяющие манипулировать со строками.

Translate

Translate

Очень интересный модуль, с точки зрения предоставляемых возможностей – позволяет переводить строки с одного языка на другой. Имеет один небольшой недостаток – при переводе удаляет все html теги, таким образом теряется форматирование текста.

Сложные трубы удобней всего разбивать на отдельные «под-трубы», выполняющие определенную функцию, а потом собирать из готовых кусочков целостную систему. На вкладке My pipes вы найдете все свои созданные ранее трубы.

Я постарался рассмотреть наиболее интересные элементы Yahoo Pipes. Общее же их количество несколько больше и периодически появляются новые фичи. Чтобы получить короткую справку по любому из элементов и ссылку на пример – нужно нажать на знак «?» в заголовке любого блока.

78 комментария на «Yahoo Pipes FAQ»

  1. kosenka, попробовал несколько труб, то что генерит yahoo кажется валидно. Могут быть ошибки в данных — но это уже не его проблемы, да и не принципиально это.

  2. Спасибо за подробное и точное описание элементов яху-пайпс.

    Собственно, только благодаря вашему блогу и расковыриваю яху 🙂

    респект!

  3. Подскажите, пожалуйста, Как можно удалять из нужного поля тэги, потом смотреть на его длину, если она нормальная, возвращать тэги на место и пропускать пост, иначе не пропускать? Если не реально, как удалять тэги? Пытался склепать такую трубу, вроде все норм, но отдает все же неправильно..
    воть

  4. roddik, кажется узнать длину поля не возможно. Хотя если ну очень хочется, то можно — разделить поле посимвольно на items, а количество items уже посчитать можно. Ну и дальше крутить, но с ходу сказать сложно, как именно…

    Может вы просто расскажете свою идею, а мы придумаем, как её реализовать по-другому?

    Кажется google blogsearch таки забанил парсер яху — 403 Forbidden 🙂

    В вашей трубе есть весьма странная штука: item.strip_tags(item.description). Я о чем-то не в курсе?

    Как удалить теги — написано как раз в этом посте.

  5. Ну идея-то тривиальная: искать по блогам полные тексты статей, так вот я думал фильтровать по признаку, что без тэгов длина description больше какого-то значения.

    кстати, news.google.com все еще работает

  6. да, у меня не работает вырезка тэгов до тех пор, пока не поставлена галочка около g — все совпадения, думаю, об этом надо было бы упомянуть

  7. Угу.
    Использовать regex для фильтра на длину поля — отличная идея.
    Но я бы все же еще дергал полную статью. Пока там только обрывки не короче 500 символов.

  8. Универсальный парсер не сделать без дома, так как, например, если есть , хрен узнаешь, где его конец, так что в трубах не получится

    ЗЫ: Плохо, что вы не даете ссылки на свои трубы

  9. А еще плохо, что тэги вырезаются, а не обрабатываются (htmlspecialchars), в предыдущем комменте после «если есть» стояло «div id=»content»» 😀

  10. О, новичкам явно полезно будет.
    roddik, почему без DOMа не сделаешь универсальный парсер? Уверен, что это возможно.
    Если упростить, то нам нужно просто выделить наибольшую область с наименьшей концентрацией вложенных тэгов. Не вижу принципиальных сложностей.

  11. Тормоз, не все так просто, на практике проверено — такой вариант не катит (хотя может это я просто лузер, если у вас получится, напишите об этом, пожалуйста)

  12. Делал такое на php, работало все отлично, правда немного не так, как Тормоз предлагает. Думаю, на трубах тоже получится в каком-то виде, если получится — выложу.

  13. Arser, это очень интересная тема, если осталось то, что работало на php, опубликуйте, плз, или скиньте мне на мыло.

  14. roddik, там все это зашито в мои библиотеки классов, которые выкладывать я не собираюсь, но теорию возможно опубликую в одном из постов.

  15. Да все очень просто: весь текст разбивается на части по html тегам. Потом постепенно собирается в кучу, но при этом нужно помнить, что есть теги которые могут встречаться внутри статьи (например [p], [br]), а есть которые обычно отвечают за форматирование блоков и страницы ([div], [table]). Еще нужно учитывать длину каждого полученного куска, чтобы отсечь не информативные данные, типа меню навигации, и прочие мелкие нюансы. После тестов и подбора всех параметров — все работает почти без промахов.

  16. после беглого осмотра так и не увидел — есть ли у этих пайпов хоть какое-то преимущество перед PHP+SimpleXML?

  17. Преимущество одно — быстрее чем на php, ну а для не программеров — есть и другой неоспоримый плюс 🙂

    И это… php давно существует, но как-то лениво было что-то делать, эксперементировать, а с пайпсами вроде веселее как-то 🙂

  18. Очень интересный пост, спасибо что помогаете разобраться с юху папс!
    Подскажите, пожалуйста, как решить такие практические задачи:
    1. Объеденить в одно целое контент из всех итемов фида?
    2. В начале (или в конце) дескрипшна каждого итема вставлять определенный текст, например ссылку или картинку-фирменный знак?

  19. С помощью пайпсов удобно делать маленькие простенькие трубы. Соединил пару-тройку фидов, отфильтровал нужные слова, проверил на уникальность и готово. 5 минут.
    А вот что-то серьёзное уже правильнее писать самому, на PHP, например. Не нужно разбираться в этих хитрых модулях, которые больше нигде не пригодятся. И, в любом случае, возможности Yahoo Pipes весьма ограничены.

    И это… php давно существует, но как-то лениво было что-то делать, эксперементировать, а с пайпсами вроде веселее как-то

    Один из сильнейших аргументов в пользу труб — они цветные и весёлые 🙂

  20. С Yahoo pipes удобно экспериментировать; но как основной рабочий инструмент я бы их не использовал. Это классный инструмент, но он — чужой. Решит Yahoo его прикрыть, и тогда что?
    Соглашусь с andrey, что php+SimpleXML (в моем случае правда perl + XML::Simple) по возможностям и надежности превосходят Yahoo pipes.

  21. ребята, а кто знает, что за чекбоксы такие в Regex модуле? напротив которых написано g m s i ?
    В документации к пайпсам об этом ни слова не говорится.

    Спасибо

  22. g — относиться ко всем cовпадениям, а не только к первому
    m — . не включает \n
    s — . включает \n
    i — case insensitive

  23. miller, удалось 😉
    Хотя вопрос странный, это ж всего лишь инструмент для работы с rss, а не игровой автомат 🙂

  24. Конечно блогосфера мощно популяризовала данный сервис у ру-сеошников. Раньше только у буржуев и читали про него, а теперь — в каждом ру-блоге.

  25. Netpeak, может поделитесь ссылками, а то я как-то не особо встречал полезной информации по трубам на каждом ру-блоге, а было бы интересно…

  26. поражает ну просто нереальная их глючность. 🙁
    Что-то сложное, что технически сделать в трубах можно, зачастую накрывается то ли их-за каких-то таймаутов , то ли хз из-за чего. Даже если разнести нагрузку по разным трубам , а потом в одной сводить все вместе.
    После такого отпадает всякое желание подходить к этим трубам.

  27. Serzh, представляю что вы там наворотили 🙂
    Сложное и ресурсоемкое — однозначно проще через свои скрипты…

  28. А если нету своих скриптов ? Стоит ли заказывать у кого-нибудь или лучше посидеть самому поучиться ?

  29. >>Кто подскажет, можно ли в Yahoo Pipes объединить >>содержимое разных description.content в один?

    Если речь об одном источнике, из которого получаются разные айтемы, может, просто не разделять их вообще? В Фетч Пейдж просто не писать делимитер. Хотя, вряд ли речь о чем-то настолько простом.

  30. тормоз, ты это в принципе полгода назад ответил на форуме. Но что толку с этого луп притаких глюках.
    Если он источник обрабатывает правильно через раз. От бедности только на первое время перекантоваться без нормального скрипте- вот что такое этот Яху Пайпс. Нестабильная штука. Как перешел на свои скрипты- гора с плеч свалилась.

  31. Ну смотря какие задачи. YP хорош тем, что позволяет очень быстро воплощать в жизнь какие-то идеи. Вот, например, про попЖЖ я писал — представь, сколько времени потребовалось бы, чтобы писать аналог на PHP. А с пайпсами я сделал это буквально за полчаса или час. Да меньше часа, вроде. Огромнейшая экономия времени. Работает отлично до сих пор.

  32. А, там написано, что я вообще за 15 минут сделал 🙂 Не знаю, может быть я тогда и приукрасил, но вполне вероятно, что так и было.

  33. Тормоз, про Loop я не совсем понял.

    Идея такая. Имеется обрезанный источник RSS. При помощи модулей Loop+Fetch Page вытаскиваем необходимое содержимое страницы и заменяем им содержимое description.content. Здесь все просто.

    Только проблема в том, что сама страница на сайте порезана на несколько частей. В принципе, можно содержимое каждой части также вытаскивать через Loop+Fetch Page. Каждая часть в фиде будет как отдельный item с одним и тем же title.

    А вот как их дальше объединить — не пойму. Так что ты там про Loop говорил?

  34. Прямо показывать долго и лень, попробую объяснить вкратце, а дальше уж думай. Во-первых, не забывайте, что у каждого модуля есть справка с примерам, во-вторых, содержимое loop добавляется в отдельный XML-элемент, который ты можешь вставить в description, смотри опять же примеры, встроенные в модули.

  35. Тормоз, ты меня, наверное, не правильно понял. Справку с примерами я смотрел, но нужного мне способа не нашел.

    В одном фиде имеются 2 items с одинаковыми title, но разными description.content, у одного «AAA», у второго «BBB». Задача получить из 2 items один, с итоговым description.content «AAABBB» или в другой произвольной комбинации.

    Способ, который ты предлагаеш, это замена одного содержимого другим, но не их объединение/слияние. Или я опять чего не понял?

  36. Да, ты не понял ) Ты можешь в любой элемент вставлять любой другой элемент в пределах одного item. Я просто в данный момент не помню точный синтаксис, а открывать YP и разбираться некогда. Там что-то вроде author.name, например, или tvoyelement.subelement и т. п. А! Там ещё скобочки нужны, вроде бы фигурные {tvoyelement.subelement}. В общем, поищи хорошенько, я это увидел как раз в одном из справочных примеров.

  37. Ну так потрать 5 минут и нарисуй для нас тупых трубу, которая может объединять description (не важно что) двух разных items.
    Ну например, я хочу видеть выдачу google news в одном элементе на выходе трубы.
    Просим 🙂

  38. Нагло пользуетесь моей природной бобротой ) Вообще, сегодня планирую в бомжеленту новый набор делать, да и ремонтировать там кое что нужно, так что к вечеру постараюсь выложить пример.

  39. Нет, я просто почти уверен, что так сделать нельзя (по крайней мере так было, когда я писал этот пост, и занимался вплотную пайпсами). Интересно было бы посмотреть решение.

  40. Кстати, сейчас по запросу Yahoo Pipes в выдаче гугла торчит твоя заметка, в заголовке которой сплог, говносайт и дор.
    Вот как тебе не стыдно, Arser? ))

  41. Arser молодец — взял Тормоза на слабо и тот сваял такие трубы — закачаешся. Это ж оказывается такие кренделя с пайпами выделывать можно. Супер!

  42. Добрый день!

    Необходимо агрегировать определенную информацию с нескольких сайтов, по заданным параметрам (полям — фильтрам) используя Yahoo Pipes и вывести её в определенное место, желательно Exel.

    Интересует максимально кратчайшие сроки выполнения и ваша стоимость подобной услуги, учитывая её срочность (24 часа). Кто может помочь?

    guzuxguzu at gmail com

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *