Cплог, Говносайт, Дор и Yahoo Pipes
Периодически я встречал на блогах и форумах упоминание о Yahoo Pipes, но чтоб хоть одним глазком посмотреть, что же это такое, как-то у меня не сросталось, никто же не написал: “с помощью pipes я заработал $10к за неделю”. И наконец-то, я добрался до этого сервиса…
У меня есть только одно предположение, почему Yahoo отдала в публичное использование такой инструмнт – видимо, они имеют какой-то новый супер мощный алгоритм борьбы с дублированным контентом и прочим говнотекстом, и таким образом хотят заспамить Google и подорвать позиции своего конкурента на попроще поисковых технологий.
Нет, понятно, что вся функциональность, зашитая в в Yahoo Pipes, была доступна и раньше любому начинающему web-программисту. Но так то надо было писать парсер или искать программера, тратить время и деньги на новые апгрейды и идеи, бороться с банами… Cейчас же любой технодаун совершенно бесплатно получил доступ к довольно мощной тулзе (один встроенный переводчик чего стоит). Лично я уже после 5 минут втыкания в примеры родил свою первую полезную “трубу”.
Если коротко, то Yahoo Pipes – это фид агрегатор с возможностью совершать различные манипуляции с фидами, и завернуто все это в визуальный интерфейс. Ну например, самое простое, вот так вы можете получить объединенные результаты поиска yahoo и google news. Понятно?
Из очевидных плюсов Yahoo Pipes можно выделить:
- гибкость, функциональность и простота использования;
- выдача результатов в виде фида;
- высокая скорость;
- Yahoo Feed Seeker едва ли подвержен бану;
- многопоточность парсера (не уверен, но похоже на то);
- система отладки.
Что-то я не могу сходу придумать реально полезный для обычного юзера пример пайпа, вся эта псевдополезность получается глубоко высосана из пальца, зато в голову легко лезут куча полезностей для серого вебмастера
. Итак, вот вам примерный план, что можно сотворить с помощью обычных RSS, немного поколдовав над ними:
1. Cплог
- Выбрать реально интересные фиды с тематических сайтов
- Требуется полный текст постов в RSS
- Ставим ссылку на источник контента
- Легко реализуется на основе Wordpress и плагина для постинга текстов из фида
- Ручная модерация постов и свои уникальные статьи
2. Говносайт
- Грабим RSS по кею с различных поисковиков по блогам
- Текст в фиде под катом
- Картинки и видео тоже можно вставить с помощью обычного фида
- Каждая страница сайта заточена под опреденный кейверд
- Требуется свой движок или доработка существующих
3. Дор
- Можно делать все, на что способна ваша фантазия
- Включить в фид поисковые резалты
- Переводить текст на другие языки
Такой себе переход от полутонов серого к черному.
Это просто примеры, никто не запрещает объединять эти варианты или придумывать что-то свое.
А вот пример готового несложного доргенератора, очень гибкого, за 10 минут можно настрочить под любую конкретную задачу.

Кто не понимает картинок (надеюсь таких будет много
), объясняю рецепт этого супчика на пальцах:
- берем немного самого свежего тематического текста из блогов;
- добавляем немного уникальных заморских текстов из переводчика;
- притрушиваем все это большой плотностью кейвердов из выдачи поисковика;
- смешиваем все ингредиенты, можно взболтать при желании;
- процеживаем похожие кусочки через сито.
Это все, конечно, продукты не первой свежести, но главная фишка в том, что готовится блюдо очень быстро, ингредиентов большое разнообразие, а вкус будет зависеть только от вашей неограниченной фантазии.
Подумал тут, наверное, инструмент этот все-таки для домохозяек сложноват будет. Ну как человек с не программистским складом ума может понять, что такое Loop? Про регулярные выражения я вообще молчу. Кому-то понятно? Да, небольшой совет, для тех, кто собирается разбираться с пайпами – прежде чем что-то делать, изучите весь арсенал инструментов. А то я там такие кренделя воротил – ужас, а потом оказывалось, что всю эту балалайку можно заменить одним оператором… И вопрос знатокам, не смог разобраться: как из элемента item фида (например, из title) сделать строку (String) для последующей подстановки в операторы (например Regex). Если уметь это делать, то можно провернуть очень красивую штуку, а еще не хватает оператора IF…
А напоследок, припалю очень вкусную тему.

Кто не тормоз (этого Тормоза не касается
), легко догадается, что скрывается под свернутым Loop. Кстати, Тормоз, а ты чего забросил свой форум? Нашел там интересную инфу пока рылся в теме.
Что-то я совсем заигрался с этим трубопроводом… В арсенале у меня имеется еще парочка уникальных изобретений – практически готовые движки для различного рода сайтов, так что ждите продолжение…
Вот здесь можно перевести все ваши труды с Yahoo Pipes в денежный эквивалент, делать это лучше так.
—
Вы уже подписались на регулярное обновление рейтинга блогов? А на фид этого блога?
Из автоблогов это почти все:
http://www.arserblog.com/snovo-splogi-70/
Вообщем читай блог, потихоньку все рассказываю…
> WP-o-Matic как один из вариантов
а ещё какие варианты ? rss на мыло или другие плагины ?
Свои скрипты. Остальное не пробовал.
ОК, я начал. Твоя очередь )
Таки понял, почти пришёл к решению, был свой сервис по очистке html->xml но не догодался использовать regExp а пробывал через захват XML но там не получалось =(
Пипец. Появился модуль Fetch Page…
Да, прикольно…
Уже бы сразу добавили например модуль Splog
[...] Cплог, Говносайт, Дор и Yahoo Pipes [21.10.2007] [...]
[...] Хоть откровенные гавносайты и не клепаю, но осматриваюсь чем народ в этом плане дышит. Тема про Yahoo Pipes спалена в принципе давно, но вменяемых статей до сих пор не видел. Сегодня наткнулся на статейку “Cплог, Говносайт, Дор и Yahoo Pipes”. [...]
Yahoo Pipes, +1.
[...] применение яху пайпс для сплогов, говносайтов и доров. [...]
Господа, А может ли пайпес из rss-ки по ссылке выдирать новость целиком??
Как по мне пайпс не однозначная вещь…для сплогов и доров всё что нужно…вот только зачем это нужно для ЛЮДЕЙ???
[...] Cплог, Говносайт, Дор и Yahoo Pipes [...]
Долго рылся в сети в поисках нормального русского мануала YAHOO PIPES или хелпа YAHOO PIPES. Но находил только не полную информацию. Пришлось сесть и сделать нормальный перевод с описаниями модулей, картинками и примерами. Если кому интересно читать нормальный перевод а не набор слов из переводчика заходите на сайт
http://pipes-yahoo-com.onlinedrugs4u.com/
http://pipes.kultik.ru/?Glavnaya
бесплатно)
Ага конкуренция =) что ж тогда гугл придумает?
ММ.. объясните мне кто-нибудь как правильно склеивать элементы в трубе? Сделал 2 канала, 1 выдирает содержимое и переименовывает в item.title, второй выдирает содержимое и переименовывает в item.description. Пытаюсь склеить это в один фид с помощью блока Union, но на выходе получается только фид с тайтлами. Не пинайте сильно, я не программер просто вовсе.
а говносайты кстати получаются вполне приличные. шутки ради сделал несколько, слинковал чуток. все индексируется. засунул в сапу. денежка капает. все счастливы.
[...] Arseblog.com – и здесь есть крупицы [...]
Ну бля, с моей же трубы все слизали и хоть бы один хуй меня упомянул.
При чем тут вообще тормоз, который тоже так же как и ты скомуниздил чужое и выдал за свое ?
Goarmy, ну ты наглец. Это тот самый с умаксфорума, или просто конь в пальто какой-то?
Ссылочку на “твою трубу” можно, с которой все коммуниздят, сволочи?