Cплог, Говносайт, Дор и Yahoo Pipes
Периодически я встречал на блогах и форумах упоминание о Yahoo Pipes, но чтоб хоть одним глазком посмотреть, что же это такое, как-то у меня не сросталось, никто же не написал: “с помощью pipes я заработал $10к за неделю”. И наконец-то, я добрался до этого сервиса…
У меня есть только одно предположение, почему Yahoo отдала в публичное использование такой инструмнт – видимо, они имеют какой-то новый супер мощный алгоритм борьбы с дублированным контентом и прочим говнотекстом, и таким образом хотят заспамить Google и подорвать позиции своего конкурента на попроще поисковых технологий. 
Нет, понятно, что вся функциональность, зашитая в в Yahoo Pipes, была доступна и раньше любому начинающему web-программисту. Но так то надо было писать парсер или искать программера, тратить время и деньги на новые апгрейды и идеи, бороться с банами… Cейчас же любой технодаун совершенно бесплатно получил доступ к довольно мощной тулзе (один встроенный переводчик чего стоит). Лично я уже после 5 минут втыкания в примеры родил свою первую полезную “трубу”.
Если коротко, то Yahoo Pipes – это фид агрегатор с возможностью совершать различные манипуляции с фидами, и завернуто все это в визуальный интерфейс. Ну например, самое простое, вот так вы можете получить объединенные результаты поиска yahoo и google news. Понятно? 
Из очевидных плюсов Yahoo Pipes можно выделить:
- гибкость, функциональность и простота использования;
- выдача результатов в виде фида;
- высокая скорость;
- Yahoo Feed Seeker едва ли подвержен бану;
- многопоточность парсера (не уверен, но похоже на то);
- система отладки.
Что-то я не могу сходу придумать реально полезный для обычного юзера пример пайпа, вся эта псевдополезность получается глубоко высосана из пальца, зато в голову легко лезут куча полезностей для серого вебмастера . Итак, вот вам примерный план, что можно сотворить с помощью обычных RSS, немного поколдовав над ними:
1. Cплог
- Выбрать реально интересные фиды с тематических сайтов
- Требуется полный текст постов в RSS
- Ставим ссылку на источник контента
- Легко реализуется на основе Wordpress и плагина для постинга текстов из фида
- Ручная модерация постов и свои уникальные статьи
2. Говносайт
- Грабим RSS по кею с различных поисковиков по блогам
- Текст в фиде под катом
- Картинки и видео тоже можно вставить с помощью обычного фида
- Каждая страница сайта заточена под опреденный кейверд
- Требуется свой движок или доработка существующих
3. Дор
- Можно делать все, на что способна ваша фантазия
- Включить в фид поисковые резалты
- Переводить текст на другие языки
Такой себе переход от полутонов серого к черному. Это просто примеры, никто не запрещает объединять эти варианты или придумывать что-то свое.
А вот пример готового несложного доргенератора, очень гибкого, за 10 минут можно настрочить под любую конкретную задачу.
Кто не понимает картинок (надеюсь таких будет много ), объясняю рецепт этого супчика на пальцах:
- берем немного самого свежего тематического текста из блогов;
- добавляем немного уникальных заморских текстов из переводчика;
- притрушиваем все это большой плотностью кейвердов из выдачи поисковика;
- смешиваем все ингредиенты, можно взболтать при желании;
- процеживаем похожие кусочки через сито.
Это все, конечно, продукты не первой свежести, но главная фишка в том, что готовится блюдо очень быстро, ингредиентов большое разнообразие, а вкус будет зависеть только от вашей неограниченной фантазии.
Подумал тут, наверное, инструмент этот все-таки для домохозяек сложноват будет. Ну как человек с не программистским складом ума может понять, что такое Loop? Про регулярные выражения я вообще молчу. Кому-то понятно? Да, небольшой совет, для тех, кто собирается разбираться с пайпами – прежде чем что-то делать, изучите весь арсенал инструментов. А то я там такие кренделя воротил – ужас, а потом оказывалось, что всю эту балалайку можно заменить одним оператором… И вопрос знатокам, не смог разобраться: как из элемента item фида (например, из title) сделать строку (String) для последующей подстановки в операторы (например Regex). Если уметь это делать, то можно провернуть очень красивую штуку, а еще не хватает оператора IF…
А напоследок, припалю очень вкусную тему.
Кто не тормоз (этого Тормоза не касается ), легко догадается, что скрывается под свернутым Loop. Кстати, Тормоз, а ты чего забросил свой форум? Нашел там интересную инфу пока рылся в теме.
Что-то я совсем заигрался с этим трубопроводом… В арсенале у меня имеется еще парочка уникальных изобретений – практически готовые движки для различного рода сайтов, так что ждите продолжение…
Вот здесь можно перевести все ваши труды с Yahoo Pipes в денежный эквивалент, делать это лучше так.
—
Вы уже подписались на регулярное обновление рейтинга блогов? А на фид этого блога?
Тааак, кто-то захотел кол в голову =)
Шутка)
Лучше гвоздь вкрутить или болт заколотить)
А вообще не верьте ему – там куча подводных камней, да и глюки у пайпов проскакивают периодически без всякой причины. Намучаетесь ещё =)
Без обид)
[...] в сео-рейтинге Арсера (открывшего для себя Яху-пайпс) стал четвертым [...]
Класс! Когда форум доделаю, обязательно поставлю ссылки и процитирую. Надеюсь, что ты не против.
Я-то наивно думал, что в рунете кроме меня никто не делает сложные трубы )
Я очень рад, что ты тоже влился. Рассказывай побольше всяких интересностей!
А про if, да… насколько было бы лучше, если бы было )
А ещё то ли я туплю, то ли это невозможно, столкнулся сейчас с проблемой: разделить в XML один пост на несколько.
Про String не понял, Regex и так можно применять сразу в Title… [стоп!] Дошло. Ты хочешь применять title как условие для другого оператора? Хм, это интересно. Пока не знаю, возможно ли.
P.S. А глючат иногда зверски, это правда. Особенно на сложных трубах вроде бомжеленты.
А зачем вам там IF понадобился?
Тормоз, честно говоря не заметил, чтоб трубы глючили (может мало еще юзал). Частенько глючат RSS сервисы, блоги, коннект инета…
> Разделить в XML один пост на несколько.
Не уверен, что понял, но может как-то так:
- split’том делим одну rss на две
- sub string’ом или regex’ом вырезаем разные часты поста и отдаем в результат
- объеденяем через union две rss
square, IF много где хочется. Ну например,
ЕСЛИ нашли что-то по запросу, ТО… ИНАЧЕ новый запрос
В принципе можно выкрутиться из любой ситуации, но сложно получается.
Да, такой вариант я рассматривал. Но слишком толсто получится, слишком много модулей. Представь, если нужно один пост делить на 10 частей, например?
И потом ещё каждую часть трансформировать. В пять экранов будет, блин…
Может тогда просто 10 regex подрят… а потом item builder с результатов… А как именно разбить надо?
Кстати, чтобы экраны не разрастались, можно оформлять часть трубы, в виде отдельного пайпа, очень удобно. Можно создать что-то типа своей библиотеки труб
Я кажется понял что ты хочешь… типа мешать предложения в посте и все в таком духе?…
Отвечу одной ссылкой. И тебе сразу всё станет понятно
http://www.google.com/trends/hottrends
Кстати, насчёт библиотеки труб. У меня бомжелента сейчас состоит из 5 труб. Из них четыре подсасываются в основной интегратор.
Там уже вынужденное решение, всё глючило нах.
Теперь по крайней мере при аварии проще отследить, на каком участке всё стопорится.
Тормоз, это я сделал уже на 3й свой трубе…
String Tokenizer для title и все дела…
если хочется для description, наверное еще +Regex чтобы вырезать линки.
В иделе там надо сравнивать сегодняшние данные с вчерашними, и отбирать несколько тем, которые ещё только на подъеме, выбирая самые лучшие сообщения из блогов и разбавляя ключевиком. Это было бы супер.
Примерный алгоритм я знаю, как без сверки с картинками попадать с большей долей вероятности туда, куда надо.
Выбрать только новые темы? а так ли это важно? если дергать кеи каждый день, то мы постоянно будем иметь все самое свежее. Проверил сейчас вручную первую двадцатку кеев за сегодня – почти все новое в сравнение со вчерашними.
Про сверку картинок не понял…
[...] =>Cплог, Говносайт, Дор и Yahoo Pipes (Яху-пайпс – как из них сделать, к примеру, [...]
Только что появились очень интересные чекбоксы в модуле Regex! Я пока не понял для чего, и в документации ничего нет, и на их форуме тоже. Очень интересно!
Блин, классный сервис. Развивается семимильными шагами.
Напиши, если разберешься, что это за штуки. Модификаторы какие-то?
Похоже, это модификаторы. Шикарно!
Угумс. Дали бы они доступ к языку программирования этих труб, это было бы шикарно
Ага былобы кайф самому поковырятсо
sorry – тормоз я.
а какой plugin из RSS в Wordpress post может?
Мучаюсь сейчас, тоже понадобилось сделать из элемента строку ( Эх, как классно было бы, можно было бы подставить в regex. Ай-я-яй… Что же делать? Неужели нет способа? Всю голову себе сломал уже.
2badarse: например WP-Autoblog, Feedwordpress, ну а самый вкусный я оставлю до следующего поста, когда хочу это подробно расписать
2Тормоз: похоже что так сделать просто нельзя, кажется элементарно не совпадает их внутренний тип данных и преобразовать нечем. Выход только один – тянуть все rss, которые надо и обрабатывать уже своим кодом… :/
[...] я Yahoo Pipes, настроил свой робоблог и поехал на выходные с [...]
Я там эту свою проблему немножко иначе решил. Пришлось использовать две трубы, причем одна из них как сервис, с параметрами в ссылке на RSS, а вторая уже строит нужный URL. Тогда всё классно вышло.
А еще не замечал, что часто Pipes просто не хочет применять некоторые вещи? Вот, например, мне сейчас обязательно нужны в одном RSS pubDate, которые источник не выдаёт… я их генерирую с помощью Loop и поискового запроса на ППБ. И вот в предпросмотре pubDate есть к каждому элементу, а на выходе нету, блин. ХЗ, чего ему надо.
Даже не знаю, на словах понять сложно… Но я замечал, что в конечный фид не попадают элементы, которые вне спецификации rss. Может у тебя дата не в том формате?
Да, лента валидируется, но дата точно какая надо. Вот это и странно.
Победил! Оказывается, из Loop в элемент нужно копировать не только pubDate, но и y:published. Видимо, система как-то сопоставляет эти результаты.
За наводку спасибо, хотя и не очень понятно, почему именно так…
[...] 1. Как заработать в интернете. Большинство инетересует не оптимизация, а онлайн заработок. 5 вещей, которые я никогда бы не сделал в Интернет-заработке Как заработать на туристическом сайте Рано или поздно мы придем к потолку. 17 советов от Маркуса Фринда: как сделать прибыльный онлайн бизнес или вебсайт Как русские работают на американских аукционах Как заработать в новой нише – мастер класс на примере телефонных карт от тов. soda Как привлечь рекламодателя? allseo: $10 384,4 Cплог, Говносайт, Дор и Yahoo Pipes [...]
Тоже мне методика изготовления говносайтов.
Вот: http://modernshit.ru реальный говносайт. А не всякое сео-рукоблудие
Не надо впадать в крайности
[...] Интересное на сегодня: как попасть в DMOZ (честно говоря, проще стать редактором, что я и сделал), 10 “никогда” начинающим оптимизаторам, делаем зеркала блога, особенности поведения выдачи Google в зависимости от тематики запросов, как подобрать короткое доменное имя в зоне COM, ручного понижения PageRank нет, как зарабатывают киберсквотеры, как ИжБомжа казино надуло, свой бизнес в 9 лет, сплог, говносайт, дор и Yahoo Pipes. [...]
[...] Хожу на Работу в Интернет – Если коротко, то Yahoo Pipes – это фид агрегатор с возможностью совершать различные манипуляции с фидами, и завернуто все это в визуальный интерфейс. Ну например, самое простое, вот так вы можете получить объединенные результаты поиска yahoo и google news. Понятно? [...]
[...] Arser-а, ведущего блог "Хожу на работу в Интернет" – Cплог, Говносайт, Дор и Yahoo Pipes о Yahoo Pipes? весьма занимательная штучка, будет время – [...]
[...] Yahoo Pipes [...]
А угадывать тут нечего.
http://blogs.icerocket.com/search?tab=blog&rss=1&q=keyword
Получаем выдачу в rss формате по конкретному ключу. Потом этот рсс фетчаем как уже в пайп. почему обрубается только первая – не понятно, скорее всего самая релевантная выдача.
А под всёрнутым луп или переводчик, или свой сервис для “уникальности” текста.
Kapitoshka, не угадал. Под свернутым – стандартный элемент. Все очень просто, но читал на форумах, что многие так и не догадались, как это сделать. Скажу больше – я сам когда-то заплатил $100 за скрипт на php, делающий примерно то же самое, но хуже…
автор. раскажи плз, как осуществляешь постинг
конкретно интересует превращение Yahoo Pipe Output в пост на конечном блоге
+ как правильно парсить в yahoo pipes – поисковые и xml выдачи (например в трендах гугла)
спасибо
user, смотрел мультик про Вовку в тридевятом царстве? )
> автор. раскажи плз, как осуществляешь постинг
так
Yahoo Pipe отдает результаты в виде RSS, если еще кто-то не заметил.
> как правильно парсить в yahoo pipes – поисковые и xml выдачи
А зачем парсить поисковую выдачу? Не понял.
Распарить фид гугл трендс на слова можно с помощью String Tokenizer и String Regex.
ПС. Зачем указывать левый email и сайт? Как-то лениво даже отвечать таким коментаторам.
Хм….. говоришь знаешь как сделать уникальный текст под конкертный кейворд.
из идей String.replace или Location Builder – кстати была такая идея, после твоего поста о рсс – но не нашёл источиника подходящего под новости, была вообще идея брать новости из рсс переходить на страницу и от туда грабить контент используя пайпы, была одна проблема которая не решается =).
Ну вот я её решил
Не на 100%, но меня устраивает…
Я тоже решил ) Подсказка: не забывайте про поисковую форму в сервисе. Уже сделано огромное количество труб на разные темы.
Кстати да, как-то забыл поискать готовое что-то…
Вот сейчас сходу нашел что-то полезное. Kapitoshka, для тебя:
http://pipes.yahoo.com/pipes/pipe.info?_id=mpfknS1y3BGcfvNJouNLYQ
Тормоз, хоть магарыч тебе выставляй
нашел готовую трубу над которой только сегодня думал. Кстати, трубу с моей картинки тоже нашел…
Тормоз очень любит автоматизацию, поэтому никогда не откажется от какого-нибудь скриптового технического магарыча ))
… а можно и обмен опытом какой-нибудь произвести. Похоже, мы в пайпсах примерно на одном уровне.
Это можно
> Yahoo Pipe отдает результаты в виде RSS, если еще кто-то не заметил.
заметил, просто интересно было узнать какими методами ты пользуешься для отправки содержания на блог
WP-o-Matic как один из вариантов
понятно, спасибо
расажи плз в двух словах о посещаемости своих автоматических блогов
какой порядок цифр, какой конверт (и на чём)
и откуда больше всего приходит посетителей
Из автоблогов это почти все:
http://www.arserblog.com/snovo-splogi-70/
Вообщем читай блог, потихоньку все рассказываю…
> WP-o-Matic как один из вариантов
а ещё какие варианты ? rss на мыло или другие плагины ?
Свои скрипты. Остальное не пробовал.
ОК, я начал. Твоя очередь )
Таки понял, почти пришёл к решению, был свой сервис по очистке html->xml но не догодался использовать regExp а пробывал через захват XML но там не получалось =(
Пипец. Появился модуль Fetch Page…
Да, прикольно…
Уже бы сразу добавили например модуль Splog
[...] Cплог, Говносайт, Дор и Yahoo Pipes [21.10.2007] [...]
[...] Хоть откровенные гавносайты и не клепаю, но осматриваюсь чем народ в этом плане дышит. Тема про Yahoo Pipes спалена в принципе давно, но вменяемых статей до сих пор не видел. Сегодня наткнулся на статейку “Cплог, Говносайт, Дор и Yahoo Pipes”. [...]
Yahoo Pipes, +1.
[...] применение яху пайпс для сплогов, говносайтов и доров. [...]
Господа, А может ли пайпес из rss-ки по ссылке выдирать новость целиком??
Как по мне пайпс не однозначная вещь…для сплогов и доров всё что нужно…вот только зачем это нужно для ЛЮДЕЙ???
[...] Cплог, Говносайт, Дор и Yahoo Pipes [...]
Долго рылся в сети в поисках нормального русского мануала YAHOO PIPES или хелпа YAHOO PIPES. Но находил только не полную информацию. Пришлось сесть и сделать нормальный перевод с описаниями модулей, картинками и примерами. Если кому интересно читать нормальный перевод а не набор слов из переводчика заходите на сайт
http://pipes-yahoo-com.onlinedrugs4u.com/
http://pipes.kultik.ru/?Glavnaya
бесплатно)
Ага конкуренция =) что ж тогда гугл придумает?
ММ.. объясните мне кто-нибудь как правильно склеивать элементы в трубе? Сделал 2 канала, 1 выдирает содержимое и переименовывает в item.title, второй выдирает содержимое и переименовывает в item.description. Пытаюсь склеить это в один фид с помощью блока Union, но на выходе получается только фид с тайтлами. Не пинайте сильно, я не программер просто вовсе.
а говносайты кстати получаются вполне приличные. шутки ради сделал несколько, слинковал чуток. все индексируется. засунул в сапу. денежка капает. все счастливы.
[...] Arseblog.com – и здесь есть крупицы [...]
Ну бля, с моей же трубы все слизали и хоть бы один хуй меня упомянул.
При чем тут вообще тормоз, который тоже так же как и ты скомуниздил чужое и выдал за свое ?
Goarmy, ну ты наглец. Это тот самый с умаксфорума, или просто конь в пальто какой-то?
Ссылочку на “твою трубу” можно, с которой все коммуниздят, сволочи?