Хожу на Работу в Интернет

В сети очень давно уже ходят легенды о волшебных программах-генераторах читабельного естественного текста. Любой здравомыслящий человек понимает, что обладая такой технологией, можно уже за пару лет обеспечить себе беззаботное будущее. Я тоже не мог обойти стороной столь интересную тему, поинтересовался чужими наработками в этой области и кое-что изобрел сам.

Конечно, я начал свои поиски с гугла, перерыл кучу сайтов, перечитал форумы и нашел массу интересного и нового для меня материала (в основном, это буржуйские сайты). Оказалось, что люди даже защищают свои научные звания по теме генерации текста. А теперь неприятная новость: вы нигде не найдете готовых платных или бесплатных решений этой задачи, по-крайней мере, для публичного использования.

Поэтому логично, что дальше я просто попытался думать сам. Ставить перед собой задачу “генерации читабельного естественного контента” было бы слишком самонадеянно, поэтому слово “читабельного” убираем сразу. Если текст будет казаться читабельным в глазах поисковиков, это уже хорошо.
На первом этапе я поставил задачу: сгенерировать уникальный текст, который бы не банил Google. Ведь просто присутствие ваших веб-страничек в индексе крупнейшего поисковика уже обрекает вас на определенный трафик. Скажу сразу – мне это удалось, и об этом ниже, сначала на уровне идеи.

Дорвейщики давно уже издеваются над текстом: цепи Маркова, замена слов синонимами, всевозможные перетасовки слов в предложении, и самое простое – натыкать кейвердов посреди тематического текста. У всех этих способов есть большой недостаток – они _не_ “естественные”. Если вы используете один из вышеперечисленных методов, и ваши сайты висят более 3-х дней в гугле, то, наверное, вас зовут Дэвид и фамилия ваша – Копперфильд.

Мысль о естественности текста все-время крутилась в моей голове. Наша программа должна быть похожа на ребенка, который обучается разговаривать, слушая окружающих людей. А кого же нам еще слушать, как ни отца родного – Google? То, что он уже пустил в свой индекс, он считает качественным текстом, по этим текстам он и сам строит свое мнение, как должен выглядеть “нормальный” контент. Если мои слова и предложения, не похожи на тексты, на которых разговаривают жирные старички из топов гугла, то я или в доску пьян или автоматом нагенерил контента одним из общедоступных способов. Значит, я иной, и плачет по мне бан. [На всякий случай: все, что здесь излагается – это сугубо мое ИМХО, вы совершенно не обязаны в это верить.]

О чем же и как вещают нам счастливые жители топов гугла? А говорят они все о своем, но очень похоже: если сказали “Windows”, то где-то неподалеку ляпнут и “Microsoft”, сказали “Джордж Буш”, жди продолжения истории про “Белый дом” и “Ирак”. Причем, немаловажно, что непосредственно после слова “Windows” могут идти слова: XP, Vista, Глюк, Маст Дай, OC, но почти никогда вы не встретите фразу “Windows олень”, потому, что так не говорят (не верите – проверить в гугле, там наверное будет только эта страничка). Помните, об этом было сказно в одном из патентов гугла, про цепочки слов и прочие приколы, тогда это активно обсуждали?

А еще в разных языках есть разные падежи, времена, окончания, знаки препинания, вопросительные предложения… и все это должно _правильно_ сочетаться и переплетаться. И гуглу не надо учить все эти множества правил языка и сами языки, ему достаточно проверить “говорит ли так большинство?”. Ребенок ведь разговаривает, хотя никогда не слышал, что такое глагол и имя существительное; он научился этому, слушая окружающих, и это очень естественно.

Хватит уже про этого ребенка, теперь более конкретно, практически алгоритм:

1. Надо взять сайты из индекса гугла по определенной тематики для анализа. Достаточно 100 первых url, большее количество, практически не влияет на общую статистику.
2. “Брать” тексты надо с умом, не просто заграбать весь файл, а вырезать только смысловой текст (нахрена нам всякие навигации и копирайты в статистике?).
3. Теперь поехали анализировать эти тексты:
   • Как сочетаются слова в предложениях? Сколько раз встречается та или иная фраза. Пожалуй, самое важное и ресурсоемкое.
   • Какая средняя длина предложения? От и до? А длина текста?
   • Какие фразы могут стоять вначале предложения, а какие только в конце?
   • Знаки препинания никто не отменял?
   • Вопросительные предложении, не такие как восклицательные?
   • Где предлоги и прочие стоп-слова?
   • А может слово правильно писать только с заглавной буквы? Плохо быть не грамотным…
4. Осталось самое простое – сгенерить текст на основе всей этой статистики.

Самое приятное, что нам не надо следить за плотностью кейвердов при генерации текста и прочими параметрами. Все получается исключительно естественно, так пишут тексты все нормальные люди, и мы от них особо не отличаемся. Проверить данное утверждение можно здесь, (неплохой анализатор текста). Проверьте, ради интереса, какую статистику этот анализатор выдает для нормального рукописного текста, а потом сравните с текстом с вашего дора Ничего не мешает гуглу делать такой же элементарный анализ. После вышеописанных манипуляций, параметры моего генеренного текста, были близки к рукописному. Да, кстати, Word тоже не подчеркивает зеленым эти тексты, считая, что грамматика в норме.

Без примера сгенеренного текста, пост был бы не полным. Вот абзац про тойоту:

Financial news from the Toyota way intends to use the coupon. He set the toyota business, put the fat binders on a conference-room shelf, and extensive line. Its totally futuristic, but also have filled out. This is performed by all, toyota created this cool tool to check out of steam in 1924. Sales in 2006, this tax credit requires a substantial changes a year as project director, Finance program, you may not followers. It makes a half-million cars a year-one every time passed, the demand and so funny? Youre being cut because it would have an extensive line in the United States.

Тут без лишних комментариев, текст не ахти какой, но главное, что это сработало.

Факт: Google за такой текст не банит! Все сайты, что я сделал на этом движке, спокойно себе висят и по сей день. Но проблемы все же есть. Во-первых, контент не читабельный, т.е. такие сайты только под Umax, про адсенс в данном случае речи быть не может, также могут быть проблемы при различных ручных проверках. Во-вторых, “естественный” текст получается с низкой плотностью кейверда, следовательно, на мега трафик с гугла рассчитывать не стоит. Здесь ничего не поделаешь, люди пишут тексты и не думают про какуе-то там плотность. (Вы можете сколько угодно убеждать меня в обратном, но то, что плотность кейверда все еще очень сильно рулит в поисковиках, это точно.) Что я делал дальше, чтобы обойти эти проблемы, пожалуй, напишу в следующий раз…

Я не знаю, собирают ли свои базы кейвердов _так_, но в результате анализа текстов у меня получилась неплохая статистика по кейвердам с показателем их встречаемости в текстах. Это уже можно использовать как дополнительный бонус к основной задаче

В данный момент скрипт генератора находится в стадии “для себя” (это предполагает “полуавтоматический” режим всех процессов, отсутствие интерфейса и прочих радостей юзера) и, честно говоря, я задвинул его до лучших (худших) времен, так как есть и без того много занятий. Но если найдутся желающие купить сие за большие деньги, наверное, я бы мог придать ему более благородный вид.

Жду ваших комментариев и идей (особенно бредовых). Вместе ведь гораздо проще придумать что-то новое и интересное.