SEoDOR - генератор сайтов/дорвеев (официальный топик)

[Sanchez]

Всем привет! До 20 апреля действует скидка 20% (160$), плюс учитываются промокоды от пользователей :)
Также готовится скорое обновление, в котором, как всегда, будут улучшения и новые фичи!

[Sanchez]

Поздравляю всех с Днем Победы! Пусть в ваших домах всегда будет мир, покой и радость!

До 10 мая (включительно) действует акция - 25% - 150$!

Близится обновление, в котором будет реализовано много полезностей, таких как поиск по дору, похожие новости, маскировка удаленных url'ов картинок под "свои" (было в шаблоне site.ru/image.jpg, стало dor.ru/123-key.jpg), новые виды ЧПУ, новые макросы, локальные макросы без повторов на странице, улучшения некоторых функций и другие фичи :)

[Sanchez]

Приветствую, уважаемые форумчане!

Рад представить Вам обновленный SEoDOR v3.0!

И сразу пару демок:
http://www.mp3vk.org/ - демонстрирует возможности мультикеев, похожих новостей, поиск и скачивание музыки с контакта (ссылки на mp3 прямые, как бы "свои"), а также поиск по сайту.
http://tramtararam.net/ - режим мешанки параграфов со спарсенных сайтов-доноров по запросу, поиск по сайту, короткие новости.

Стоимость доргена составляет $200.
Обновления бесплатные!

ICQ: 775084, другие контакты.

Новые возможности:

Маскировка удаленных URL'ов картинок под 'свои':

Было в шаблоне:

<img src="http://site.com/image.jpg">

Стало:

<img src="/imgs/123-keyword.jpg">
или
<img src="/imgs/he6hkl3o3.jpg">

Теперь в файле мультикеев, а также просто в шаблоне, можно указывать урлы на картинки с сайтов-доноров и дорген их будет выводить как "свои".


Новые возможности режима Мультикей:

- генерация своего URL'a страницы для кейворда.
Например, файл кеев такой:

Кейворд;любой_url_для_этого_кея

Тогда в шаблоне можно прописать вывод ссылки на страницу так:

<a href="[S_DOR_URL][MKEYURL-metka-2]" title="[L_MULTIKEY-metka-1]">
[MKEYPART-metka-1]
</a>

На выходе получим:

<a href="http://dor.ru/lyboy-url-dlya-etogo-keya.html" title="Кейворд">
Кейворд
</a>

Также по одному мультикею теперь можно сгенерировать несколько страниц, например, один мультикей - 2 страницы:
http://www.mp3vk.org/artists/beastie-boys.html
http://www.mp3vk.org/beastie-boys/he...-2009-cd1.html
Урлы, как и выше я описывал, генерируются макросом [MKEYURL-X-Y], где:
X - метка строки;
Y - номер подключа.


Парсинг аудио с соц. сети VK:

Можно парсить MP3 по любому указанному кейворду в шаблоне. Если не указан кейворд, то парсинг происходит по текущему кею страницы. Ссылки на файлы MP3 получаются прямыми, т.е. как бы "свои": /mp3/73616548_259281488.mp3. Для работы с VK нужно создать приложение и получить токен, т.к. парсинг идет через API.


Поиск по сайту:

В поисковой форме сайта можно ввести запрос и дорген выдаст страницы, отвечающие этому поисковому запросу. Поисковый запрос автоматически становится текущим кейвордом (он выводится в шаблоне макросами [L_QUERY] и [L_QUERY_FULL]), т.е. если в шаблоне указаны макросы парсинга любого контента, то поисковыми результатами будет спарсенный контент по этому запросу.
Как, например, сайт www.mp3vk.org - поиск музыки с VK + демонстрация режима мультикеев + "свои" картинки + похожие новости.

В конфиге доргена указывается префикс, который говорит доргену, что это поисковый запрос. Например,

• префикс search/, то при переходе на http://dor.ru/search/любой запрос - покажет результаты поиска по сайту по запросу "любой запрос".
• Префикс можно написать еще так: search.php?q=, тогда поиск будет работать в таком URLе: http://dor.ru/search.php?q=любой запрос
• А если его вообще убрать, то результаты поиска будут в таком урле: http://dor.ru/любой запрос

В конфиге можно указать кешировать результаты поиска или нет:

• не кешировать,
• кеш обновляется по указанному периоду времени,
• результаты кешируются как страницы - в постоянный кеш, записывается ссылка на страницу в карту сайта.

Похожие новости:

Эти макросы похожи с "короткими новостями" и "поиском по сайту", но они сверяют схожесть текущего запроса с уже закешированными новостями и выводят релевантные. С закешированными страницами сверяется каждое слово из текущего запроса.


Поддержка прокси с авторизацией:

Типы поддерживаемых прокси: HTTP, SOCKS4, SOCKS5.
Поддерживаемые форматы файла с проксями:

ip:port
username:password@ip:port
http://ip:port
socks5://username:password@ip:port

Если не указан тип прокси (socks5:// и тд), то используется из опции в конфиге доргена.


Новые виды URL'ов:

Поддерживаемые типы URL'ов (это касается и режима сабдоменов - url_type_sab.site.ru) :

1. httр://www.dоr.ru/category/sample-post.html - По умолчанию
2. httр://www.dоr.ru/2013/05/13/sample-post.html - День и название
3. httр://www.dоr.ru/2013/05/sample-post.html - Месяц и название
4. httр://www.dоr.ru/category/91dbd3dbd0e3ca61e1d3834304417636.html - md5(sample-post)
5. httр://www.dоr.ru/sample-post/ - Название записи
6. httр://www.dоr.ru/category/12345-sample-post.html - Префикс и название
7. httр://www.dоr.ru/category/fnzcyr-cbfg.html - str_rot13(sample-post)
8. httр://www.dоr.ru/category/fnzcyrcbfg.html - str_rot13(samplepost) - без тире
9. httр://www.dоr.ru/category/91dbd3dbd0.html - обрезанный md5 до 10 символов
10. httр://www.dоr.ru/category/1234567890.html - 10 символов из цифр

Новые виды парсинга:

Поддерживаемые виды парсинга в доргене:

1. "Обычный" - макрос Q_CONTENT будет выводить спарсенное предложение с рандомной ПС по запросу.
2. "Мешанка" - макрос Q_CONTENT будет выводить спарсенное предложение с сайта-донора.
3. "Мешанка из абзацев" - макрос Q_CONTENT будет выводить абзац из нескольких предложений со спарсенных сайтов по запросу.
4. "Полные статьи" - макрос Q_CONTENT будет выводить статью полностью с сайта-донора.
5. "Контент между <body>" - макрос Q_CONTENT будет выводить спарсенную страницу между тегами <body> с сайта-донора.

Кол-во сайтов-доноров, которые нужно спарсить за один проход указывается в конфиге.


Автообновление парсеров:

В конфиге доргена указывается период времени, через который скрипт проверит обновления парсеров и обновит их, если это требуется. Автообновление включает в себя обновление парсеров контента, видео, картинок и аудио. Опция начинает работать после символической оплаты - 3$/месяц.
В APPS появилась кнопка, при нажатии на которую скрипт немедленно проверит обновления.


Работа с кешем доров в APPS:

В APPS, в разделе кеширования, появилась возможность удаления отдельных частей кеша доров, плюс полное удаление страницы с сайта - при удалении страницы будет выдаваться 404:


Если вам не нужна определенная страница, то удалите из файла кеев ненужный кей этой страницы и нажмите кнопку "Удалить страницу".


Уникализация, генерация контента:

В предыдущей бета-версии появились макросы генерации контента на основе цепей Маркова. Источником для генерации контента может быть любой текстовый контент - как спарсенный, так и заготовленный самостоятельно.

Улучшения:

• Оптимизирована функция автоопределения кодировки сайта-донора, которая избавляет сайт от крякозябр и неверной перекодировки контента.
• Оптимизирована функция обработки контента при парсинге нескольких сайтов по запросу в режимах статей, которая экономит ресурсы сервера, а также увеличивает скорость обработки.
• В APPS теперь рабочий шаблон можно выбрать из списка.
• В макросах генерации контента, типа [L_KEY_TO_TEXT-X], X выводит указанное кол-во вставляемых кеев в текст, а не процент.
• Макрос {SHORT_USER_DATA_COPY-X} теперь "копирует" любой контент с меткой X для "коротких новостей/похожих новостей/поиска по сайту", который затем "вставляется" макросом {SHORT_NEWS_USER_DATA-X}, с этой же меткой X. Метка может называться как удобно.
• Следующие локальные макросы теперь выводят контент без повторов на странице:
  

  [L_KEY-{Z}-X-Y] - Случайный кейворд из $keywords
  [L_BKEY-{Z}-X-Y] - Случайный кейворд из $keywords с большой буквы
  [L_KEY_URL-{Z}-X-Y] - url со случайным кейвордом из $keywords в латинице (sluchayniy-keyword.html)
  [L_KEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords
  [L_BKEY_HREF-{Z}-X-Y] - Ссылка со случайным кейвордом из $keywords с большой буквы
  [L_MAP_URL-{Z}-X-Y] - Случайный внутренний URL из карты сайта
  [L_MAP_KEY-{Z}-X-Y] - Случайный анкор из карты сайта
  [L_MAP_HREF-{Z}-X-Y] - Случайная внутренняя ссылка из карты сайта
  [L_RANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt
  [L_BRANDTXT-folder/txtfile.txt-{Z}-X-Y] - Случайная строка из файла /folder/txtfile.txt с большой буквы

  Два последних макроса выше выведут контент без повторов, только если используются доп. параметры -{Z}-X-Y.

Новые макросы:

• [I_VK_TRACK-{Z}-X-Y-{Q}] - выводит трек по поисковому запросу с VK в виде аудио-плеера, где Q - поисковый запрос. Если нет поискового запроса (макрос прописан так: [I_VK_TRACK-{Z}-X-Y]), то поиск будет идти по текущему кею.
• [S_TEMPL_REAL] - в отличии от [S_TEMPL], который при маскировке под CMS выведет путь типа /wp-content/themes/my_templ/, данный макрос выведет реальный путь к текущему шаблону /templates/my_templ/
• {{привет||{{здравствуйте||доб рый день}}||эге-ге-ге!}} - вставляется рандомный текст из указанных, разделенный «||». Можно использовать любые макросы и указывать много вариантов. Поддерживается вложенность.

Обновил плагин макросов (вкладка "Плагин для N++"), а также макросы на сайте.
Еще были многочисленные изменения в коде по оптимизации, а также некоторые фиксы, о которых расписывать не буду).

[exarh]

Круто!

Дайте свежих , 3-4 месячных доров в индексе!

[Bacardi-V]

А можно ли сгенерированный (напарсенный) Сеодором контент (сайт) сохранить на компьютер для дальнейшей заливки на ЦМС, например Вордпресс? Для заливки использовать Цербер, как вариант.
Интересует такой вариант, т.к. не хочется связываться постоянно с созданием шаблонов - как-то не по душе мне это, во всяком случае пока ))
Интересен вариант такого решения с Сеодором, т.к. десктопные доргены не парсят контент.

[bioshok333]

Сообщение от Bacardi-V

А можно ли сгенерированный (напарсенный) Сеодором контент (сайт) сохранить на компьютер для дальнейшей заливки на ЦМС, например Вордпресс? Для заливки использовать Цербер, как вариант.
Интересует такой вариант, т.к. не хочется связываться постоянно с созданием шаблонов - как-то не по душе мне это, во всяком случае пока ))
Интересен вариант такого решения с Сеодором, т.к. десктопные доргены не парсят контент.

Мне кажется тебе больше подойдёт wpsed или dlesed.

[Sanchez]

Обновления 3.0.1

1. Для парсера VK-аудио добавил задержку в 3 сек, если сервер не отдал результаты из-за частых обращений. Добавил распознавание капчи через Antigate. Ключ задается в конфиге.
2. В конфиг добавлен параметр $ip_admin:
   - если указан IP, то доступ на сайт будет только для этого IP
   - можно указать в таком формате XXX.YYY

Сообщение от exarh

Круто!

Дайте свежих , 3-4 месячных доров в индексе!

Сообщение от Bacardi-V

А можно ли сгенерированный (напарсенный) Сеодором контент (сайт) сохранить на компьютер для дальнейшей заливки на ЦМС, например Вордпресс? Для заливки использовать Цербер, как вариант.
Интересует такой вариант, т.к. не хочется связываться постоянно с созданием шаблонов - как-то не по душе мне это, во всяком случае пока ))
Интересен вариант такого решения с Сеодором, т.к. десктопные доргены не парсят контент.

В доргене есть статический режим - это когда при генерации страницы она сохраняется в папку с доргеном. На основе этого режима можно создать свой шаблон с необходимыми данными, которые нужны для экспорта (с помощью макросов), а также в конфиге указать расширение сохраняемых файлов. Имена файлов будут согласно указанному в конфиге типу урлов.

[exarh]

Я не просил стат))

[Sanchez]

Сообщение от exarh

Я не просил стат))

Ну тогда в выдаче ищите, т.к. никто не хочет палить свои доры) Правда, признаков доргена практически не осталось, поэтому только опытным путем можно вычислить, что это Сеодор.
Выше статы тех пользователей, которые делают шаблоны на форуме. Я думаю, что они продают такие же шаблоны, которые сами же и используют.

[Bacardi-V]

Насчет WPSed и DleSed я в курсе, спасибо. Но вот как-то они мне кажутся слегка аматорскими, если так можно сказать )) А хочется брать софт с возможностью дальнейшего развития. Хоть я в дорвеях только разбираюсь, имею нормальные знания в сео, думаю, дорвеи смогу потянуть ))
Но вот с шаблонами какая-то засада...
А есть хорошие программки для создания шаблонов для СеоДора, чтобы было относительно несложно? А то конечно вся прелесть в полной автоматизации заключается с ним...

[Sanchez]

Сообщение от Bacardi-V

Насчет WPSed и DleSed я в курсе, спасибо. Но вот как-то они мне кажутся слегка аматорскими, если так можно сказать )) А хочется брать софт с возможностью дальнейшего развития. Хоть я в дорвеях только разбираюсь, имею нормальные знания в сео, думаю, дорвеи смогу потянуть ))
Но вот с шаблонами какая-то засада...
А есть хорошие программки для создания шаблонов для СеоДора, чтобы было относительно несложно? А то конечно вся прелесть в полной автоматизации заключается с ним...

Шаблоны для Сеодора делаются очень легко - нужно просто "раскидать" по нему необходимые макросы и готово! Главное - это базовые знания HTML. Если был опыт работы с РБТ или подобными макросными доргенами, то и с Сеодором проблем в создании шаблонов не будет. Берете любой сайт, который понравился в качестве будущего шаблона, сохраняете страницу на диск и добавляете в нее макросы. Все!

Можно создать следующие шаблоны для доргена:

1. для главной;
2. для внутренних страниц;
3. для категорий. Причем:
   • для каждой категории можно отдельный шаблон;
   • можно один для всех категорий;
   • можно использовать такой же шаблон как и на главной;
4. для карты сайта;
5. для страницы 404;
6. для пользовательской страницы (например "контакты" и тд);
7. для результатов поиска по сайту.

Все шаблоны сразу делать нет необходимости, главное, чтобы были 2 шаблона - для главной и внутренних страниц. Остальные по мере необходимости, т.к. некоторые из них по умолчанию уже встроены в дорген.
Все из указанных шаблонов поддерживают макросы.

Также вместе с доргеном в комплекте идут пару шаблонов, посмотрев которые можно понять что к чему.
Плюс на форуме некоторые пользователи занимаются созданием шаблонов, поэтому можно еще обратиться к ним)

[Sanchez]

Все кто хотел купить SEoDOR, но не имел возможности по различным причинам, теперь могут приобрести его за 69$!

Дорген доступен в двух редакциях - с открытым и закрытым исходным кодом.

SEoDOR.biz/Buy

Успехов! :)

[mr.smith]

Что это за программа? faq есть для новичка?)

[swit777]

Сообщение от mr.smith

Что это за программа? faq есть для новичка?)

Это дорген.Кстати у меня есть этот продукт но я так не одного дора и не запилил.Если есть площадки под доры буду рад сотрудничеству.

[Sanchez]

Обновления :)

1. Добавлен парсинг VK картинок с их описанием
   Если в конфиге доргена включен режим маскировки удаленных картинок, то картинки с ВК будут маскироваться под "свои".
   
   Пример макросов в шаблоне для вывода картинок по запросу:

   [I_VK_IMAGES-10-15]
   <a href="{VK_IMAGE_ORIG}"><img src="{VK_IMAGE_TRB}" alt="" /></a>
   <br>
   {VK_IMAGE_TEXT}
   <br><br>
   [/I_VK_IMAGES]

   Пример макросов в шаблоне для вывода картинок из альбомов по запросу:
   

   [I_VK_ALBUM-10-15]
   <a href="{VK_IMAGE_ORIG}"><img src="{VK_IMAGE_TRB}" alt="" /></a>
   <br>
   {VK_IMAGE_TEXT}
   <br><br>
   [/I_VK_ALBUM]

   где:
   

   10-15 - кол-во выводимых картинок от и до;
   {VK_IMAGE_TRB} - превью;
   {VK_IMAGE_ORIG} - полная картинка;
   {VK_IMAGE_TEXT} - описание картинки;

2. Новый вид режима «Клиент-Сервер»
   Если есть доступ к конфигу Апача на сервере, где планируется генерировать доры, то можно включить мод прокси и дорвеи будет генерировать Апач) Для этого в конфиге апача прописывается всего одна строка, которая указывает, что, например, по этому адресу http://site/mobile/ будет генерироваться дорвей. Можно также в htaccess прописать правило, чтобы не править конфиг апача.
   Затем в конфиге доргена указывается нужный режим:
   
   Как вы будете использовать этот режим - это ваше дело) Главное, что он есть.
3. Оптимизирована функция обработки коротких новостей, которая увеличивает скорость работы и снижает нагрузку.
4. В APPS добавил выбор аудио парсеров.
5. Обновил плагин макросов для N++.