Задача по парсингу киносайта приходит в голову каждому вебмастеру, который решил создать свой киносайт. Наполнение контентом — важная часть работы над таким сайтом. И тут есть несколько вариантов как вы поступите.

1. Поиск фильмов на одном из популярных кино-энциклопедий типа кинопоиска или Imdb и ручное копирование на свой сайт нужной информации по фильмам.
2. Скрипт или программа, которая сможет спарсить из чужого киносайта всю необходимую информацию прямо на ваш сайт.

Тут мы упираемся в вопрос о движке сайта (CMS). Многие выбирают Data Life Engine (DLE), как самую оптимальную, оптимизированную под SEO и быстродействие движок. Крайне не советую брать для этих задач WordPress, потому что он предназначен не для таких проектов и если взглянуть на топ киносайтов в российском сегменте интернета, то обнаружите сами, что практически все они созданы на DLE.

Так же я видел, как мой друг успешно продвинул киносайт в бурже, и обогнал своих конкурентов, используя DLE. Так что выбор движка для киносайта очевиден.

После установки CMS и шаблона для вашего будущего сайта, можно приступать к парсингу киносайта. Для этого нам понадобиться выбрать программу для парсинга. Мы рассмотрим как полнофункциональные платные решения и плагины под DLE для парсинга, так и бесплатные поделки.

Процесс парсинга разбит на 3 части.

1. Сбор данных с сайта донора
2. Обработка взятых данных в окончательный вид для публикации на вашем сайте
3. Импорт проекта на ваш сайт на DLE

Я могу перечислять разные малоэффективные программы и плагины, которые можно было бы скачать на свой страх и риск, и пытаться что то с ними сделать, но порекомендую то, что сам использую для этого.

Связка Content Downloader + Zebroid. Первый скачивает контент с нужного нам сайта донора, другой обрабатывает и уникализирует контент и имеет модуль для импорта в DLE и другие популярные движки.

Суммарно эти два продукта стоят чуть более 10000 рублей. Это единоразовое вложение в профессиональные инструменты, я использую их уже почти 10 лет. В дальнейшем их можно использовать не только для создания киносайтов но и парсинга + публикации с других видов сайтов, для вебмастера мастхэв.

• Скачать Content Downloader
• Скачать Zebroid

Парсинг киносайта (пример)

Процесс парсинга через Content Downloader очень прост и интуитивно понятен. Запускаем программу для парсинга, создаем новый проект, все как и в других программах. Вот пошаговый процесс со скриншотами.

Сканер сайта и сбор ссылок

Понадобиться нам, для того, чтобы собрать все ссылки на фильмы.

Указываем домен на сайт, с которого требуется спарсить данные.

Теперь самое главное! Так как мы выбрали для парсинга сайт kinogo, идем туда сначала и открываем страницу с любым фильмом. Важно посмотреть ссылку страницы.

Обратите внимание на вид ссылки фильма. Он заканчивается всегда на .html! Это первое, что нам поможет найти ссылки на фильмы. Идем в программу для парсинга, находим в сканере сайта кнопку фильтра ссылок.

Вставляем .html в фильтр для сбора ссылок, чтобы собирался список ссылок с фильмами из kinogo

Сохраняем и запускаем поиск ссылок.

Как видим сработало, программа собирает для нас ссылки на фильмы. Теперь остается только нажать кнопку добавить их в список для парсинга.

Задание границ парсинга

Далее настраиваем границы парсинга. Простым языком говоря, места на страницах, которые мы будем парсить. Такие как название фильма, картинка постера, год выпуска и даже iframe плеер с фильмом.

Откроется браузер и исходный код страницы, отбор нужных данных достаточно легкий процесс. Вы просто кликаете по нужному место на странице, и вам подсвечивается в исходном коде страницы, это место.

Затем остается только нажать на две кнопки, это кнопка авто и готово в правом верхнем углу.

И тогда выбранная часть сохранится. Чтобы протестировать, будет ли программа при парсинге забирать заданный участок с названием фильма, нажмите два раза на сохраненную границу для парсинга, в нашем случае добавить макрос <CD_GRAN_1!>, что выведет название фильма.

Вывод и сохранение результатов парсинга

Затем нажмите на любую ссылку в списке для парсинга и посмотрите на вывод.

Повторите с остальными элементами тоже самое, и получите HTML, TXT либо Табличный формат с данными. Далее по очереди со всех найденных ссылок с фильмами, программа проделает то же самое и сохранит результат парсинга в папку.

Просто запустите процесс и ждите завершения. Есть еще множество настроек и нюансов, с которыми можно ознакомиться на сайте программы, там есть подробная документация с видеоуроками.

Обработка в zebroid

Про обработку спасенных данных подробно я напишу отдельный пост. Сейчас же просто хочу показать вообщем, как это происходит. Работа с программой начинается с импорт сохраненных данных из парсера.

Я потом отдельно напишу о том, как настраивать импорт в Zebroid , как обрабатывать данные в ней и экпортировать на ваш сайт. Сейчас же хочется написать о процессе в общем.

Можно уникализировать текст и картинки. Если картинок и видео нет, но вы хотите их добавить, программа сама найдет подходящие и равномерно вставит их на ваши страницы. Тут есть функции перевода, если вы хотите перевести сайт на другой язык.

Установив плагин на DLE или другие CMS, вы сможете с легкостью эскпортировать готовый результат на сайт и даже запланировать постепенную публикацию, чтобы не публиковать все сразу, и сделать самонаполняемый сайт.

Вчера мне довелось попасть в неприятную ситуацию. Давно не покупал трафик из MarketGid, но тут вдруг мне понадобился тизерный трафик и я решил выкупить его там. Зайдя на главную страницу, передо мной встал выбор, регистрировать новый аккаунт или залогиниться под аккаунт 9 летней давности. Решил все таки не тратить время на регистрацию и ввел старые данные для входа.

Увидеть свой аккаунт и старые рекламные кампании всегда в радость, вспоминаешь о былых днях, когда трафик был на столько качественный, что мы лили в плюс без прелендов и трекера.

Решено было создать новый тизер и настроить кампанию. После модерации, я написал в службу поддержки, мол готов пополнять минималку пока что, она там 20$, и поинтересовался, запуститься ли в открутку мой тизер после этого. Указал так же айди объявления и сказал, что у него странный статус: «Заблокировано»….

Чтобы вы понимали, вот что я видел в своем личном кабинете. У меня был положительный баланс 20$. Но объявление было заблокировано. А причина была написана такая: «Недостаточно денег на балансе.»

Я пишу снова менеджеру Насте, спрашиваю почему тизер не откручивается.

О*уенная новость! Мне показалось или меня только что вводом в заблуждение, усыпили бдительность, тем что на балансе у меня нет долга, (он был до пополнения 0), подсунули менеджера, которая заверила что у меня вот вот начнутся показы тизера и таким образом сподвигли меня подарить им 20$? Хорооош…

Хорошо что я не пополнил больше, хотя заметьте, менеджер советовала со старта пополнить больше! Я не люблю долги, хотя в жизни всякое бывает и приходиться иногда в них влезать, но помоему только что долг появился из ниоткуда…

UPDATE: После написания поста, мне обновили баланс, теперь там другие цифры… Бред полнейший.

Добавлено: Я продаю сейчас свою базу 100000 Push подписок, потому что нет времени заниматься рассылками, я поглощен новой работой. Если кому то интересна покупка, можете писать мне на скайп: erikobox или ICQ: 444202890. Остальные контакты так же можно найти на этой странице.

Одним из моих источников дохода — собранная мною база Push подписок. Я собрал пуши в аккаунт Sendpulse, и интегрирую его в партнерские программы, которые рассылают push уведомления и платят за переходы по ним. В день выходит более 1000 рублей. За несколько месяцев у меня вышло 216000 рублей на пассиве.

Так же я рассылаю через Sendpulse уведомления моей базе сам. Лью трафик с пушей на товары по схеме CPA. Заявка получается от 500 рублей и выше, смотря какая страна. У меня женская база, поэтому хорошо идут похудалки, амулеты и прочие товары, пользующиеся у женщин за 35+ большой популярностью.

В пиковый день моя база приносила 15000 рублей!

Всего у меня 100 000 Push подписчиков. География у меня разная

• 40% Россия
• 30% СНГ
• есть так же Корея и США.

Чат боты интересное направление и вот почему. Если использовать бота не по назначение, то есть не для ответов на частые вопросы пользователей, а создать воронку, по которой человек сам отдает информацию боту, то можно заметить интересную закономерность. Люди сливают свои данные в переписке с ботом ДОБРОВОЛЬНО и с удовольствием!

Люди пишут боту свои данные охотнее, нежели если предложить им заполнить форму на лендинге. Мы устали регистрироваться. проходить капчи, и бесконечно перепроверять перед отправкой все что ввели.

С ботом все это происходит непринужденно, поэтапно и естественно, как если бы вы заказывали ужин у официанта в ресторане. По апи, боты могут передавать всю собранную информацию в базу, либо CRM систему.

Что бы проверить как это работает, нажмите на эту ссылку

Беседа с чат ботом

Все ответы записываются в переменные и их можно отправлять в любое приложение, начиная от Google таблиц до профессиональных CRM. Можно даже отправлять по апи сразу на affiliate партнерские программы. Это будут лиды.

Могу посоветовать 2 сервиса для создание ботов, один для сайта, другое для социальных сетей и месенджеров.

1. Collect.chat
2. Botmother

В первом варианте это виджет для сайта с мощным апи. Чат можно будет открывать по ссылке или повесить событие на кнопку, у него есть апи, мультиязычность, интеграция с аналитикой и CRM системами. Ботмазер же кроссплатформенный и работает в самых популярных соц. сетях вконтакте, фейсбук, одноклассники и месенджерах типа скайп, вайбер, телеграм и так далее.

Не вижу смысла писать инструкции, на сайтах этих продуктов есть полная документация и видео уроки, поэтому нет смысла писать тут тоже самое, ради наполнения поста текстом, ведь главное в моем блоге, во время донести до тебя новые тренды в нашем нелегком деле.

Сегодня я заметил новую фичу, оказывается, появилась возможность писать комментарии и обзоры непосредственно на страницах результатов поиска. К сожалению, это работает не во всех странах пока, и не со всеми типами контента, но я загуглил Игру Престолов и оставил бесмысленный комментарий для теста, чтобы отчитаться вам в блоге. Вот как это выглядит.

Марк Цукерберг написал целую простыню, про снижение охвата кликбейт постов в ленте Facebook (оригинал на англ.). Что то похожее я уже слышал несколько месяцев назад, когда социальная сеть грозила снизить охват фейк новостям. Первый вопрос, который у меня возникает — КАК ОНИ ЧЕРТ ВОЗЬМИ БУДУТ РАЗЛИЧАТЬ КЛИКБЕЙТ?!

В том же YouTube например, кликбейт палят так: если нажали на значок видео, посмотрели несколько секунд и ушли, значит обман ожидания, то есть кликбейт. А выкусите, не сработало! Я вижу кучу видосов на трубе, которые являются кликбейтом, но они ска так интересно начинаются, что захватывают твое внимание, и ты уже хочешь смотреть не то, на что кликал, а то, что уже начал смотреть, то есть, тот самый кликбейт!

Да, времена тупого спама с кликбейтом, когда юзеру вообще ничего взамен не дают, ушло в прошлое, теперь надо стараться удержать внимание пользователя на своем контенте, но это уже не в первый день так, и охват растет, если растет вовлеченность, но кликбейт работает!

Надо различать спам кликбейтом и кликбейт как инструмент привлечения внимания. Но то что делает Facebook, это полный кошмар для вирусных постов в ленте. В принципе так же, как оно в Одноклассниках стало. Больше не будет вирусного контента в лентах. Если раньше банили пост на подъеме, когда вовсю лился трафик, смотри картинку.

То сейчас будут банить перед ростом, чтобы ваш контент не выстрелил и не собрал охват по экспоненте.

Причина не в кликбейтах и фейк новостях, а в том, что они хотят продать все место в ленте, вместо того, чтобы отдавать это место интересному контенту. Ловите рекламу в ленте, рядом с фотками ваших друзей. Они просто добивают мертвый труп, который мы иногда дергаем, думая, что таким образом смогут спасти цены на свои акции, которые рухнули недавно. R.I.P.

Ни один вебмастер, который тратит много сил на создание вебсайта, не оставит его без счетчика, потому что когда будет трафик, он должен об этом знать, чтобы на нем начать зарабатывать, другой вопрос, если нет картинки этого счетчика, или же цифры посещения скрыты, как узнать его посещаемость?! Именно в таком случае, мы и будем сейчас разбираться.

Раньше в рунете было легче узнать посещаемость сайтов, когда еще сайты пользовались отечественной аналитикой, с кучей дыр, но с развитием Google Analytics, все перешли на нее, теперь точные данные о посещаемости на сайтах конкурентов получить сложно, но возможно. В дело включились различные мониторинговые компании, которые бог знает откуда достают информацию о посещаемости сайтов, хотя после скандалов с фейсбук и популярными расширениями для браузеров, которые, как оказалось сливают информации об активности юзеров третьим лицам, удивляться подобному не стоит.

Так вот, через такие программы, как Similar Web, можно узнать практически всю статистику сайта, если даже на нем нет счетчиков и веб аналитики вообще, хотя опять же, такое врятли может быть, если сайт с трафиком. Данные этим сервисам, скорее всего сливаются из браузеров, расширений, социальных кнопок встроенных на сайте, в наши дни почти любое ПО, по умолчанию за нами следит.

Лучше сразу качать удобное расширение симилара, https://chrome.google.com/webstore/detail/similarweb-traffic-rank-w/hoklmmgfnpapgjgcpechhaamimifchmp и тыкать его на нужном сайте.

Тут есть такая информация, которая недоступна даже админу сайта, например, куда уходит пользователь, после посещения вашего сайта. Шпионят за нами очень успешно, данные близки к реальным, погрешность в числах 1-5%, в этом можно убедиться, если вбить туда свой сайт и сравнить с реальной посещаемостью из аналитики.

Почему то многим не дает покоя вопрос о том, сколько можно заработать на сайте, с посещаемостью в 1000 хостов в сутки. Тут не будет воды о том, что все зависит от сайта, потому что мы не будем рассматривать коммерческие сайты, оставим это инфо-цыганам и маркетологам, которые выбрали эту нишу, потому что там много клиентов, непонимающих ничего в интернете, которых можно нагреть на деньги, не дав результата.

Мне вообще не интересны коммерческие ниши, меня интересует объем трафика, очень разного, любого, а уж как заработать, пусть разбираются те, кто выкупает его у меня, например Adsense, или можно всегда слить на CPA партнерки. А в развлекательной и информационной тематике есть зависимость только от GEO, то есть страны, с которой идут посещения, в зависимости от этого, меняется цена выкупа вашего трафика, но не в 100 раз, как в коммерческих нишах, разница тут варьируется всего в несколько раз.

Мой ответ, если у вас есть 1000 уников на сайте, быстрее всего вы сможете заработать на таких направлениях, как:

• Платный доступ
• Вап-клик
• Попандер

Рассмотрим каждый из них подробнее.

Платный доступ

У меня есть киносайты, которые я монетизирую подобным образом. Есть один с посещаемостью 1000 уников в сутки. Плеер с фильмом я установил так низко, что приходится скроллить страницу вниз, чтобы ее увидеть, а вверху, после описания, стоит кнопка смотреть, ведущая на плеер с платным доступом (это партнерка), конверсии бывают, но не каждый день, в неделю от 5 до 20$ капает.

Вап-клик

Если у вас среди этих 1000, есть мобильный трафик (смотрите в своей аналитике), то вы можете легко зарабатывать, если будете его сливать на вап-клик партнерки. Пару кликов ваших посетителей, и вы получаете пассивный источник дохода, вам будут приходить каждый день отчисления с абонентов мобильных сетей, вы также сможете продавать эти подписки. Если оставите, то будете получать каждый день все больше, начиная с откровенно копеечных 1-2 рублей в день до тысячи рублей в день, спустя… год если посещалка останется такой же и трафик будет поисковой, а не с подписной базы.

Попандер

Для тех, у кого нет конверсий от слова вообще, у меня для вас плохие новости, у вас на сайте 1000 очень некачественного трафика, а в таком случае, остается их продать только в биржу попандер партнерки. С 1000 открытий всплывающих окон, можно заработать… пару баксов. Но кликать на сайте конечно же будут не все, но все же 1-2$ в день вы с этой тысячи получить сумеете.

Можно сказать, что с 1000 посещений в день, в среднем выходит 50-100 рублей заработка. Ссылки на партнерки ищите в любимой вами поисковой системе.

Примеры запросов:

• Партнерская программа + Popunder/Clickunder, платный доступ, вапклик.

После создания и наполнения сайта, встает вопрос по продвижению ссылками, сейчас можно встретить распространенный тренд, якобы ссылки больше не нужны для поискового продвижения и это так, но только если у вас трастовый дроп домен. Но для свежерегов, без ссылочного профиля, полученный трафик будет намного меньше, чем если бы ссылки на вас были. Если это звучит очевидно, значит тем более это имеет смысл.

Сейчас я хочу затронуть ссылки из социальных сетей, но в будущем обязательно расскажу, откуда еще стоит брать ссылки для нового сайта. Все кто в теме, наверняка слышали, что Google любит социальные сигналы, например когда ссылками делятся пользователи, но немаловажно так же, чтобы у сайта были группы в социальных сетях, где будет происходить кросспостинг ссылок сайта.

Ставим иконки социальных сетей в подвале сайта, нам нужны как минимум

• Facebook
• Google+
• Pinterest

Постить надо много, но по расписанию, чтобы выглядело все органично. Я пользуюсь сервисом https://amplifr.com, для планирования и массовго постинга ссылок сайта в социальные сети.

Создаем проект сайта, заливаем кучу ссылок для постинга из вашего сайта, по расписанию, и все… Это разовая процедура, если у вас дор.

Я заметил, что это помогает, еще 2 года назад, когда открывал один сайт для взрослых и постил ссылки с сайта в группу на фейсбук, эффект последовал спустя 2 недели, потом я открыл таких же 3 сайта, но в этот раз не постил ссылки на фейсбук, сайт зашел в индекс и… ничего не произошло.

Не секрет, что Google пытается понять, на сколько автор сайта, серьезно подходит к делу, и если у сайта есть группы, которые перелинкованы с ним, и там часто бывают обновления, то это не может не помочь гуглу в принятии решения в пользу сайта.

Давайте перестанем тратить время зря, жизнь коротка, а нам еще надо многое успеть. Мои мысли с каждым днем становятся яснее, и я хотел сегодня рассказать мою точку зрения, на счет того, как избежать бессмысленной траты времени.

Как распознать, является ли твое занятие пустой тратой времени. Очень просто! Я люблю объяснять на примерах, представь, что ты посадил дерево, как понять что оно растет? Измерять его, верно? Так вот, если за некоторый промежуток времени, цель не оправдала ожидания, не трать время впустую. Очевидно? Не всегда! Когда ты любишь то, что делаешь, ты не измеряешь свой успех и не можешь понять, что занимаешься фигней. Думаешь ты мало старался или допустил ошибки? Есть такое понятие как талант, если не вышло, значит не твое, не теряй время.

Я на своем примере сейчас покажу.

Я сейчас же откажусь от того, что занимает мое время и мысли, но не приносит достаточно пользы, еще и мешает развиваться. Есть вещи, от которых и я должен отказаться на данный момент.

Youtube

Мне сейчас жаль писать об этом, но мне придется вырубить свой основной ютуб канал, куда я выкладывал влоги. В последнее время, там у меня совсем мало просмотров, но он отнял годы у меня, а взамен дал мне раздражение и поселил во мне сомнения в самом себе. Люди там специфичные, я писал тут в блоге, что там даже сидят маньяки и педофилы миллионами, поищите мою статью, там есть пруфы. Весь сброд, получил право голоса, только там есть кнопка дизлайк, я видел как дети плачут на своих видео ни раз. Они расстроены, потому что не не оправдались их ожидания о себе. Их самооценка падает, и дальше делать ничего не хочется. Все люди имеют право на спокойную жизнь и гордость, чтобы они при этом ни делали. Любите и цените себя, лучше вас нет никого в этом мире, кроме ваших детей, по сути они это вы.

Но! Не всегда нужно вырубать под чистую, давайте оптимизируем. Не на всех каналах есть функция сообщества, и 50к подписчиков, а у меня есть, я буду постить туда ссылки на мои посты в этом блоге, и гнать трафик сюда. Еще есть 3 видео с большими просмотрами, тоже оставлю, чтобы не отключили монетизацию. Кто знает, может у меня в будущем появиться возможность и хорошая идея, и я использую канал.

Вот! Не надо впадать в крайности, потом еще больше времени придется потратить, чтобы наверстать упущенное, если окажется, что все таки зря бросил это. Но сейчас лучше постить только в социальные сети для друзей, кому надо найдут меня везде.

Просмотр сериалов

Найти хороший сериал, на несколько сезонов, да к тому же, который уже закончили снимать, чтобы посмотреть его от начала и до конца, хорошая затея, чтобы побаловать себя, если у вас каникулы или отпуск. Я тоже этим грешу. Но у меня сейчас нет столько времени, чтобы смотреть сериалы, кажется легко отказаться от такого удовольствия? Легче сказать! Если посмотрели пару серий, и вас зацепило, мне жаль, тут два варианта, либо смотрите до конца, либо последнюю серию. Терпеть очень сложно. Я обычно врубаю последнюю серию, помогает, признаю неприятно, но зато время сберег.

Расход денег

Экономьте деньги, сколько бы их у вас не было. Вы спрашиваете как относится экономия денег, к пустой тратой времени? А я вам скажу, что большинство наших расходов, это пустая трата не только денег, но и времени! Эти бесконечные походы по магазинам, поездки на машине, ухаживания за бабами, вечеринки и так далее до бесконечности. Одел тапочки, налил чая или кофе, сел в мягкое кресло, откусил булочку, почитал книжку, вот каким должен быть отдых эффективного человека. А кстати, книги качайте бесплатно в интернете, все бабки все равно идут издателям, а не авторам.

В моем случае, об экономии речи не идет, скорее денег критически мало сейчас. Но все написанное выше, сам буду выполнять, когда немного подниму.

P.S. Этот блог в своем роде возможно тоже бессмысленная трата времени, причем и для автора и для читателя, но я его только посадил, по аналогии с деревом, так что ответ на этот вопрос пока не однозначный.