>>не сложно представить, что кто-то пишет…
>не сложно представить, что кто-то пишет…”/>
>>не сложно представить, что кто-то пишет уникальный контент одновременно в 1000 блогов Предполагается, что блоггер будет проверять только свой блог. Эх, не правильно сформулировал чуток суть. Перефразирую: сколько блогеров планируется регистрировать в сервисе? – это будет частный проект или массовый? >>…есть блоггеры, которые делают кросспостинг из своих блогов в эти сервисы. Хотел эту мысль поначалу вписать, но подумал, что комментарий гораздо более топика получится Здесь нужна отдельная ветка для разговора, но в приметиве это могло бы выглядеть так: нужна отдельная БД для "кросспостинговых социалок" (ну, допустим, типа Тви – таких много, также LI и прочие блогохостинги, на которых может проверяться "профиль"; если хомяк правильный – то всё ок и без обратки, беклинка ) и отдельная БД для "доверенных сайтов" (например, тот же Хабр и прочие). >>Проверки будут запускаться регулярно планировщиком. Полагаю, нужен свой собственный сервак – дедик, сомневаюсь, что для массового применения даже выделенный сойдет, хотя на первых порах для относительно небольшого теста и обычный хостинг сгодится.
>не сложно представить, что кто-то пишет…”/>
Работа должна быть непрерывной… при большой загрузке Крон уже не пойдет, как разовый запуск в сутки, требуется беспрерывный конвеер, имхо. Думаю, так Сапа (наверняка уже весь инет в курсе что это) и работает – конвеером, а не по часам. >>Как вы докажите, что статья, пропущенная через синонимайзер ваша? Даже если её найдёте. Слова ведь в ней другие.
Так что учитываться будут только копии один в один. Это элементарно. Многие уже бьются над этой проблемой и пока еще не придумали нормального решения – нет либо толковых программистов, либо денег на реализацию, но в принципе это реально сделать. Некоторые сервисы имеют свой "порог совпадения"; если порог превышает 50%, например, то это копия (плагиат). Думаю, все согласятся, что пара троек предложений дописанных или измененных в статье ее уникальной ну никак не сделают – над этим и бьются все поисковики, постоянно модернизируя распознавание оных. >>100% точность никто не гарантирует Согласен, конечно Поэтому, можно ее занизить, например, до уровня совпадения в 70-80%, см. выше. >>Например, вы вообще не найдете сайты, которые не проиндексированы поисковиком. Для этих целей, чтоб свести к минимому погрешность, можно использовать несколько поисковиков… Смотрим пример Нигмы. Думаю, здесь все понятно, варианты: Бинг, Гугл, Яндекс и Яху, например, можно еще с десяток добавить при желании.
>не сложно представить, что кто-то пишет…”/>
>>cURL'ом можно реализовать несколько проверок одновременно, это будет намного быстрее Подумал было об этом сначала. Но не захлебнется ли сервер при массовой проверке? Хотя, как вариант, можно использовать несколько серверов под разные нужды – именно так сейчас и делают на крупных сервисах, если нагрузка слишком высокая, чтоб зависания избежать – точно не помню, про какой сервис читал, но все счетчики так работают, например, пр-су просят поставить код себе на блог для уменьшения нагрузки – (я так думаю???). >>даёт ссылку на сайт хостера, на котором можно посмотреть контакты администрации Понял. Можно попробовать ссыль без хуиза посмотреть, сейчас думаю над этим – не люблю грузить других, чтоб не забанили. >>нужно сразу к хостеру обращаться Здесь проблемы уже решили с этим. >>Не слышал о таких. О, таких много (часто о них слышал, но не обращал внимания), я специально не искал, но видел уже 3 наиболее крупных, вот одна из баз, например: vsemkidalam. net. Вполне можно пообщаться с разными админами и брать у них хмл или попросить их сваять что-либо еще, чтоб все были в шоколаде.