Проверяем говносайты
Мои мысли ноября 28, 2007 Один из способов проверить наложен ли на сайт какой-нить фильтр - это ввести url сайта в Яндекс и посмотреть выдачу. Если на 1 месте нет ссылки на проверяемый сайт, то можно сказать что сайт не чист 
Я думаю что вы это знали до прочтения этой записи, но Яндекс не любит когда его пытают! Если парсить выдачу напрямую, то тогда он покажет капчу, а при обработке xml-запросов можно обратится только 1000 раз…
А выход то совсем рядом mail.ru использует выдачу Яндекса, правда только до конца этого года…. Удачного парсинга!
Интересные записи:
Редирект в Яндексе
Опыт в киберсквотинге
Новая бага на сапе
Комментариев (19) к “Проверяем говносайты”
Оставить комментарий
Вы должны быть авторизированным чтобы оставить комментарий.
ноября 28, 2007 в 06:12
Оригинально. Отжёг
ноября 28, 2007 в 09:10
Стараюсь
ноября 28, 2007 в 18:42
Не только маил ру. Например тут бай также использует выдачу яндекса (по умолчанию только по беларуси, но в опциях есть и по СНГ, т.е. по ходу по всему рунету). Да и в принципе еще целая туча сайтов должна быть, которые используют яндекс для организации поиска.
декабря 2, 2007 в 12:58
Дело не в том, кто использует, кто нет…
Кип дал хорошую тему для размышления
декабря 6, 2007 в 03:53
ну наверное ты прав )
декабря 6, 2007 в 13:07
Все эти сайты используют yandex-xml
TUT.BY — поиск по белорусским сайтам
Телеграф — поиск по белорусским сайтам
DATE.BY — поиск по белорусским сайтам
Новый Портал — поиск по белорусским сайтам
UaPortal — поиск по украинским сайтам
TopPing — поиск по украинским сайтам
ukr.net — поиск по украинским сайтам
Online.ua — поиск по украинским сайтам
NN.RU — поиск по нижегородским сайтам
74.ru — поиск по челябинским сайтам
OREN.RU — поиск по оренбургским сайтам
webrostov.ru — поиск по ростовским сайтам
zahav.ru — поиск по израильским сайтам
РосТепло.ru — поиск по сайтам тематики “Теплоcнабжение”
iligent — поисковая система деловой информации
MetalWeb.ru — поиск по сайтам металлургических предприятий
декабря 24, 2007 в 16:11
глупый вопрос:
если при запросе URL с www нету в выдаче на первом месте сайта, а без он стоит на первом месте,
значит ли это, что на него наложили фильтры?
и можно ли с этим как-то бороться или изменить? я про фильтры
спасибо.
декабря 30, 2007 в 16:43
Кип, давненько тебя на МТ не видел… как живешь? ))))
января 10, 2008 в 17:59
Привет всем! Вопрос: А какие у яндекса фильтры есть? заранее благодарен…
января 24, 2008 в 17:51
про mail.ru боянчик:)
января 27, 2008 в 14:29
Сам факт боянчик - а идея хороша.
февраля 7, 2008 в 21:39
Я это знал, но для некоторых людей это может быть полезным!
февраля 8, 2008 в 20:14
мда…не знал, что проверяют гавносайты, это что-то очень интересное…и что же там можно проверять? что же там можно увидеть такого необычного? ну чтож, людя не зря этим занимаются!
февраля 10, 2008 в 22:38
parovoz, спасибо за ссылки.
марта 6, 2008 в 15:09
присоединяюсь к Оптимизатор, реально спасибо тебе,паровоз
марта 15, 2008 в 03:02
А еще есть какие нибуть методы ?
апреля 11, 2008 в 02:08
hristofor, проверяй нахождение своего сайта по анкору ссылки с сайта на другой ресурс, может, выявишь непот у себя.
апреля 24, 2008 в 14:58
за инфу спасибо даже не догадывался
ноября 20, 2008 в 04:06
это все понятно… но глюки из зи невнимательности бывают… на первой странице может быть зеркало… с доеном почти такимже как тот который проверяеш…. и можно незаметить…….