Почему выпадают страницы из поиска яндекс. Страницы выпали из Яндекса! Как определить выпавшие из индекса Яндекса страницы

Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль 🙁 Почему страницы выпали из Яндекса?

Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!

НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!

Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.

Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.

Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:

40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:

Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:

Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:

Здравствуйте, Андрей!

Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.

О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .

Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.

Спасибо за понимание, ждем Вашего письма!

Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!

Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?

Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:

Как найти страницы выпавшие из Яндекса?

Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .

Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:

Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.

Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:

В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:

Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:

После того как все закончилось выгружаем результат в EXEL. Что мы видим?

А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:

Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?

Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…

Не нашли ответ? Воспользуйтесь поиском по сайту

Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.

Нет уверенности, но кое-какие наблюдения наводят на мысль, что эффект проявляется при проигрывании флеш баннеров. Может быть такое прооисходит, если у клиента установлен плеер старой и дырявой версии? Вообщем, проблема есть, не распространенная, но есть. Было бы проще, конечно, если бы гарантировано можно было вопсроизводить этот эффект. А так, клиентов не удобно просить- выключть, включить и пр для экспериментов. МОжет такое встречаплось у кого-нибудь?

","contentType":"text/plain"},"proposedBody":{"source":"

","contentType":"text/plain"},"authorId":"6446625","slug":"8396","canEdit":false,"canComment":false,"isBanned":false,"canPublish":false,"viewType":"old","isDraft":false,"isOnModeration":false,"isSubscriber":false,"commentsCount":33,"modificationDate":"Thu Oct 17 2013 14:14:00 GMT+0000 (UTC)","showPreview":true,"approvedPreview":{"source":"

","html":"Проблема: После удачной загрузки страницы примерно через 5 сек пропадает страница- экран браузера становится полностью белым. Сайт посещают около 30 тыс. посетителей в день. Используется Яндекс RTB. Наблюдается редко, у единичных посетителей, началось недели 2-3 назад. Наблюдал сам лично, но короткое время и сейчас на моем компьютере не наблюдаетсяо. Судя по всему от браузера зависит мало. Проявляется не на всех страницах подряд. При отключении антивируса Касперского эффект пропадает! Сам Касперский при этом не ругается. Сайт ничем НЕ заражен.","contentType":"text/plain"},"titleImage":null,"tags":,"isModerator":false,"publishCount":1,"commentsEnabled":true,"url":"/blog/partner/8396","urlTemplate":"/blog/partner/%slug%","fullBlogUrl":"https://yandex.ru/blog/partner","addCommentUrl":"/blog/createComment/partner/8396","updateCommentUrl":"/blog/updateComment/partner/8396","addCommentWithCaptcha":"/blog/createWithCaptcha/partner/8396","changeCaptchaUrl":"/blog/api/captcha/new","putImageUrl":"/blog/image/put","urlBlog":"/blog/partner","urlEditPost":"/blog/56a93308d97351872e73283f/edit","urlSlug":"/blog/post/generateSlug","urlPublishPost":"/blog/56a93308d97351872e73283f/publish","urlUnpublishPost":"/blog/56a93308d97351872e73283f/unpublish","urlRemovePost":"/blog/56a93308d97351872e73283f/removePost","urlDraft":"/blog/partner/8396/draft","urlDraftTemplate":"/blog/partner/%slug%/draft","urlRemoveDraft":"/blog/56a93308d97351872e73283f/removeDraft","urlTagSuggest":"/blog/api/suggest/partner","urlAfterDelete":"/blog/partner","isAuthor":false,"subscribeUrl":"/blog/api/subscribe/56a93308d97351872e73283f","unsubscribeUrl":"/blog/api/unsubscribe/56a93308d97351872e73283f","urlEditPostPage":"/blog/partner/56a93308d97351872e73283f/edit","urlForTranslate":"/blog/post/translate","urlRelateIssue":"/blog/post/updateIssue","urlUpdateTranslate":"/blog/post/updateTranslate","urlLoadTranslate":"/blog/post/loadTranslate","urlTranslationStatus":"/blog/partner/8396/translationInfo","urlRelatedArticles":"/blog/api/relatedArticles/partner/8396","author":{"id":"6446625","uid":{"value":"6446625","lite":false,"hosted":false},"aliases":{},"login":"rlocman","display_name":{"name":"Муратов С..mds.yandex.net/get-yapic/0/0-0/islands-middle","isYandexStaff":false},"originalModificationDate":"2013-10-17T10:14:40.000Z","socialImage":{"orig":{"fullPath":"http://avatars.yandex.net/get-yablog/4611686018427441880/normal"}}}}}">

Если за последнее время, у вас просел трафик, страницы выпали из индекса, то тогда есть только 2 варианта. Первый: санкции от поисковых систем, второй:

Здравствуйте, уважаемые читатели блога сайт.

На связи Могиш Иван, и сегодня я расскажу вам об такой проблеме, когда из индекса поисковой системы выпадают (уже ранее) .

Буквально несколько дней назад, с нами случилась точно такая проблема. Из индекса гугла вылетело почти 50% страниц. Трафик упал с 800 на 169. Просто жесть. Сами посмотрите:

На сегодня вроде статистика выровнялась, но все равно есть ещё небольшой минус. Надеемся, через 2-3 дня выйдем на тот уровень что и были.

Так вот друзья, если у вас случилась такая проблема, считайте вам повезло. Расскажу все, что делали. Только сначала, давайте узнаем причины такой неприятной проблемы.

Основные причины вылета страниц из индекса поисковых систем

1. Санкции (АГС, Панда, Пингвин и т. д.). Первый признак наложенных фильтров является понижение трафика и вылет страниц из индекса. Поэтому, чтобы первым узнать о таких проблемах, каждый веб-мастер, блоггер просто обязан зарегистрировать свой ресурс в панелях веб-мастеров. Друзья, если вы ещё это не сделали, то не тяните:

Процедура добавления сайта довольно проста. Но все же если возникнут проблемы, то отпишитесь в комментариях. С радостью, помогу.

В общем, если ваш сайт попал под санкции, то вначале нужно узнать, какой именно фильтр наложен. Обычно, в панели для веб-мастеров приходит письмо со всей информацией (за что, когда наложен и т. д.).

P.S. Гугл отправляет сообщение веб-мастеру, только тогда, когда наложены ручные санкции. Если автоматические, письмо не придёт.

Вывод сайта из-под санкций, это совсем другая тема, о которой я расскажу в других своих статьях. , чтобы не пропустить.

А теперь, другая причина вылета страниц из индекса.

2. Закрывающий мета-тег. Да-да, друзья именно через один код, который появился в шаблоне случайно, принёс нам такую проблему. А вот и сам код:

Теперь, запускаете программу и поочередно открываете все Html и PHP файлы. Используя поиск программы, находите мета-тег и удаляете его. Чтобы ускорить поиск, можно открыть все файлы сразу, вверху (в разделах) нажать поиск а потом «Найти в файлах». Т.е. вы будете искать тег во всех файлах сразу.

После, как тег будет удалён, страницы вернуться в индекс самостоятельно.

В итоге

Как упоминал раньше, откуда всплыл этот мета-тег мы не знаем, если вы знаете, то напишите в комментариях. Будем признательны. Мы в свою очередь, на всякий случай сделали следующее:

Обновили WordPress до последней версии;
Обновили все плагины, в том числе и Yoast SEO;
Поменяли все пароли к доступу блога;
Установили плагин Anti-XSS attack для защиты WordPress.

Ну вроде все, можно заканчивать. Надеюсь, что статья вам поможет, вернуть все страницы в индекс и выйти на тот уровень, на котором были раньше. Для тех, в кого таких проблем не наблюдалось, добавьте статью в закладки. Возможно, в будущем пригодиться…

Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:

10 основных причин выпадения страниц сайта из индекса Яндекса

Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.

Некачественный контент

Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.

Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.

Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.

Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.

Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.

Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.

Технические проблемы

Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.

Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.

За нарушение закона

Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.

Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать

Много исходящих ссылок с страницы

Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.

Дубли страниц внутри сайта

Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.

Плохое качество сайта

У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.

Санкции в поисковых системах

Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.

Глюк Яндекса

Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.

Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.

Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.

Причины выпадения страниц из индекса

Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
Избыточное количество ключевых фраз на странице – переоптимизация.
Накрутка поведенческих факторов путем имитации действий пользователей
Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
Заражение сайта вредоносным кодом с точки зрения ПС.
Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.

Как определить выпавшие из индекса Яндекса страницы

В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.

Резюме:

Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.