Анализ страницы https://amital.ru/Uchyebnaya-lityeratura-c110.html
Основное Готовность: 75%
Домен
amital.ru
Состояние доменного имени
?
Проверяем корректность доменного имени и наличие технических проблем на уровне домена.
Домен второго уровня идеален для продвижения.
Отличный запоминающийся домен.
Регистратор домена - TIMEWEB-RU
Дата регистрации домена 20.07.2001 (25 лет назад)
Ответ сервера
200 Успешный ответ
HTTP-код ответа и цепочка редиректов
?
Код 200 — страница доступна. Коды 3xx — редиректы (цепочки замедляют загрузку и размывают ссылочный вес). Коды 4xx/5xx — ошибки, поисковик не сможет проиндексировать страницу.
Сервер настроен корректно.
Безопасность
Сайт безопасен
Использование HTTPS и SSL-сертификат
?
HTTPS — обязательный стандарт. Google и Яндекс отдают предпочтение защищённым сайтам. Отсутствие SSL или просроченный сертификат ведут к предупреждениям в браузере и снижению позиций.
На сайте работает защищенный протокол ssl и сайт открывается по https.
Ssl-сертификат действителен до 13.09.2026 5:27:58.
Включён HSTS (Strict-Transport-Security) — защита от подмены на http.
Поздравляем! Сайт не содержится в реестре РКН.
Кодировка
UTF-8
Кодировка символов страницы
?
Стандарт — UTF-8. Неправильная кодировка вызывает нечитаемые символы и мешает поисковику корректно распознать текст страницы.
Указана кодировка на странице UTF-8.
Язык
ru
Атрибут lang в HTML-теге
?
Атрибут lang (<html lang="ru">) сообщает поисковикам и браузерам, на каком языке написана страница. Помогает при ранжировании в региональном поиске.
Указан язык документа ru.
Скорость загрузки
~1,74сек
Время отклика сервера (TTFB)
?
Time To First Byte — время до получения первого байта от сервера. Норма до 200 мс. Медленный отклик ухудшает пользовательский опыт и ранжирование: Яндекс и Google учитывают скорость страниц.
Скорость загрузки сайта 1,74сек превышает 1 секунду. Желательно улучшить работу сайта!
Объем документа
80Кб
Размер HTML-кода страницы
?
Слишком большой HTML замедляет парсинг браузером и сканирование поисковым роботом. Рекомендуется не более 200 Кб.
Объем html-документа 80Кб оптимален.
Структура html-документа корректна.
Ресурсы
Ресурсы: 33
Внешние ресурсы страницы (CSS, JS, изображения)
?
Количество и тип подключённых ресурсов влияют на скорость загрузки. Большое число запросов увеличивает время рендеринга страницы.
Кол-во файлов ресурсов 33 много для одной страницы. Приемлемо до 10. Проведите оптимизацию файлов ресурсов!
Показать полный список ресурсов
| Тип | Название | Значение |
|---|---|---|
| stylesheet | https://amital.ru/catalog/view/javascript/jquery/jquery.modal.min.css | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/catalog.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/fontawesome.css?ver=20190524 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/desktop.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/tablet.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/mobile.min.css?ver=20200824 | |
| stylesheet | text/css | /css/animate.min.css |
| stylesheet | text/css | /css/jquery.lazyloadxt.spinner.min.css |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/popover.min.css?ver=20200327 | |
| stylesheet | css/ionicons.min.css | |
| js | https://amital.ru/catalog/view/javascript/libs/jquery-1.10.2.min.js | |
| js | https://amital.ru/catalog/view/theme/ami6/js/jquery.jcarousel.min.js | |
| js | https://amital.ru/catalog/view/theme/ami6/js/jquery.jcarousel-swipe.min.js | |
| js | text/javascript | https://amital.ru/js/jquery.lazyloadxt.min.js |
| js | https://amital.ru/catalog/view/javascript/general.min.js?ver=20200318 | |
| js | text/javascript | catalog/view/javascript/jquery/jquery.total-storage.min.js |
| js | text/javascript | catalog/view/theme/ami6/js/category.min.js?ver=20191212 |
| js | text/javascript | catalog/view/theme/ami6/js/header.min.js?ver=20200503 |
| js | text/javascript | https://amital.ru/catalog/view/javascript/jquery/jquery.modal.min.js |
| js | text/javascript | https://amital.ru/catalog/view/javascript/noty/packaged/jquery.noty.packaged.min.js |
| js | text/javascript | https://amital.ru/catalog/view/theme/ami6/js/sphinxautocomplete.min.js?ver=20200515 |
| js | https://amital.ru/catalog/view/theme/ami6/js/main.min.js?ver=20200513 | |
| js | https://amital.ru/js/popover.min.js | |
| js | text/javascript | catalog/view/theme/ami6/js/cart.min.js?ver=2020228 |
| js | /catalog/view/javascript/jquery.customInput.js | |
| js | /catalog/view/javascript/bootstrap-tagsinput.min.js | |
| js | /catalog/view/javascript/jquery.powerful-placeholder.min.js | |
| js | https://amital.ru/catalog/view/javascript/cusel.min.js | |
| js | https://amital.ru/catalog/view/javascript/modernizr.custom.49511.js | |
| js | https://amital.ru/catalog/view/javascript/jquery.onecarousel.min.js | |
| js | https://amital.ru/catalog/view/javascript/jquery.carouFredSel-6.2.1-packed.js | |
| js | text/javascript | https://amital.ru/catalog/view/javascript/common.min.js?ver=20200824 |
| js | text/javascript | https://amital.ru/catalog/view/javascript/cdek/cdek.js |
Серверные заголовки
Кол-во: 6
HTTP-заголовки ответа сервера
?
Заголовки сервера передают браузеру и поисковику служебную информацию: кеширование, безопасность (CSP, HSTS), сжатие (gzip). Правильная настройка ускоряет загрузку и повышает защищённость.
Найдены серверные заголовки 6шт. Подробнее про серверные заголовки.
Показать полный список серверных заголовков
| Ключ | Значение |
|---|---|
| Server | ddos-guard |
| Set-Cookie | __ddg8_=oeUUV24H4VnaQhwB; Domain=.amital.ru; Path=/; Expires=Thu, 20-Aug-2026 02:58:04 GMT |
| Date | Thu, 20 Aug 2026 02:38:06 GMT |
| Cache-Control | no-store, must-revalidate, no-cache, post-check=0, pre-check=0 |
| Pragma | no-cache |
| Strict-Transport-Security | max-age=31536000; |
CMS
OpenCart
Система управления сайтом (движок)
?
CMS — это движок, на котором работает сайт (WordPress, 1C-Bitrix, Tilda и др.). Знание CMS помогает понять возможности SEO-оптимизации и подобрать подходящие инструменты. «Не определена» — вероятно, самописный сайт или нестандартная сборка.
Сайт работает на CMS OpenCart.
Веб-сервер
DDoS-Guard
Программное обеспечение сервера
?
Веб-сервер — это ПО, которое отдаёт страницы посетителям (nginx, Apache, IIS, LiteSpeed и др.). Определяется по серверным заголовкам ответа (Server, X-Powered-By и т.п.). «Не определён» — сервер намеренно скрывает эти заголовки, это нормальная практика безопасности.
Сайт работает на веб-сервере DDoS-Guard.
Мета-теги Готовность: 24%
Title
Учебная литература | Амиталь - книги и учебники по доступным ценам | Амиталь - книги и учебники по доступным ценам
Заголовок страницы в браузере и поисковой выдаче
?
Title — главный SEO-заголовок страницы. Влияет на CTR в поиске и ранжирование. Оптимальная длина: 50–70 символов. Ключевые слова — ближе к началу.
Устраните дубли в title: амитал(2), книг(2), учебник(2), доступн(2), цен(2)
Необходимо уменьшить число символов в title (текущее значение: 114, оптимально: от 40 до 45)
Description
Большой выбор учебной и методической литературы, а также рабочих тетрадей и атласов для начальной, средней и старшей школы по выгодным ценам. Учебники для поступающих в ВУЗы, материалы для подготовки к ЕГЭ и ОГЭ, энциклопедии и наглядные пособия.
Описание страницы в поисковой выдаче (сниппет)
?
Meta Description — текст под заголовком в выдаче. Напрямую на позиции не влияет, но влияет на CTR. Оптимальная длина: 120–160 символов.
Необходимо уменьшить число символов в description (текущее значение: 246, оптимально: от 120 до 130)
Keywords
школьные учебники, рабочие тетради, пособия, каталог, федеральный перечень, необходимые, по предметам, рекомендованные, для школы, школьникам, официальные, современные, новые, книжный, интернет магазин, купить, заказать, цена, доставка, почтой, воронеж
Список ключевых слов страницы (устаревший тег)
?
Meta Keywords не учитывается Яндексом и Google для ранжирования с 2009–2012 годов. Заполнение не обязательно, но не вредит. Конкурент может использовать содержимое для анализа.
Keywords установлены.
Канонический Url
Указывает поисковику основную версию страницы
?
Canonical (rel=canonical) предотвращает проблему дублей страниц. Должен точно совпадать с URL проверяемой страницы. Неправильный canonical может передать ссылочный вес на другую страницу.
Рекомендуем прописать канонический Url.
Robots
Ошибок нет
Директивы для поисковых роботов на уровне страницы
?
Meta Robots управляет индексацией конкретной страницы: index/noindex — индексировать ли, follow/nofollow — следовать ли по ссылкам. Noindex полностью исключает страницу из поиска.
Meta-тег robots не указан. Страница свободна для индексации.
Адаптивность
width=device-width, initial-scale=1
Настройка масштабирования на мобильных устройствах
?
Тег viewport (<meta name="viewport">) сообщает браузеру, как масштабировать страницу на мобильных. Стандарт: width=device-width, initial-scale=1. Отсутствие — признак отсутствия мобильной версии.
Meta-тег viewport со значением-константой width=device-width задаёт ширину страницы в соответствии с размером экрана.
Meta-тег viewport со значением initial-scale=1.0 определяет масштаб 1:1, т.е. «не масштабировать».
Разметка OpenGraph
Не найдено
Мета-теги для красивых превью в соцсетях
?
OpenGraph (og:title, og:description, og:image) управляет тем, как страница выглядит при репосте в социальных сетях и мессенджерах. Отсутствие OG-тегов — невзрачный превью при шеринге.
Разметка OpenGraph не задана. Страница не оптимизирована под социальные сети. Мета-теги с разметкой Og помогают социальным роботам лучше структурировать Ваш сайт.
Все мета-теги
Кол-во: 5
Полный список мета-тегов страницы
?
Таблица всех meta-тегов, включая нестандартные. Позволяет найти опечатки, дубли и лишние теги.
Найдены мета-теги 5шт. Мета-теги не видимы для человека и предназначены для обмена информацией между веб-страницей и поисковыми системами, браузерами и другими веб-службами. С ними роботы 🤖 и устройства ведут себя более ожидаемо.
Показать полный список мета-тегов
| Тип | Название | Значение |
|---|---|---|
| name | author | |
| name | viewport | width=device-width, initial-scale=1 |
| name | description | Большой выбор учебной и методической литературы, а также рабочих тетрадей и атласов для начальной, средней и старшей школы по выгодным ценам. Учебники для поступающих в ВУЗы, материалы для подготовки к ЕГЭ и ОГЭ, энциклопедии и наглядные пособия. |
| name | keywords | школьные учебники, рабочие тетради, пособия, каталог, федеральный перечень, необходимые, по предметам, рекомендованные, для школы, школьникам, официальные, современные, новые, книжный, интернет магазин, купить, заказать, цена, доставка, почтой, воронеж |
| name | theme-color | #0ba3e3 |
Оптимизация Готовность: 60%
Структура
Ошибок нет
Семантические HTML-элементы страницы
?
Проверяет наличие основных структурных элементов: nav, header, footer, main. Корректная семантическая структура помогает поисковику понять архитектуру страницы.
Структура документа корректна (теги <html> и <body> присутствуют по одному на документ).
Контент
Есть ошибки
Объём и качество текстового содержимого
?
Анализирует объём полезного текста на странице. Слишком мало — страница может считаться малополезной. Слишком много — ухудшается читаемость и восприятие.
Абзацев с текстом 0 слишком мало. Добавьте больше абзацев с текстом (тег <p>)!
Среднее число слов в абзаце 0 слишком мало. Сделайте контент более читаемым!
Кол-во слов 645 не очень много. Добавьте побольше текста (хотя бы 800 слов)!
Слова из title 7 встречаются в тексте достаточно.
Кол-во знаков контента 4379 на странице оптимально.
Заголовки
Ошибок нет
Иерархия заголовков H1–H6
?
H1 должен быть один и содержать ключевой запрос. H2–H6 описывают подразделы. Пропуск уровней (H1 → H3) и несколько H1 — типичные ошибки, снижающие понятность страницы для поисковика.
На странице присутствуют заголовки <h1> 1. Это прекрасно.
На странице присутствуют заголовки <h3> 8.
Тошнота
4
Насколько одно слово доминирует в тексте
?
Классическая тошнота = √(частота самого повторяющегося слова). Норма до 7–8: текст воспринимается естественно. Выше — поисковик может счесть страницу переспамленной.
Тошнота превышает норму 3. Измените текст страницы!
Академич. тошнота
1,24%
Насколько текст перенасыщен ключевыми словами
?
Академическая тошнота = (частота слова / общее количество слов) × 100%. Показывает долю конкретного слова в тексте. Норма 5–15%.
Академическая тошнота не дотягивает до нормы 5-15%. Измените текст страницы!
Семантическое ядро
20
Наиболее часто встречающиеся слова на странице
?
Топ слов по частоте использования. Показывает, какие слова доминируют в тексте с точки зрения поисковика.
Контент страницы содержит осмысленный текст и слова.
Показать список слов
| Слово | Кол-во | Частота |
|---|---|---|
| наличии | 16 | 2,48% |
| купить | 16 | 2,48% |
| литература | 13 | 2,02% |
| учебник | 10 | 1,55% |
| товары | 7 | 1,09% |
| пособия | 6 | 0,93% |
| каталог | 4 | 0,62% |
| учебная | 4 | 0,62% |
| учебники | 4 | 0,62% |
| плешаков | 4 | 0,62% |
| окружающий | 4 | 0,62% |
| художественная | 3 | 0,47% |
| методика | 3 | 0,47% |
| сначала | 3 | 0,47% |
| атанасян | 3 | 0,47% |
| издание | 3 | 0,47% |
| математика | 3 | 0,47% |
| частях | 3 | 0,47% |
| канакина | 3 | 0,47% |
| мерзляк | 3 | 0,47% |
Индексация Готовность: 0%
Индексирование
Ошибок нет
Разрешено ли индексирование страницы
?
Проверяет, не закрыта ли страница от индексации через robots.txt, meta robots или X-Robots-Tag. Страница, закрытая от индексации, не появится в поисковой выдаче.
Анкоров на странице 162 оптимально. Поисковые роботы обязательно проиндексируют сайт.
Robots.txt
Содержит ошибки
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Проверяемая страница запрещена к индексации в robots.txt. Исправьте файл robots.txt!
Robots.txt доступен по постоянному адресу
Robots.txt содержит директиву Host, ведущую на Host: https://amital.ru. Это, по сути, артефакт и применяется только в устаревших поисковых системах типа mail.ru.
Яндекс отменил эту директиву в 2018г. Google вообще не поддерживает ее.
Яндекс отменил эту директиву в 2018г. Google вообще не поддерживает ее.
Показать содержимое robots.txt
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /checkout
Disallow: /account
Disallow: /index.php?route=information/information&information_id=125
Disallow: /Idyei-dlya-podarkov-c500.html
Disallow: /index.php?route=information/information&information_id=129
Host: https://amital.ru
User-Agent: 12soso
Disallow: /
User-Agent: 192.comAgent
Disallow: /
User-Agent: 1Noonbot
Disallow: /
User-Agent: 1on1searchBot
Disallow: /
User-Agent: 3D_SEARCH
Disallow: /
User-Agent: 3DE_SEARCH2
Disallow: /
User-Agent: 3GSE
Disallow: /
User-Agent: 50.nu
Disallow: /
User-Agent: A1 Sitemap Generator
Disallow: /
User-Agent: A1 Website Download
Disallow: /
User-Agent: A6-Indexer
Disallow: /
User-Agent: AASP
Disallow: /
User-Agent: ABACHOBot
Disallow: /
User-Agent: Abonti
Disallow: /
User-Agent: abot
Disallow: /
User-Agent: AbotEmailSearch
Disallow: /
User-Agent: AboutUsBot
Disallow: /
User-Agent: AccMonitor Compliance Server
Disallow: /
User-Agent: accoona
Disallow: /
User-Agent: AChulkov.NET page walker
Disallow: /
User-Agent: Acme.Spider
Disallow: /
User-Agent: AcoonBot
Disallow: /
User-Agent: acquia-crawler
Disallow: /
User-Agent: ActiveTouristBot
Disallow: /
User-Agent: Ad Muncher
Disallow: /
User-Agent: AdamM Bot,
Disallow: /
User-Agent: adbeat_bot
Disallow: /
User-Agent: AdMedia bot
Disallow: /
User-Agent: adminshop.com
Disallow: /
User-Agent: Advanced Email Extractor
Disallow: /
User-Agent: AESOP_com_SpiderMan
Disallow: /
User-Agent: AESpider
Disallow: /
User-Agent: AF Knowledge Now Verity Spider
Disallow: /
User-Agent: aggregator:Vocus
Disallow: /
User-Agent: ah-ha.com crawler
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: AhrefsBot/5.0
Disallow: /
User-Agent: AIBOT
Disallow: /
User-Agent: aiHitBot
Disallow: /
User-Agent: aipbot
Disallow: /
User-Agent: AISIID
Disallow: /
User-Agent: AITCSRobot/1.1
Disallow: /
User-Agent: Akamai-SiteSnapshot
Disallow: /
User-Agent: AlexfDownload
Disallow: /
User-Agent: Alexibot
Disallow: /
User-Agent: AlkalineBOT
Disallow: /
User-Agent: All Acronyms Bot
Disallow: /
User-Agent: Alpha Search Agent
Disallow: /
User-Agent: Amerla Search Bot
Disallow: /
User-Agent: Amfibibot
Disallow: /
User-Agent: AmPmPPC.com
Disallow: /
User-Agent: AMZNKAssocBot
Disallow: /
User-Agent: Anemone
Disallow: /
User-Agent: Anonymous/3G bot
Disallow: /
User-Agent: Anonymouse.org
Disallow: /
User-Agent: AnotherBot
Disallow: /
User-Agent: AnswerBot
Disallow: /
User-Agent: AnswerBus
Disallow: /
User-Agent: AnswerChase PROve
Disallow: /
User-Agent: AntBot
Disallow: /
User-Agent: antibot-
Disallow: /
User-Agent: AntiSantyWorm
Disallow: /
User-Agent: Antro.Net
Disallow: /
User-Agent: AONDE-Spider
Disallow: /
User-Agent: Apache-HttpClient
Disallow: /
User-Agent: Apache-HttpClient/4.0.1 (java 1.5)
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Aport
Disallow: /
User-Agent: appid: s~stremor-crawler-
Disallow: /
User-Agent: Aqua_Products
Disallow: /
User-Agent: AraBot
Disallow: /
User-Agent: Arachmo
Disallow: /
User-Agent: Arachnophilia
Disallow: /
User-Agent: archive.org_bot
Disallow: /
User-Agent: aria eQualizer
Disallow: /
User-Agent: arianna.libero.it
Disallow: /
User-Agent: Arikus_Spider
Disallow: /
User-Agent: Art-Online.com
Disallow: /
User-Agent: ArtavisBot
Disallow: /
User-Agent: Artera
Disallow: /
User-Agent: ASAHA Search Engine Turkey
Disallow: /
User-Agent: ASpider/0.09
Disallow: /
User-Agent: ASPSeek
Disallow: /
User-Agent: ASPseek
Disallow: /
User-Agent: asterias
Disallow: /
User-Agent: AstroFind
Disallow: /
User-Agent: athenusbot
Disallow: /
User-Agent: AtlocalBot
Disallow: /
User-Agent: Atomic_Email_Hunter
Disallow: /
User-Agent: attach
Disallow: /
User-Agent: attrakt
Disallow: /
User-Agent: Attributor.comBot
Disallow: /
User-Agent: attributor
Disallow: /
User-Agent: Attributor/Dejan-
Disallow: /
User-Agent: augurfind
Disallow: /
User-Agent: AURESYS
Disallow: /
User-Agent: AutoBaron crawler
Disallow: /
User-Agent: autoemailspider
Disallow: /
User-Agent: autowebdir
Disallow: /
User-Agent: AVSearch-
Disallow: /
User-Agent: axfeedsbot
Disallow: /
User-Agent: Axonize-bot
Disallow: /
User-Agent: Ayna
Disallow: /
User-Agent: b2w
Disallow: /
User-Agent: b2w/0.1
Disallow: /
User-Agent: BackDoorBot
Disallow: /
User-Agent: BackRub/.
Disallow: /
User-Agent: BackStreet Browser
Disallow: /
User-Agent: BackWeb
Disallow: /
User-Agent: Bandit
Disallow: /
User-Agent: BatchFTP
Disallow: /
User-Agent: baypup
Disallow: /
User-Agent: BDFetch
Disallow: /
User-Agent: BecomeBot
Disallow: /
User-Agent: BecomeJPBot
Disallow: /
User-Agent: BeetleBot
Disallow: /
User-Agent: Bender
Disallow: /
User-Agent: besserscheitern-crawl
Disallow: /
User-Agent: betaBot
Disallow: /
User-Agent: Big Brother
Disallow: /
User-Agent: Big Data
Disallow: /
User-Agent: Bigado.com
Disallow: /
User-Agent: BigCliqueBot
Disallow: /
User-Agent: BigCliqueBOT
Disallow: /
User-Agent: Bigfoot
Disallow: /
User-Agent: BIGLOTRON
Disallow: /
User-Agent: Bilbo
Disallow: /
User-Agent: BilgiBetaBot
Disallow: /
User-Agent: BilgiBot
Disallow: /
User-Agent: bintellibot
Disallow: /
User-Agent: bitlybot
Disallow: /
User-Agent: BitvoUserAgent
Disallow: /
User-Agent: Bizbot003
Disallow: /
User-Agent: BizBot04 kirk.overleaf.com
Disallow: /
User-Agent: BizWorks Retriever
Disallow: /
User-Agent: Black Hole
Disallow: /
User-Agent: Black.Hole
Disallow: /
User-Agent: Blackbird
Disallow: /
User-Agent: BlackMask.Net Search Engine
Disallow: /
User-Agent: BlackWidow
Disallow: /
User-Agent: bladder fusion
Disallow: /
User-Agent: Blaiz-Bee
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: Blinkx/DFS-Fetch
Disallow: /
User-Agent: BlitzBOT
Disallow: /
User-Agent: Blog Conversation Project
Disallow: /
User-Agent: BlogMyWay
Disallow: /
User-Agent: BlogPulseLive
Disallow: /
User-Agent: BlogRefsBot
Disallow: /
User-Agent: BlogScope
Disallow: /
User-Agent: Blogslive
Disallow: /
User-Agent: BloobyBot
Disallow: /
User-Agent: BlowFish
Disallow: /
User-Agent: BLT
Disallow: /
User-Agent: bnf.fr_bot
Disallow: /
User-Agent: BoaConstrictor
Disallow: /
User-Agent: BoardReader-Image-Fetcher
Disallow: /
User-Agent: BOI_crawl_00
Disallow: /
User-Agent: BOIA-Scan-Agent
Disallow: /
User-Agent: BOIA.ORG-Scan-Agent
Disallow: /
User-Agent: boitho.com-dc
Disallow: /
User-Agent: Bookmark Buddy bookmark checker
Disallow: /
User-Agent: Bookmark search tool
Disallow: /
User-Agent: bosug
Disallow: /
User-Agent: Bot Apoena
Disallow: /
User-Agent: Bot
Disallow: /
User-Agent: bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: BotALot
Disallow: /
User-Agent: BotRightHere
Disallow: /
User-Agent: Botswana
Disallow: /
User-Agent: bottybot
Disallow: /
User-Agent: BpBot
Disallow: /
User-Agent: BRAINTIME_SEARCH
Disallow: /
User-Agent: BrokenLinkCheck.com
Disallow: /
User-Agent: BrowserEmulator
Disallow: /
User-Agent: BrowserMob
Disallow: /
User-Agent: BruinBot
Disallow: /
User-Agent: BSearchR&D
Disallow: /
User-Agent: BSpider
Disallow: /
User-Agent: btbot
Disallow: /
User-Agent: Btsearch
Disallow: /
User-Agent: Buddy
Disallow: /
User-Agent: Buibui
Disallow: /
User-Agent: BuildCMS crawler
Disallow: /
User-Agent: BuiltBotTough
Disallow: /
User-Agent: Bullseye
Disallow: /
User-Agent: bumblebee
Disallow: /
User-Agent: BunnySlippers
Disallow: /
User-Agent: BuscadorClarin
Disallow: /
User-Agent: Buscaplus Robi
Disallow: /
User-Agent: Butterfly
Disallow: /
User-Agent: BuyHawaiiBot
Disallow: /
User-Agent: BuzzBot
Disallow: /
User-Agent: byindia
Disallow: /
User-Agent: BYINDIA
Disallow: /
User-Agent: BySpider
Disallow: /
User-Agent: byteserver
Disallow: /
User-Agent: bzBot
Disallow: /
User-Agent: c r a w l 3 r
Disallow: /
User-Agent: CacheBlaster
Disallow: /
User-Agent: Caddbot
Disallow: /
User-Agent: Cafi
Disallow: /
User-Agent: Camcrawler
Disallow: /
User-Agent: CamelStampede
Disallow: /
User-Agent: Canon-WebRecord
Disallow: /
User-Agent: Canon-WebRecordPro
Disallow: /
User-Agent: CareerBot
Disallow: /
User-Agent: cataguru
Disallow: /
User-Agent: CatchBot
Disallow: /
User-Agent: CazoodleBot
Disallow: /
User-Agent: CCBot
Disallow: /
User-Agent: CCGCrawl
Disallow: /
User-Agent: ccubee
Disallow: /
User-Agent: CD-Preload
Disallow: /
User-Agent: CE-Preload
Disallow: /
User-Agent: Cegbfeieh
Disallow: /
User-Agent: Cerberian Drtrs
Disallow: /
User-Agent: CERT FigleafBot
Disallow: /
User-Agent: cfetch
Disallow: /
User-Agent: CFNetwork
Disallow: /
User-Agent: Chameleon
Disallow: /
User-Agent: Charlotte
Disallow: /
User-Agent: Check&Get
Disallow: /
User-Agent: Checkbot
Disallow: /
User-Agent: CheckLinks
Disallow: /
User-Agent: Checklinks
Disallow: /
User-Agent: CheeseBot
Disallow: /
User-Agent: ChemieDE-NodeBot
Disallow: /
User-Agent: CherryPicker
Disallow: /
User-Agent: CherryPickerElite
Disallow: /
User-Agent: CherryPickerSE
Disallow: /
User-Agent: Chilkat
Disallow: /
User-Agent: ChinaClaw
Disallow: /
User-Agent: CipinetBot
Disallow: /
User-Agent: cis455crawler
Disallow: /
User-Agent: citeseerxbot
Disallow: /
User-Agent: cizilla.com/Cizilla-
Disallow: /
User-Agent: ClariaBot
Disallow: /
User-Agent: Climate Ark
Disallow: /
User-Agent: ClimateArk Spider
Disallow: /
User-Agent: Clushbot
Disallow: /
User-Agent: COAST scan engine
Disallow: /
User-Agent: COAST WebMaster Pro
Disallow: /
User-Agent: coccoc
Disallow: /
User-Agent: CollapsarWEB
Disallow: /
User-Agent: Collector
Disallow: /
User-Agent: Combine
Disallow: /
User-Agent: combine
Disallow: /
User-Agent: COMBINE
Disallow: /
User-Agent: Compatible
Disallow: /
User-Agent: ConnectSearch
Disallow: /
User-Agent: conpilot
Disallow: /
User-Agent: ContentSmartz
Disallow: /
User-Agent: ContextAd Bot
Disallow: /
User-Agent: contype
Disallow: /
User-Agent: cookieNET
Disallow: /
User-Agent: CoolBot
Disallow: /
User-Agent: CoolCheck
Disallow: /
User-Agent: Copernic
Disallow: /
User-Agent: Copier
Disallow: /
User-Agent: CopyRightCheck
Disallow: /
User-Agent: core-project
Disallow: /
User-Agent: cosmos
Disallow: /
User-Agent: Covario-IDS
Disallow: /
User-Agent: Cowbot-
Disallow: /
User-Agent: Cowdog Bot
Disallow: /
User-Agent: crabbyBot
Disallow: /
User-Agent: Crawl_Application
Disallow: /
User-Agent: crawl.UserAgent
Disallow: /
User-Agent: Crawl
Disallow: /
User-Agent: crawl
Disallow: /
User-Agent: CrawlConvera
Disallow: /
User-Agent: Crawler
Disallow: /
User-Agent: crawler
Disallow: /
User-Agent: crawler_for_infomine
Disallow: /
User-Agent: CRAWLER-ALTSE.VUNET.ORG-Lynx
Disallow: /
User-Agent: crawler-upgrade-config
Disallow: /
User-Agent: crawler.kpricorn.org
Disallow: /
User-Agent: crawler@
Disallow: /
User-Agent: crawler43.ejupiter.com
Disallow: /
User-Agent: crawler4j
Disallow: /
User-Agent: Crawly
Disallow: /
User-Agent: CreativeCommons
Disallow: /
User-Agent: Crescent
Disallow: /
User-Agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-Agent: cs-crawler
Disallow: /
User-Agent: CSE HTML Validator
Disallow: /
User-Agent: CSHttpClient
Disallow: /
User-Agent: Cuasarbot
Disallow: /
User-Agent: culsearch/culs
Disallow: /
User-Agent: Curl
Disallow: /
User-Agent: Custo
Disallow: /
User-Agent: cvaulev
Disallow: /
User-Agent: Cyberdog
Disallow: /
User-Agent: CyberNavi_WebGet
Disallow: /
User-Agent: CyberPatrol SiteCat Webbot
Disallow: /
User-Agent: CyberSpyder
Disallow: /
User-Agent: CydralSpider
Disallow: /
User-Agent: D1GArabicEngine
Disallow: /
User-Agent: DA
Disallow: /
User-Agent: DataCha0s
Disallow: /
User-Agent: DataFountains
Disallow: /
User-Agent: DataFountains/DMOZ Downloader
Disallow: /
User-Agent: DataparkSearch
Disallow: /
User-Agent: datascape robot
Disallow: /
User-Agent: DataSpearSpiderBot
Disallow: /
User-Agent: DataSpider
Disallow: /
User-Agent: Dattatec.com
Disallow: /
User-Agent: Dattatec.com-Sitios-Top
Disallow: /
User-Agent: Daumoa
Disallow: /
User-Agent: DAUMOA-video
Disallow: /
User-Agent: DAUMOA-web
Disallow: /
User-Agent: Declumbot
Disallow: /
User-Agent: Deepindex
Disallow: /
User-Agent: deepnet crawler
Disallow: /
User-Agent: DeepTrawl
Disallow: /
User-Agent: dejan
Disallow: /
User-Agent: del.icio.us-thumbnails
Disallow: /
User-Agent: DelvuBot
Disallow: /
User-Agent: Der gro?e BilderSauger
Disallow: /
User-Agent: DiaGem
Disallow: /
User-Agent: Diamond
Disallow: /
User-Agent: DiamondBot
Disallow: /
User-Agent: DiBot
Disallow: /
User-Agent: didaxusbot
Disallow: /
User-Agent: DigExt
Disallow: /
User-Agent: Digger
Disallow: /
User-Agent: DiGi-RSSBot
Disallow: /
User-Agent: DigitalArchivesBot
Disallow: /
User-Agent: DigOut4U
Disallow: /
User-Agent: DIIbot
Disallow: /
User-Agent: Dillo
Disallow: /
User-Agent: Dir_Snatch.exe
Disallow: /
User-Agent: DISCo
Disallow: /
User-Agent: DISCo Pump
Disallow: /
User-Agent: DISCo Pump 3.0
Disallow: /
User-Agent: DISCo Pump 3.2
Disallow: /
User-Agent: DISCoFinder
Disallow: /
User-Agent: Distilled-Reputation-Monitor
Disallow: /
User-Agent: Dit
Disallow: /
User-Agent: DittoSpyder
Disallow: /
User-Agent: DjangoTraineeBot
Disallow: /
User-Agent: DKIMRepBot
Disallow: /
User-Agent: DoCoMo
Disallow: /
User-Agent: DOF-Verify
Disallow: /
User-Agent: Domaincrawler
Disallow: /
User-Agent: domaincrawler
Disallow: /
User-Agent: DomainScan
Disallow: /
User-Agent: DomainWatcher Bot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: DotBot/1.1
Disallow: /
User-Agent: DotSpotsBot
Disallow: /
User-Agent: Dow Jones Searchbot
Disallow: /
User-Agent: Download
Disallow: /
User-Agent: Download Demon
Disallow: /
User-Agent: Download Demon/3.2.0.8
Disallow: /
User-Agent: Download Demon/3.5.0.11
Disallow: /
User-Agent: Download Devil
Disallow: /
User-Agent: Download Master
Disallow: /
User-Agent: Download Ninja
Disallow: /
User-Agent: Download Wonder
Disallow: /
User-Agent: Downloader
Disallow: /
User-Agent: DOY
Disallow: /
User-Agent: dragonfly
Disallow: /
User-Agent: Drip
Disallow: /
User-Agent: drone
Disallow: /
User-Agent: Drupal
Disallow: /
User-Agent: DTAAgent
Disallow: /
User-Agent: dtSearchSpider
Disallow: /
User-Agent: dumbot
Disallow: /
User-Agent: Dumbot
Disallow: /
User-Agent: Dwaar
Disallow: /
User-Agent: Dwaarbot
Disallow: /
User-Agent: DXSeeker
Disallow: /
User-Agent: EAH
Disallow: /
User-Agent: Earth Platform Indexer
Disallow: /
User-Agent: Earth Science Educator robot
Disallow: /
User-Agent: EARTHCOM.info
Disallow: /
User-Agent: EARTHCOM
Disallow: /
User-Agent: EasyDL
Disallow: /
User-Agent: ebingbong
Disallow: /
User-Agent: EC2LinkFinder
Disallow: /
User-Agent: eCairn-Grabber
Disallow: /
User-Agent: eCatch
Disallow: /
User-Agent: eCatch/3.0
Disallow: /
User-Agent: eChooseBot
Disallow: /
User-Agent: EdisterBot
Disallow: /
User-Agent: EduGovSearch
Disallow: /
User-Agent: egothor
Disallow: /
User-Agent: eidetica.com/spider
Disallow: /
User-Agent: EirGrabber
Disallow: /
User-Agent: Elblindo the Blind Bot
Disallow: /
User-Agent: ElisaBot
Disallow: /
User-Agent: EllerdaleBot
Disallow: /
User-Agent: EMail Exractor
Disallow: /
User-Agent: EmailCollector
Disallow: /
User-Agent: EmailLeach
Disallow: /
User-Agent: EmailSiphon
Disallow: /
User-Agent: EmailWolf
Disallow: /
User-Agent: EMPAS_ROBOT
Disallow: /
User-Agent: EnaBot
Disallow: /
User-Agent: endeca
Disallow: /
User-Agent: EnigmaBot
Disallow: /
User-Agent: Enswer Neuro Bot
Disallow: /
User-Agent: EntityCubeBot
Disallow: /
User-Agent: EroCrawler
Disallow: /
User-Agent: es
Disallow: /
User-Agent: eStyleSearch
Disallow: /
User-Agent: eSyndiCat Bot
Disallow: /
User-Agent: Eurosoft-Bot
Disallow: /
User-Agent: Evaal
Disallow: /
User-Agent: Eventware
Disallow: /
User-Agent: Everest-Vulcan Inc.
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: Exabot Test
Disallow: /
User-Agent: Exabot-Images
Disallow: /
User-Agent: Exabot-Test
Disallow: /
User-Agent: Exabot-XXX
Disallow: /
User-Agent: ExaBotTest
Disallow: /
User-Agent: ExactSearch
Disallow: /
User-Agent: exactseek.com
Disallow: /
User-Agent: exooba/exooba crawler
Disallow: /
User-Agent: Exploder
Disallow: /
User-Agent: Express WebPictures
Disallow: /
User-Agent: Extractor
Disallow: /
User-Agent: ExtractorPro
Disallow: /
User-Agent: EyeNetIE
Disallow: /
User-Agent: ez-robot
Disallow: /
User-Agent: Ezooms
Disallow: /
User-Agent: f-bot test pilot
Disallow: /
User-Agent: factbot
Disallow: /
User-Agent: Factbot
Disallow: /
User-Agent: FairAd Client
Disallow: /
User-Agent: falcon
Disallow: /
User-Agent: Falconsbot
Disallow: /
User-Agent: FAST Data Search Document Retriever
Disallow: /
User-Agent: FAST ESP
Disallow: /
User-Agent: fast-search-engine
Disallow: /
User-Agent: fastbot crawler
Disallow: /
User-Agent: fastbot.de crawler
Disallow: /
User-Agent: FatBot
Disallow: /
User-Agent: Favcollector
Disallow: /
User-Agent: Faviconizer
Disallow: /
User-Agent: Favorites Sweeper
Disallow: /
User-Agent: FDM 1.x
Disallow: /
User-Agent: FDM 2.x
Disallow: /
User-Agent: FDM 3
Disallow: /
User-Agent: FDSE robot
Disallow: /
User-Agent: FedContractorBot
Disallow: /
User-Agent: fembot
Disallow: /
User-Agent: Fetch API Request
Disallow: /
User-Agent: fetch_ici
Disallow: /
User-Agent: fgcrawler
Disallow: /
User-Agent: Filangy
Disallow: /
User-Agent: FileHound
Disallow: /
User-Agent: FindAnISP.com_ISP_Finder
Disallow: /
User-Agent: findlinks
Disallow: /
User-Agent: FindWeb
Disallow: /
User-Agent: Firebat
Disallow: /
User-Agent: FirstGov.gov Search
Disallow: /
User-Agent: Flaming AttackBot
Disallow: /
User-Agent: Flamingo_SearchEngine
Disallow: /
User-Agent: FlashCapture
Disallow: /
User-Agent: FlashGet
Disallow: /
User-Agent: FlashGet WebWasher 3.2
Disallow: /
User-Agent: FlickySearchBot
Disallow: /
User-Agent: Fluffy the spider
Disallow: /
User-Agent: flunky
Disallow: /
User-Agent: focused_crawler
Disallow: /
User-Agent: FollowSite
Disallow: /
User-Agent: Foobot
Disallow: /
User-Agent: Fooooo_Web_Video_Crawl
Disallow: /
User-Agent: Fopper
Disallow: /
User-Agent: Forest Conservation Portal,
Disallow: /
User-Agent: Forest Conservation Spider
Disallow: /
User-Agent: Forests.org Spider
Disallow: /
User-Agent: FormulaFinderBot
Disallow: /
User-Agent: Forschungsportal
Disallow: /
User-Agent: fr_crawler
Disallow: /
User-Agent: Francis
Disallow: /
User-Agent: FreeWebMonitoring SiteChecker
Disallow: /
User-Agent: FreshDownload
Disallow: /
User-Agent: freshlinks.exe
Disallow: /
User-Agent: FriendFeedBot
Disallow: /
User-Agent: frodo.at
Disallow: /
User-Agent: froGgle
Disallow: /
User-Agent: FrontPage
Disallow: /
User-Agent: FrontPage [NC,OR]
Disallow: /
User-Agent: Froola Bot
Disallow: /
User-Agent: FU-NBI/FU-NBI-
Disallow: /
User-Agent: full_breadth_crawler
Disallow: /
User-Agent: FunnelBack
Disallow: /
User-Agent: FurlBot
Disallow: /
User-Agent: G10-Bot
Disallow: /
User-Agent: Gaisbot
Disallow: /
User-Agent: GaisBot
Disallow: /
User-Agent: GalaxyBot
Disallow: /
User-Agent: gazz
Disallow: /
User-Agent: generate_infomine_category_classifiers
Disallow: /
User-Agent: genevabot
Disallow: /
User-Agent: genieBot
Disallow: /
User-Agent: GenieBotRD_SmallCrawl
Disallow: /
User-Agent: Genieo
Disallow: /
User-Agent: Geomaxenginebot
Disallow: /
User-Agent: geometabot
Disallow: /
User-Agent: GeonaBot
Disallow: /
User-Agent: GeoVisu
Disallow: /
User-Agent: GetHTMLContents
Disallow: /
User-Agent: Getleft
Disallow: /
User-Agent: GetLeft
Disallow: /
User-Agent: GetRight
Disallow: /
User-Agent: GetRight/2.11
Disallow: /
User-Agent: GetRight/3.1
Disallow: /
User-Agent: GetRight/3.2
Disallow: /
User-Agent: GetRight/3.3
Disallow: /
User-Agent: GetRight/3.3.3
Disallow: /
User-Agent: GetRight/3.3.4
Disallow: /
User-Agent: GetRight/4.0.0
Disallow: /
User-Agent: GetRight/4.1.0
Disallow: /
User-Agent: GetRight/4.1.1
Disallow: /
User-Agent: GetRight/4.1.2
Disallow: /
User-Agent: GetRight/4.2
Disallow: /
User-Agent: GetRight/4.2b (Portuguxeas)
Disallow: /
User-Agent: GetRight/4.2c
Disallow: /
User-Agent: GetRight/4.3
Disallow: /
User-Agent: GetRight/4.5
Disallow: /
User-Agent: GetRight/4.5a
Disallow: /
User-Agent: GetRight/4.5b
Disallow: /
User-Agent: GetRight/4.5b1
Disallow: /
User-Agent: GetRight/4.5b2
Disallow: /
User-Agent: GetRight/4.5b3
Disallow: /
User-Agent: GetRight/4.5b6
Disallow: /
User-Agent: GetRight/4.5b7
Disallow: /
User-Agent: GetRight/4.5c
Disallow: /
User-Agent: GetRight/4.5d
Disallow: /
User-Agent: GetRight/4.5e
Disallow: /
User-Agent: GetRight/5.0beta1
Disallow: /
User-Agent: GetRight/5.0beta2
Disallow: /
User-Agent: GetSmart
Disallow: /
User-Agent: GetURL.rexx v1.05
Disallow: /
User-Agent: GetWeb!
Disallow: /
User-Agent: Giant
Disallow: /
User-Agent: GigablastOpenSource
Disallow: /
User-Agent: Gigabot
Disallow: /
User-Agent: GigaBot
Disallow: /
User-Agent: GigabotSiteSearch
Disallow: /
User-Agent: Girafabot
Disallow: /
User-Agent: GleameBot
Disallow: /
User-Agent: gnome-vfs
Disallow: /
User-Agent: Go-Ahead-Got-It
Disallow: /
User-Agent: Go!Zilla
Disallow: /
User-Agent: GoForIt.com
Disallow: /
User-Agent: GOFORITBOT
Disallow: /
User-Agent: gold crawler
Disallow: /
User-Agent: Goldfire Server
Disallow: /
User-Agent: Golem/1.1
Disallow: /
User-Agent: GoodJelly
Disallow: /
User-Agent: Gordon-College-Google-Mini
Disallow: /
User-Agent: goroam
Disallow: /
User-Agent: GoSeebot
Disallow: /
User-Agent: gotit
Disallow: /
User-Agent: Govbot
Disallow: /
User-Agent: GPU p2p crawler
Disallow: /
User-Agent: Grabber
Disallow: /
User-Agent: GrabNet
Disallow: /
User-Agent: Grafula
Disallow: /
User-Agent: grapeFX
Disallow: /
User-Agent: grapeshot
Disallow: /
User-Agent: GrapeshotCrawler/2.0
Disallow: /
User-Agent: grbot
Disallow: /
User-Agent: GreenYogi [ZSEBOT]
Disallow: /
User-Agent: Gromit
Disallow: /
User-Agent: grub
Disallow: /
User-Agent: grub crawler
Disallow: /
User-Agent: grub-client
Disallow: /
User-Agent: Grub
Disallow: /
User-Agent: Grubclient-
Disallow: /
User-Agent: GrubNG
Disallow: /
User-Agent: GruBot
Disallow: /
User-Agent: gsa
Disallow: /
User-Agent: gsa-accuracyEval
Disallow: /
User-Agent: gsa-crawler
Disallow: /
User-Agent: gsa-eusleg
Disallow: /
User-Agent: GSLFbot
Disallow: /
User-Agent: Gulliver
Disallow: /
User-Agent: GulperBot
Disallow: /
User-Agent: GurujiBot
Disallow: /
User-Agent: GVC BUSINESS crawler
Disallow: /
User-Agent: GVC crawler
Disallow: /
User-Agent: GVC SEARCH BOT
Disallow: /
User-Agent: GVC WEB crawler
Disallow: /
User-Agent: GVC Weblink crawler
Disallow: /
User-Agent: GVC WORLD LINKS
Disallow: /
User-Agent: gvcbot.com
Disallow: /
User-Agent: HappyFunBot
Disallow: /
User-Agent: Harvest
Disallow: /
User-Agent: Harvest/1.5
Disallow: /
User-Agent: HarvestMan
Disallow: /
User-Agent: Hatena Antenna
Disallow: /
User-Agent: Hawler
Disallow: /
User-Agent: hcat
Disallow: /
User-Agent: hclsreport-crawler
Disallow: /
User-Agent: HD nutch agent
Disallow: /
User-Agent: Header_Test_Client
Disallow: /
User-Agent: healia/healia
Disallow: /
User-Agent: Helix
Disallow: /
User-Agent: here will be link to crawler site
Disallow: /
User-Agent: heritrix bot
Disallow: /
User-Agent: heritrix
Disallow: /
User-Agent: Heritrix
Disallow: /
User-Agent: heritrix/3.1.0
Disallow: /
User-Agent: heritrix/3.1.1
Disallow: /
User-Agent: hijbul-heritrix-crawler
Disallow: /
User-Agent: HiScan
Disallow: /
User-Agent: HiSoftware AccMonitor Server
Disallow: /
User-Agent: HiSoftware AccVerify
Disallow: /
User-Agent: hitcrawler_
Disallow: /
User-Agent: hivaBot
Disallow: /
User-Agent: hloader
Disallow: /
User-Agent: HLoader
Disallow: /
User-Agent: HMSEbot
Disallow: /
User-Agent: HMView
Disallow: /
User-Agent: hoge
Disallow: /
User-Agent: holmes
Disallow: /
User-Agent: HomePageSearch
Disallow: /
User-Agent: Hooblybot-Image
Disallow: /
User-Agent: HooWWWer
Disallow: /
User-Agent: Hostcrawler
Disallow: /
User-Agent: HSFT - Link Scanner
Disallow: /
User-Agent: HSFT - LVU Scanner
Disallow: /
User-Agent: HSlide
Disallow: /
User-Agent: ht://check
Disallow: /
User-Agent: htdig
Disallow: /
User-Agent: Html Link Validator
Disallow: /
User-Agent: HTMLParser
Disallow: /
User-Agent: httplib
Disallow: /
User-Agent: HTTrack
Disallow: /
User-Agent: HTTrack [NC,OR]
Disallow: /
User-Agent: HTTrack 3.0
Disallow: /
User-Agent: Huaweisymantecspider
Disallow: /
User-Agent: hul-wax
Disallow: /
User-Agent: humanlinks
Disallow: /
User-Agent: HyperEstraier
Disallow: /
User-Agent: Hyperix
Disallow: /
User-Agent: ia_archiver
Disallow: /
User-Agent: IAArchiver-
Disallow: /
User-Agent: ibuena
Disallow: /
User-Agent: iCab
Disallow: /
User-Agent: ICDS-Ingestion
Disallow: /
User-Agent: ichiro
Disallow: /
User-Agent: iCopyright Conductor
Disallow: /
User-Agent: IEAutoDiscovery
Disallow: /
User-Agent: IECheck
Disallow: /
User-Agent: iHWebChecker
Disallow: /
User-Agent: IIITBOT
Disallow: /
User-Agent: iim_405
Disallow: /
User-Agent: IlseBot
Disallow: /
User-Agent: Iltrovatore-Setaccio
Disallow: /
User-Agent: IlTrovatore-Setaccio
Disallow: /
User-Agent: IlTrovatore
Disallow: /
User-Agent: Image Stripper
Disallow: /
User-Agent: Image Sucker
Disallow: /
User-Agent: ImageBot
Disallow: /
User-Agent: imagefortress
Disallow: /
User-Agent: ImagesHereImagesThereImagesEverywhere
Disallow: /
User-Agent: ImageVisu
Disallow: /
User-Agent: imds_monitor
Disallow: /
User-Agent: imo-google-robot-intelink
Disallow: /
User-Agent: inagist.com url crawler
Disallow: /
User-Agent: Industry Cortex Webcrawler
Disallow: /
User-Agent: Indy Library
Disallow: /
User-Agent: Indy Library [NC,OR]
Disallow: /
User-Agent: indylabs_marius
Disallow: /
User-Agent: InelaBot
Disallow: /
User-Agent: Inet32 Ctrl
Disallow: /
User-Agent: inetbot
Disallow: /
User-Agent: info seeker
Disallow: /
User-Agent: InfoLink
Disallow: /
User-Agent: infomine.ucr.edu
Disallow: /
User-Agent: INFOMINE
Disallow: /
User-Agent: InfoNaviRobot
Disallow: /
User-Agent: Informant
Disallow: /
User-Agent: Infoseek Sidewinder
Disallow: /
User-Agent: InfoSeek Sidewinder
Disallow: /
User-Agent: Infoseek SideWinder
Disallow: /
User-Agent: InfoTekies
Disallow: /
User-Agent: InfoUSABot
Disallow: /
User-Agent: INGRID
Disallow: /
User-Agent: INGRID/0.1
Disallow: /
User-Agent: Inktomi
Disallow: /
User-Agent: InsightsCollector
Disallow: /
User-Agent: InsightsWorksBot
Disallow: /
User-Agent: InspireBot
Disallow: /
User-Agent: InsumaScout
Disallow: /
User-Agent: Intelix
Disallow: /
User-Agent: Intelliseek
Disallow: /
User-Agent: InterGET
Disallow: /
User-Agent: Internet Ninja
Disallow: /
User-Agent: Internet Ninja 4.0
Disallow: /
User-Agent: Internet Ninja 5.0
Disallow: /
User-Agent: Internet Ninja 6.0
Disallow: /
User-Agent: INTERNET RADIO crawler
Disallow: /
User-Agent: InternetLinkAgent
Disallow: /
User-Agent: Interseek
Disallow: /
User-Agent: IOI
Disallow: /
User-Agent: ip-web-crawler.com
Disallow: /
User-Agent: IPAdd Bot
Disallow: /
User-Agent: IpselonBot
Disallow: /
User-Agent: Ipselonbot
Disallow: /
User-Agent: Iria
Disallow: /
User-Agent: IRLbot
Disallow: /
User-Agent: Iron33/1.0.2
Disallow: /
User-Agent: Isara/Isara-
Disallow: /
User-Agent: iSearch
Disallow: /
User-Agent: iSiloX
Disallow: /
User-Agent: IstellaBot
Disallow: /
User-Agent: its-learning crawler
Disallow: /
User-Agent: IU_CSCI_B659_class_crawler
Disallow: /
User-Agent: iVia Page Fetcher
Disallow: /
User-Agent: iVia Site Checker
Disallow: /
User-Agent: iVia
Disallow: /
User-Agent: JadynAve
Disallow: /
User-Agent: JadynAveBot
Disallow: /
User-Agent: Jakarta
Disallow: /
User-Agent: Jakarta Commons-HttpClient
Disallow: /
User-Agent: Jbot
Disallow: /
User-Agent: JemmaTheTourist
Disallow: /
User-Agent: JennyBot
Disallow: /
User-Agent: Jetbot
Disallow: /
User-Agent: JetBrains Omea Pro
Disallow: /
User-Agent: JetCar
Disallow: /
User-Agent: Jim
Disallow: /
User-Agent: JoBo
Disallow: /
User-Agent: JobSpider_BA
Disallow: /
User-Agent: JOC
Disallow: /
User-Agent: JOC Web Spider
Disallow: /
User-Agent: JoeDog
Disallow: /
User-Agent: JoyScapeBot
Disallow: /
User-Agent: JSpyda
Disallow: /
User-Agent: Junut Bot
Disallow: /
User-Agent: JustView
Disallow: /
User-Agent: Jyxobot
Disallow: /
User-Agent: K.S.Bot
Disallow: /
User-Agent: KakcleBot
Disallow: /
User-Agent: kalooga
Disallow: /
User-Agent: KaloogaBot
Disallow: /
User-Agent: KATATUDO-Spider
Disallow: /
User-Agent: kbeta1
Disallow: /
User-Agent: KeepNI web site monitor
Disallow: /
User-Agent: Kenjin.Spider
Disallow: /
User-Agent: Keybot Translation-Search-Machine
Disallow: /
User-Agent: KeywenBot
Disallow: /
User-Agent: Keyword Density/0.9
Disallow: /
User-Agent: Keyword.Density
Disallow: /
User-Agent: kinjabot
Disallow: /
User-Agent: Kitenga-crawler-bot
Disallow: /
User-Agent: KiwiStatus
Disallow: /
User-Agent: kmbot-
Disallow: /
User-Agent: kmccrew Bot Search
Disallow: /
User-Agent: Knight
Disallow: /
User-Agent: KnowItAll
Disallow: /
User-Agent: Knowledge Engine
Disallow: /
User-Agent: Knowledge.com
Disallow: /
User-Agent: KoepaBot
Disallow: /
User-Agent: Koninklijke
Disallow: /
User-Agent: KrOWLer
Disallow: /
User-Agent: KSbot
Disallow: /
User-Agent: kuloko-bot
Disallow: /
User-Agent: kulturarw3
Disallow: /
User-Agent: KummHttp
Disallow: /
User-Agent: Kurzor
Disallow: /
User-Agent: Kyluka crawl
Disallow: /
User-Agent: L.webis
Disallow: /
User-Agent: Labhoo
Disallow: /
User-Agent: labourunions411
Disallow: /
User-Agent: Lachesis
Disallow: /
User-Agent: lachesis
Disallow: /
User-Agent: Lament
Disallow: /
User-Agent: LamerExterminator
Disallow: /
User-Agent: LapozzBot
Disallow: /
User-Agent: larbin
Disallow: /
User-Agent: LARBIN-EXPERIMENTAL
Disallow: /
User-Agent: LBot
Disallow: /
User-Agent: LeapTag
Disallow: /
User-Agent: LeechFTP
Disallow: /
User-Agent: LeechGet
Disallow: /
User-Agent: LetsCrawl.com
Disallow: /
User-Agent: LexiBot
Disallow: /
User-Agent: LexxeBot
Disallow: /
User-Agent: lftp
Disallow: /
User-Agent: libcrawl
Disallow: /
User-Agent: libiViaCore
Disallow: /
User-Agent: libWeb/clsHTTP
Disallow: /
User-Agent: libwww-perl
Disallow: /
User-Agent: likse
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Link Checker
Disallow: /
User-Agent: Link Validator
Disallow: /
User-Agent: link_checker
Disallow: /
User-Agent: LinkAlarm
Disallow: /
User-Agent: linkbot
Disallow: /
User-Agent: Linkbot
Disallow: /
User-Agent: LinkCheck by Siteimprove.com
Disallow: /
User-Agent: LinkCheck Scanner
Disallow: /
User-Agent: LinkChecker
Disallow: /
User-Agent: linkdex.com
Disallow: /
User-Agent: LinkextractorPro
Disallow: /
User-Agent: LinkLint
Disallow: /
User-Agent: linklooker
Disallow: /
User-Agent: Linkman
Disallow: /
User-Agent: Links SQL
Disallow: /
User-Agent: LinkScan
Disallow: /
User-Agent: LinkScan/8.1a.Unix
Disallow: /
User-Agent: LinksManager.com_bot
Disallow: /
User-Agent: LinkSweeper
Disallow: /
User-Agent: LinkWalker
Disallow: /
User-Agent: LiteFinder
Disallow: /
User-Agent: LitlrBot
Disallow: /
User-Agent: Little Grabber at Skanktale.com
Disallow: /
User-Agent: Livelapbot
Disallow: /
User-Agent: LM Harvester
Disallow: /
User-Agent: LMQueueBot
Disallow: /
User-Agent: LNSpiderguy
Disallow: /
User-Agent: LoadTimeBot
Disallow: /
User-Agent: LocalcomBot
Disallow: /
User-Agent: locust
Disallow: /
User-Agent: LolongBot
Disallow: /
User-Agent: LookBot
Disallow: /
User-Agent: Lsearch/sondeur
Disallow: /
User-Agent: lssbot
Disallow: /
User-Agent: LT Scotland Checklink
Disallow: /
User-Agent: lwp-request
Disallow: /
User-Agent: lwp-trivial
Disallow: /
User-Agent: lwp-trivial/1.34
Disallow: /
User-Agent: LWP::Simple
Disallow: /
User-Agent: LWP/natweb-bad-link-mailer
Disallow: /
User-Agent: Lycos_Spider
Disallow: /
User-Agent: Lydia Entity Spider
Disallow: /
User-Agent: LynnBot
Disallow: /
User-Agent: Lytranslate
Disallow: /
User-Agent: Mag-Net
Disallow: /
User-Agent: Magnet
Disallow: /
User-Agent: magpie-crawler
Disallow: /
User-Agent: Magus Bot
Disallow: /
User-Agent: MAINSEEK_BOT
Disallow: /
User-Agent: Mammoth
Disallow: /
User-Agent: Map robot
Disallow: /
User-Agent: MarkWatch
Disallow: /
User-Agent: MaSagool
Disallow: /
User-Agent: masidani_bot_
Disallow: /
User-Agent: Mass Downloader
Disallow: /
User-Agent: Mass Downloader/2.2
Disallow: /
User-Agent: Mata Hari
Disallow: /
User-Agent: Mata.Hari
Disallow: /
User-Agent: matentzn at cs dot man dot ac dot uk
Disallow: /
User-Agent: maxamine.com--robot
Disallow: /
User-Agent: maxamine.com-robot
Disallow: /
User-Agent: maxomobot
Disallow: /
User-Agent: McBot
Disallow: /
User-Agent: medrabbit
Disallow: /
User-Agent: Megite
Disallow: /
User-Agent: MemacBot
Disallow: /
User-Agent: Memo
Disallow: /
User-Agent: MendeleyBot
Disallow: /
User-Agent: Mercator-
Disallow: /
User-Agent: mercuryboard_user_agent_sql_injection.nasl
Disallow: /
User-Agent: metacarta
Disallow: /
User-Agent: Metaeuro Web Search
Disallow: /
User-Agent: Metager2
Disallow: /
User-Agent: metager2-verification-bot
Disallow: /
User-Agent: MetaGloss
Disallow: /
User-Agent: metal crawler
Disallow: /
User-Agent: metaquerier.cs.uiuc.edu
Disallow: /
User-Agent: METASpider
Disallow: /
User-Agent: Metaspinner
Disallow: /
User-Agent: MetaURI API/2.0 metauri.com
Disallow: /
User-Agent: MetaURI API/2.0 +metauri.com
Disallow: /
User-Agent: MFcrawler
Disallow: /
User-Agent: MFHttpScan
Disallow: /
User-Agent: MIDown tool
Disallow: /
User-Agent: MIIxpc
Disallow: /
User-Agent: MIIxpc/4.2
Disallow: /
User-Agent: mini-robot
Disallow: /
User-Agent: minibot
Disallow: /
User-Agent: miniRank
Disallow: /
User-Agent: Mirror
Disallow: /
User-Agent: Missigua Locator
Disallow: /
User-Agent: Mister PiX
Disallow: /
User-Agent: Mister Pix II 2.01
Disallow: /
User-Agent: Mister Pix II 2.02a
Disallow: /
User-Agent: Mister PiX version.dll
Disallow: /
User-Agent: Mister.PiX
Disallow: /
User-Agent: Miva
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: mnoGoSearch
Disallow: /
User-Agent: MnoGoSearch
Disallow: /
User-Agent: mod_accessibility
Disallow: /
User-Agent: moduna.com
Disallow: /
User-Agent: moget
Disallow: /
User-Agent: moget/2.1
Disallow: /
User-Agent: MojeekBot
Disallow: /
User-Agent: MonkeyCrawl
Disallow: /
User-Agent: MOSES
Disallow: /
User-Agent: mowserbot
Disallow: /
User-Agent: MQbot
Disallow: /
User-Agent: MSE360
Disallow: /
User-Agent: MSIndianWebcrawl
Disallow: /
User-Agent: MSMOBOT
Disallow: /
User-Agent: msnbot-products
Disallow: /
User-Agent: MSNPTC
Disallow: /
User-Agent: MSRBOT
Disallow: /
User-Agent: MT-Soft
Disallow: /
User-Agent: MultiText
Disallow: /
User-Agent: My_Little_SearchEngine_Project
Disallow: /
User-Agent: my-heritrix-crawler
Disallow: /
User-Agent: MyApp
Disallow: /
User-Agent: MYCOMPANYBOT
Disallow: /
User-Agent: mycrawler
Disallow: /
User-Agent: MyEngines-US-Bot
Disallow: /
User-Agent: MyFamilyBot
Disallow: /
User-Agent: Myra
Disallow: /
User-Agent: nabot
Disallow: /
User-Agent: nabot_
Disallow: /
User-Agent: Najdi.si
Disallow: /
User-Agent: Nambu
Disallow: /
User-Agent: NAMEPROTECT
Disallow: /
User-Agent: NASA Search
Disallow: /
User-Agent: NatchCVS
Disallow: /
User-Agent: National Park Service Dan Buan
Disallow: /
User-Agent: naver
Disallow: /
User-Agent: naverbookmarkcrawler
Disallow: /
User-Agent: NaverBot_dloader
Disallow: /
User-Agent: NaverBot-
Disallow: /
User-Agent: NaverBot
Disallow: /
User-Agent: Navroad
Disallow: /
User-Agent: NearSite
Disallow: /
User-Agent: NEC-MeshExplorer
Disallow: /
User-Agent: NeoScioCrawler
Disallow: /
User-Agent: NerdByNature.Bot
Disallow: /
User-Agent: NerdyBot
Disallow: /
User-Agent: Nerima-crawl-
Disallow: /
User-Agent: Nessus
Disallow: /
User-Agent: NESSUS::SOAP
Disallow: /
User-Agent: nestReader
Disallow: /
User-Agent: Net Vampire
Disallow: /
User-Agent: Net Vampire/3.0
Disallow: /
User-Agent: Net::Trackback
Disallow: /
User-Agent: NetAnts
Disallow: /
User-Agent: NetAnts/1.10
Disallow: /
User-Agent: NetAnts/1.23
Disallow: /
User-Agent: NetAnts/1.24
Disallow: /
User-Agent: NetAnts/1.25
Disallow: /
User-Agent: NetCarta CyberPilot Pro
Disallow: /
User-Agent: Netcraft
Disallow: /
User-Agent: NetID.com Bot
Disallow: /
User-Agent: NetMechanic
Disallow: /
User-Agent: Netprospector
Disallow: /
User-Agent: NetResearchServer
Disallow: /
User-Agent: NetSeer
Disallow: /
User-Agent: NetSeer crawler
Disallow: /
User-Agent: NetSeer crawler/2.0
Disallow: /
User-Agent: NetShift=
Disallow: /
User-Agent: NetSongBot
Disallow: /
User-Agent: Netsparker
Disallow: /
User-Agent: NetSpider
Disallow: /
User-Agent: NetSrcherP
Disallow: /
User-Agent: NetZIP
Disallow: /
User-Agent: NewMedhunt
Disallow: /
User-Agent: news bot
Disallow: /
User-Agent: News_Search_App
Disallow: /
User-Agent: NewsGatherer
Disallow: /
User-Agent: Newsgroupreporter
Disallow: /
User-Agent: NewsTroveBot
Disallow: /
User-Agent: NextGenSearchBot
Disallow: /
User-Agent: nextthing.org
Disallow: /
User-Agent: NG
Disallow: /
User-Agent: nicebot
Disallow: /
User-Agent: NICErsPRO
Disallow: /
User-Agent: niki-bot
Disallow: /
User-Agent: NimbleCrawler
Disallow: /
User-Agent: nimbus-1
Disallow: /
User-Agent: ninetowns
Disallow: /
User-Agent: Ninja
Disallow: /
User-Agent: NjuiceBot
Disallow: /
User-Agent: NLese
Disallow: /
User-Agent: NLESE USEPA
Disallow: /
User-Agent: Nogate
Disallow: /
User-Agent: Norbert the Spider
Disallow: /
User-Agent: NoteworthyBot
Disallow: /
User-Agent: NPbot
Disallow: /
User-Agent: NPBot
Disallow: /
User-Agent: NPBot-
Disallow: /
User-Agent: NRCan intranet crawler
Disallow: /
User-Agent: NSDL_Search_Bot
Disallow: /
User-Agent: nu_tch-princeton/Nu_tch
Disallow: /
User-Agent: nuggetize.com BOT
Disallow: /
User-Agent: nuSearch Spider
Disallow: /
User-Agent: NuSearch Spider
Disallow: /
User-Agent: Nusearch Spider
Disallow: /
User-Agent: Nutch
Disallow: /
User-Agent: nutch
Disallow: /
User-Agent: nutch1/huntsman
Disallow: /
User-Agent: NutchCVS
Disallow: /
User-Agent: NutchOrg
Disallow: /
User-Agent: NWSpider
Disallow: /
User-Agent: Nymesis
Disallow: /
User-Agent: nys-crawler
Disallow: /
User-Agent: ObjectsSearch
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Obvius external linkcheck
Disallow: /
User-Agent: Ocelli
Disallow: /
User-Agent: Octopus
Disallow: /
User-Agent: ODP entries t_st
Disallow: /
User-Agent: oegp v.
Disallow: /
User-Agent: Offline Explorer
Disallow: /
User-Agent: Offline Explorer/1.2
Disallow: /
User-Agent: Offline Explorer/1.4
Disallow: /
User-Agent: Offline Explorer/1.6
Disallow: /
User-Agent: Offline Explorer/1.7
Disallow: /
User-Agent: Offline Explorer/1.9
Disallow: /
User-Agent: Offline Explorer/2.0
Disallow: /
User-Agent: Offline Explorer/2.1
Disallow: /
User-Agent: Offline Explorer/2.3
Disallow: /
User-Agent: Offline Explorer/2.4
Disallow: /
User-Agent: Offline Explorer/2.5
Disallow: /
User-Agent: Offline Navigator
Disallow: /
User-Agent: Offline.Explorer
Disallow: /
User-Agent: OGspider
Disallow: /
User-Agent: OmiExplorer_Bot
Disallow: /
User-Agent: OmniExplorer_Bot
Disallow: /
User-Agent: OmniFind
Disallow: /
User-Agent: omnifind
Disallow: /
User-Agent: OmniWeb
Disallow: /
User-Agent: OnetSzukaj
Disallow: /
User-Agent: online link validator
Disallow: /
User-Agent: OOZBOT
Disallow: /
User-Agent: Openbot
Disallow: /
User-Agent: Openfind
Disallow: /
User-Agent: Openfind data gatherer
Disallow: /
User-Agent: OpenIntelligenceData
Disallow: /
User-Agent: OpenISearch
Disallow: /
User-Agent: OpenLink Virtuoso RDF crawler
Disallow: /
User-Agent: OpenSearchServer_Bot
Disallow: /
User-Agent: OpiDig
Disallow: /
User-Agent: optidiscover
Disallow: /
User-Agent: Oracle Secure Enterprise Search
Disallow: /
User-Agent: Oracle Ultra Search
Disallow: /
User-Agent: OrangeBot
Disallow: /
User-Agent: ORISBot
Disallow: /
User-Agent: ornl_crawler_1
Disallow: /
User-Agent: ORNL_Mercury
Disallow: /
User-Agent: osis-project.jp
Disallow: /
User-Agent: OsO
Disallow: /
User-Agent: OutfoxBot
Disallow: /
User-Agent: OutfoxMelonBot
Disallow: /
User-Agent: OWLER-BOT
Disallow: /
User-Agent: owsBot
Disallow: /
User-Agent: ozelot
Disallow: /
User-Agent: P3P Client
Disallow: /
User-Agent: page_verifier
Disallow: /
User-Agent: PageBitesHyperBot
Disallow: /
User-Agent: Pagebull
Disallow: /
User-Agent: PageDown
Disallow: /
User-Agent: PageFetcher
Disallow: /
User-Agent: PageGrabber
Disallow: /
User-Agent: PagePeeker
Disallow: /
User-Agent: PageRank Monitor
Disallow: /
User-Agent: pamsnbot.htm
Disallow: /
User-Agent: Panopy Bot
Disallow: /
User-Agent: panscient.com
Disallow: /
User-Agent: Pansophica
Disallow: /
User-Agent: Papa Foto
Disallow: /
User-Agent: PaperLiBot
Disallow: /
User-Agent: PaperLiBot/2.1
Disallow: /
User-Agent: parasite
Disallow: /
User-Agent: parsijoo
Disallow: /
User-Agent: Pathtraq
Disallow: /
User-Agent: Pattern
Disallow: /
User-Agent: Patwebbot
Disallow: /
User-Agent: pavuk
Disallow: /
User-Agent: PaxleFramework
Disallow: /
User-Agent: PBBOT
Disallow: /
User-Agent: pcBrowser
Disallow: /
User-Agent: pd-crawler
Disallow: /
User-Agent: penthesila
Disallow: /
User-Agent: perform_crawl
Disallow: /
User-Agent: PerMan
Disallow: /
User-Agent: PerMan Surfer
Disallow: /
User-Agent: personal ultimate crawler
Disallow: /
User-Agent: PHP version tracker
Disallow: /
User-Agent: PHPCrawl
Disallow: /
User-Agent: PhpDig
Disallow: /
User-Agent: PicoSearch
Disallow: /
User-Agent: PIENO robot
Disallow: /
User-Agent: pipBot
Disallow: /
User-Agent: pipeLiner
Disallow: /
User-Agent: Pita
Disallow: /
User-Agent: pixfinder
Disallow: /
User-Agent: PiyushBot
Disallow: /
User-Agent: plaNETWORK Bot Search
Disallow: /
User-Agent: Plucker
Disallow: /
User-Agent: Plukkie
Disallow: /
User-Agent: Plumtree 6.0
Disallow: /
User-Agent: Pockey
Disallow: /
User-Agent: Pockey-GetHTML
Disallow: /
User-Agent: PoCoHTTP
Disallow: /
User-Agent: pogodak.ba
Disallow: /
User-Agent: Pogodak.co.yu
Disallow: /
User-Agent: Poirot
Disallow: /
User-Agent: polybot
Disallow: /
User-Agent: Pompos
Disallow: /
User-Agent: Poodle predictor
Disallow: /
User-Agent: PopScreenBot
Disallow: /
User-Agent: PostPost
Disallow: /
User-Agent: PrivacyFinder
Disallow: /
User-Agent: ProjectWF-java-test-crawler
Disallow: /
User-Agent: ProPowerBot/2.14
Disallow: /
User-Agent: ProWebWalker
Disallow: /
User-Agent: Proxem WebSearch
Disallow: /
User-Agent: proximic
Disallow: /
User-Agent: PROXY crawler
Disallow: /
User-Agent: psbot
Disallow: /
User-Agent: PsBot
Disallow: /
User-Agent: psbot-page
Disallow: /
User-Agent: PSS-Bot
Disallow: /
User-Agent: psycheclone
Disallow: /
User-Agent: pub-crawler
Disallow: /
User-Agent: pucl
Disallow: /
User-Agent: pulseBot (pulse Web Miner)
Disallow: /
User-Agent: Pump
Disallow: /
User-Agent: PWeBot
Disallow: /
User-Agent: Python-urllib
Disallow: /
User-Agent: pythonic-crawler
Disallow: /
User-Agent: PythonWikipediaBot
Disallow: /
User-Agent: q1
Disallow: /
User-Agent: QEAVis agent
Disallow: /
User-Agent: QFKBot
Disallow: /
User-Agent: qualidade
Disallow: /
User-Agent: Qualidator.com Bot
Disallow: /
User-Agent: QuepasaCreep
Disallow: /
User-Agent: QueryN Metasearch
Disallow: /
User-Agent: QueryN.Metasearch
Disallow: /
User-Agent: quest.durato
Disallow: /
User-Agent: Quintura-Crw
Disallow: /
User-Agent: QunarBot
Disallow: /
User-Agent: Qweery_robot.txt_CheckBot
Disallow: /
User-Agent: QweeryBot
Disallow: /
User-Agent: r2iBot
Disallow: /
User-Agent: R6_CommentReader
Disallow: /
User-Agent: R6_FeedFetcher
Disallow: /
User-Agent: R6_VoteReader
Disallow: /
User-Agent: RaBot
Disallow: /
User-Agent: Radian6
Disallow: /
User-Agent: radian6_linkcheck
Disallow: /
User-Agent: Radiation Retriever 1.1
Disallow: /
User-Agent: RAMPyBot
Disallow: /
User-Agent: RankurBot/Rankur
Disallow: /
User-Agent: Rational SiteCheck
Disallow: /
User-Agent: RcStartBot
Disallow: /
User-Agent: RealDownload
Disallow: /
User-Agent: RealDownload/4.0.0.40
Disallow: /
User-Agent: RealDownload/4.0.0.41
Disallow: /
User-Agent: RealDownload/4.0.0.42
Disallow: /
User-Agent: Reaper
Disallow: /
User-Agent: REBI-Shoveler
Disallow: /
User-Agent: REBI-shoveler
Disallow: /
User-Agent: Recorder
Disallow: /
User-Agent: RedBot
Disallow: /
User-Agent: RedCarpet
Disallow: /
User-Agent: ReGet
Disallow: /
User-Agent: RepoMonkey
Disallow: /
User-Agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-Agent: research robot
Disallow: /
User-Agent: Riddler
Disallow: /
User-Agent: RIIGHTBOT/RIIGHT-
Disallow: /
User-Agent: RiseNetBot
Disallow: /
User-Agent: RiverGlassScanner
Disallow: /
User-Agent: RiverglassScanner
Disallow: /
User-Agent: RMA
Disallow: /
User-Agent: RoboPal
Disallow: /
User-Agent: Robosourcer
Disallow: /
User-Agent: Robot
Disallow: /
User-Agent: ROBOT
Disallow: /
User-Agent: robot
Disallow: /
User-Agent: robotek
Disallow: /
User-Agent: robots
Disallow: /
User-Agent: Robozilla
Disallow: /
User-Agent: rogerBot
Disallow: /
User-Agent: Rome Client
Disallow: /
User-Agent: Rondello
Disallow: /
User-Agent: Rotondo
Disallow: /
User-Agent: Roverbot
Disallow: /
User-Agent: RPT-HTTPClient
Disallow: /
User-Agent: rtgibot
Disallow: /
User-Agent: RufusBot
Disallow: /
User-Agent: Runnk online rss reader
Disallow: /
User-Agent: Runnk RSS aggregator
Disallow: /
User-Agent: s~stremor-crawler
Disallow: /
User-Agent: S2Bot
Disallow: /
User-Agent: SafariBookmarkChecker
Disallow: /
User-Agent: SafetyNet Robot 0.1
Disallow: /
User-Agent: SaladSpoon/ShopSalad
Disallow: /
User-Agent: Sapienti/Indexer
Disallow: /
User-Agent: SBIder
Disallow: /
User-Agent: SBL-BOT
Disallow: /
User-Agent: SCFCrawler/Nutch-1.8
Disallow: /
User-Agent: Scich
Disallow: /
User-Agent: ScientificCommons.org
Disallow: /
User-Agent: ScollSpider
Disallow: /
User-Agent: ScooperBot
Disallow: /
User-Agent: Scooter
Disallow: /
User-Agent: ScoutJet
Disallow: /
User-Agent: ScrapeBox
Disallow: /
User-Agent: Scrapy
Disallow: /
User-Agent: SCrawlTest
Disallow: /
User-Agent: Scrubby
Disallow: /
User-Agent: scSpider
Disallow: /
User-Agent: Scumbot
Disallow: /
User-Agent: Search Publisher
Disallow: /
User-Agent: search x-bot
Disallow: /
User-Agent: Search-Channel
Disallow: /
User-Agent: Search-Engine-Studio
Disallow: /
User-Agent: search.KumKie.com
Disallow: /
User-Agent: search.msn.com/msnbot.htm
Disallow: /
User-Agent: search.updated.com
Disallow: /
User-Agent: search.usgs.gov
Disallow: /
User-Agent: Searcharoo.NET
Disallow: /
User-Agent: SearchBlox
Disallow: /
User-Agent: searchbot
Disallow: /
User-Agent: SearchBot
Disallow: /
User-Agent: searchengine
Disallow: /
User-Agent: searchhippo.com
Disallow: /
User-Agent: SearchIt-Bot
Disallow: /
User-Agent: searchmarking
Disallow: /
User-Agent: searchmarks
Disallow: /
User-Agent: searchmee_v
Disallow: /
User-Agent: Searchmee! Spider
Disallow: /
User-Agent: searchmining
Disallow: /
User-Agent: SearchnowBot_v1
Disallow: /
User-Agent: searchpreview
Disallow: /
User-Agent: SearchSpider.com
Disallow: /
User-Agent: SearQuBot/SearQuBot v1.0
Disallow: /
User-Agent: SEB Spider
Disallow: /
User-Agent: Seekbot
Disallow: /
User-Agent: Seeker.lookseek.com
Disallow: /
User-Agent: SeeqBot
Disallow: /
User-Agent: seeqpod-vertical-crawler
Disallow: /
User-Agent: Selflinkchecker
Disallow: /
User-Agent: Semager
Disallow: /
User-Agent: semanticdiscovery
Disallow: /
User-Agent: Semantifire1
Disallow: /
User-Agent: semisearch
Disallow: /
User-Agent: SemrushBot
Disallow: /
User-Agent: SEOENGWorldBot
Disallow: /
User-Agent: SeznamBot
Disallow: /
User-Agent: SeznamBot/2.0
Disallow: /
User-Agent: SeznamBot/3.2-test1
Disallow: /
User-Agent: ShablastBot
Disallow: /
User-Agent: ShadowWebAnalyzer
Disallow: /
User-Agent: Shareaza
Disallow: /
User-Agent: Shelob
Disallow: /
User-Agent: sherlock
Disallow: /
User-Agent: ShopWiki
Disallow: /
User-Agent: ShowLinks
Disallow: /
User-Agent: ShowyouBot
Disallow: /
User-Agent: siclab
Disallow: /
User-Agent: silk
Disallow: /
User-Agent: Siphon
Disallow: /
User-Agent: SiteArchive
Disallow: /
User-Agent: SiteCheck-sitecrawl by Siteimprove.com
Disallow: /
User-Agent: sitecheck.internetseer.com
Disallow: /
User-Agent: SiteFinder
Disallow: /
User-Agent: SiteGuardBot
Disallow: /
User-Agent: SiteOrbiter
Disallow: /
User-Agent: SiteSnagger
Disallow: /
User-Agent: SiteSucker
Disallow: /
User-Agent: SiteSweeper
Disallow: /
User-Agent: SiteXpert
Disallow: /
User-Agent: SkimBot
Disallow: /
User-Agent: SkimWordsBot
Disallow: /
User-Agent: SkreemRBot
Disallow: /
User-Agent: Skywalker
Disallow: /
User-Agent: Sleipnir
Disallow: /
User-Agent: slow-crawler
Disallow: /
User-Agent: SlySearch
Disallow: /
User-Agent: smart-crawler
Disallow: /
User-Agent: SmartDownload
Disallow: /
User-Agent: Smarte Bot
Disallow: /
User-Agent: smartwit.com
Disallow: /
User-Agent: Snake
Disallow: /
User-Agent: snap.com beta crawler
Disallow: /
User-Agent: Snapbot
Disallow: /
User-Agent: SnapPreviewBot
Disallow: /
User-Agent: Snappy
Disallow: /
User-Agent: snookit/Snookit
Disallow: /
User-Agent: Snooper/b97_01
Disallow: /
User-Agent: Snoopy
Disallow: /
User-Agent: SocSciBot
Disallow: /
User-Agent: SOFT411 Directory
Disallow: /
User-Agent: sogou
Disallow: /
User-Agent: Sogou
Disallow: /
User-Agent: sohu agent
Disallow: /
User-Agent: sohu-search
Disallow: /
User-Agent: Sokitomi crawl
Disallow: /
User-Agent: Solbot/1.0 LWP/5.07
Disallow: /
User-Agent: sootle
Disallow: /
User-Agent: Sosospider
Disallow: /
User-Agent: Space Bison
Disallow: /
User-Agent: Space Fung
Disallow: /
User-Agent: SpaceBison
Disallow: /
User-Agent: SpankBot
Disallow: /
User-Agent: spanner
Disallow: /
User-Agent: Spanner/1.0
Disallow: /
User-Agent: Spatineo Monitor Controller
Disallow: /
User-Agent: Spatineo Serval Controller
Disallow: /
User-Agent: Spatineo Serval GetMapBot
Disallow: /
User-Agent: special_archiver
Disallow: /
User-Agent: Speedy Spider
Disallow: /
User-Agent: SpeedySpider
Disallow: /
User-Agent: Sphere Scout
Disallow: /
User-Agent: Sphere Scout&v
Disallow: /
User-Agent: Sphider
Disallow: /
User-Agent: Sphider2
Disallow: /
User-Agent: spider
Disallow: /
User-Agent: Spider
Disallow: /
User-Agent: Spider.TerraNautic.net
Disallow: /
User-Agent: SpiderEngine
Disallow: /
User-Agent: SpiderKU
Disallow: /
User-Agent: SpiderMan
Disallow: /
User-Agent: Spinn3r
Disallow: /
User-Agent: Spinne
Disallow: /
User-Agent: sportcrew-Bot
Disallow: /
User-Agent: spyder3.microsys.com
Disallow: /
User-Agent: SQ Webscanner
Disallow: /
User-Agent: sqlmap
Disallow: /
User-Agent: Squid-Prefetch
Disallow: /
User-Agent: SquidClamAV_Redirector
Disallow: /
User-Agent: Sqworm
Disallow: /
User-Agent: SrevBot
Disallow: /
User-Agent: sslbot
Disallow: /
User-Agent: SSM Agent
Disallow: /
User-Agent: StackRambler
Disallow: /
User-Agent: StarDownloader
Disallow: /
User-Agent: statbot
Disallow: /
User-Agent: statcrawler
Disallow: /
User-Agent: statedept-crawler
Disallow: /
User-Agent: Steeler
Disallow: /
User-Agent: STEGMANN-Bot
Disallow: /
User-Agent: stero
Disallow: /
User-Agent: Stripper
Disallow: /
User-Agent: Stumbler
Disallow: /
User-Agent: suchclip
Disallow: /
User-Agent: Sucker
Disallow: /
User-Agent: SumeetBot
Disallow: /
User-Agent: SumitBot
Disallow: /
User-Agent: SummizeBot
Disallow: /
User-Agent: SummizeFeedReader
Disallow: /
User-Agent: Sunrise XP
Disallow: /
User-Agent: SuperBot
Disallow: /
User-Agent: superbot.com
Disallow: /
User-Agent: SuperBot/3.0
Disallow: /
User-Agent: SuperBot/3.1
Disallow: /
User-Agent: SuperHTTP
Disallow: /
User-Agent: SuperLumin Downloader
Disallow: /
User-Agent: SuperPagesBot
Disallow: /
User-Agent: Supybot
Disallow: /
User-Agent: SURF
Disallow: /
User-Agent: Surfbot
Disallow: /
User-Agent: SurfControl
Disallow: /
User-Agent: SurveyBot
Disallow: /
User-Agent: suzuran
Disallow: /
User-Agent: SWEBot
Disallow: /
User-Agent: swish-e
Disallow: /
User-Agent: SygolBot
Disallow: /
User-Agent: SynapticWalker
Disallow: /
User-Agent: Syntryx ANT Scout Chassis Pheromone
Disallow: /
User-Agent: SystemSearch-robot
Disallow: /
User-Agent: Szukacz
Disallow: /
User-Agent: Szukacz/1.4
Disallow: /
User-Agent: T-H-U-N-D-E-R-S-T-O-N-E
Disallow: /
User-Agent: Tailrank
Disallow: /
User-Agent: tAkeOut
Disallow: /
User-Agent: Talkro Web-Shot
Disallow: /
User-Agent: TAMU_CRAWLER
Disallow: /
User-Agent: TapuzBot
Disallow: /
User-Agent: Tarantula
Disallow: /
User-Agent: targetblaster.com
Disallow: /
User-Agent: TargetYourNews.com bot
Disallow: /
User-Agent: TAUSDataBot
Disallow: /
User-Agent: taxinomiabot
Disallow: /
User-Agent: TeamSoft WinInet Component
Disallow: /
User-Agent: Tecomi Bot
Disallow: /
User-Agent: TeezirBot
Disallow: /
User-Agent: Teleport
Disallow: /
User-Agent: Teleport Pro
Disallow: /
User-Agent: TeleportPro
Disallow: /
User-Agent: Telesoft
Disallow: /
User-Agent: Teradex Mapper
Disallow: /
User-Agent: TERAGRAM_CRAWLER
Disallow: /
User-Agent: TerrawizBot
Disallow: /
User-Agent: TestBot
Disallow: /
User-Agent: testbot
Disallow: /
User-Agent: testBOT
Disallow: /
User-Agent: testing of bot
Disallow: /
User-Agent: TextBot
Disallow: /
User-Agent: thatrobotsite.com
Disallow: /
User-Agent: The Dyslexalizer
Disallow: /
User-Agent: The Intraformant
Disallow: /
User-Agent: The.Intraformant
Disallow: /
User-Agent: TheNomad
Disallow: /
User-Agent: Theophrastus
Disallow: /
User-Agent: theusefulbot
Disallow: /
User-Agent: TheUsefulbot_
Disallow: /
User-Agent: ThumbBot
Disallow: /
User-Agent: Thumbnail.CZ robot
Disallow: /
User-Agent: thumbshots-de-bot
Disallow: /
User-Agent: tigerbot
Disallow: /
User-Agent: TightTwatBot
Disallow: /
User-Agent: TinEye
Disallow: /
User-Agent: Titan
Disallow: /
User-Agent: TITAN
Disallow: /
User-Agent: to-dress_ru_bot_
Disallow: /
User-Agent: to-night-Bot
Disallow: /
User-Agent: toCrawl/UrlDispatcher
Disallow: /
User-Agent: Topicalizer
Disallow: /
User-Agent: topicblogs
Disallow: /
User-Agent: Toplistbot
Disallow: /
User-Agent: TopServer PHP
Disallow: /
User-Agent: topyx-crawler
Disallow: /
User-Agent: Touche
Disallow: /
User-Agent: TourlentaScanner
Disallow: /
User-Agent: TPSystem
Disallow: /
User-Agent: TRAAZI
Disallow: /
User-Agent: TranSGeniKBot
Disallow: /
User-Agent: travel-search
Disallow: /
User-Agent: TravelBot
Disallow: /
User-Agent: TravelLazerBot
Disallow: /
User-Agent: Treezy
Disallow: /
User-Agent: TREX
Disallow: /
User-Agent: TridentSpider
Disallow: /
User-Agent: Trovator
Disallow: /
User-Agent: True_Robot
Disallow: /
User-Agent: tScholarsBot
Disallow: /
User-Agent: TSM Translation-Search-Machine
Disallow: /
User-Agent: TsWebBot
Disallow: /
User-Agent: TulipChain
Disallow: /
User-Agent: turingos
Disallow: /
User-Agent: TurnitinBot
Disallow: /
User-Agent: TurnitinBot/1.5
Disallow: /
User-Agent: TutorGigBot
Disallow: /
User-Agent: TweetedTimes Bot
Disallow: /
User-Agent: TweetmemeBot
Disallow: /
User-Agent: TwengaBot
Disallow: /
User-Agent: TwengaBot-Discover
Disallow: /
User-Agent: Twiceler
Disallow: /
User-Agent: Twikle
Disallow: /
User-Agent: twinuffbot
Disallow: /
User-Agent: Twisted PageGetter
Disallow: /
User-Agent: Twitturls
Disallow: /
User-Agent: Twitturly
Disallow: /
User-Agent: TygoBot
Disallow: /
User-Agent: TygoProwler
Disallow: /
User-Agent: Typhoeus
Disallow: /
User-Agent: U.S. Government Printing Office
Disallow: /
User-Agent: uberbot
Disallow: /
User-Agent: ucb-nutch
Disallow: /
User-Agent: UdmSearch
Disallow: /
User-Agent: UFAM-crawler-
Disallow: /
User-Agent: Ultraseek
Disallow: /
User-Agent: UnChaos
Disallow: /
User-Agent: unchaos_crawler_
Disallow: /
User-Agent: UnisterBot
Disallow: /
User-Agent: Unitek UniEngine
Disallow: /
User-Agent: UniversalSearch
Disallow: /
User-Agent: UnwindFetchor
Disallow: /
User-Agent: UofTDB_experiment
Disallow: /
User-Agent: updated
Disallow: /
User-Agent: URL Control
Disallow: /
User-Agent: url_gather
Disallow: /
User-Agent: URL-Checker
Disallow: /
User-Agent: URLAppendBot
Disallow: /
User-Agent: URLBlaze
Disallow: /
User-Agent: urlchecker
Disallow: /
User-Agent: urlck/1.2.3
Disallow: /
User-Agent: UrlDispatcher
Disallow: /
User-Agent: URLSpiderPro
Disallow: /
User-Agent: URLy Warning
Disallow: /
User-Agent: URLy.Warning
Disallow: /
User-Agent: USAF AFKN K2SPIDER
Disallow: /
User-Agent: usasearch
Disallow: /
User-Agent: USS-Cosmix
Disallow: /
User-Agent: USyd-NLP-Spider
Disallow: /
User-Agent: Vacobot
Disallow: /
User-Agent: Vacuum
Disallow: /
User-Agent: VadixBot
Disallow: /
User-Agent: Vagabondo
Disallow: /
User-Agent: Validator
Disallow: /
User-Agent: Valkyrie
Disallow: /
User-Agent: vBSEO
Disallow: /
User-Agent: VCI
Disallow: /
User-Agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-Agent: VerbstarBot
Disallow: /
User-Agent: VeriCiteCrawler
Disallow: /
User-Agent: Verifactrola
Disallow: /
User-Agent: Verity-URL-Gateway
Disallow: /
User-Agent: Vermut
Disallow: /
User-Agent: vermut
Disallow: /
User-Agent: versus crawler
Disallow: /
User-Agent: versus.integis.ch
Disallow: /
User-Agent: viasarchivinginformation.html
Disallow: /
User-Agent: VIP
Disallow: /
User-Agent: VIPr
Disallow: /
User-Agent: virus_detector
Disallow: /
User-Agent: virus-detector
Disallow: /
User-Agent: VisBot
Disallow: /
User-Agent: Vishal For CLIA
Disallow: /
User-Agent: VisWeb
Disallow: /
User-Agent: Vital Search'n Urchin
Disallow: /
User-Agent: vlad
Disallow: /
User-Agent: vlsearch
Disallow: /
User-Agent: VMBot
Disallow: /
User-Agent: VocusBot
Disallow: /
User-Agent: VoidEYE
Disallow: /
User-Agent: VoilaBot
Disallow: /
User-Agent: Vortex
Disallow: /
User-Agent: voyager-hc
Disallow: /
User-Agent: voyager-partner-deep
Disallow: /
User-Agent: voyager
Disallow: /
User-Agent: VSE
Disallow: /
User-Agent: vspider
Disallow: /
User-Agent: W3C_Unicorn
Disallow: /
User-Agent: W3C-WebCon
Disallow: /
User-Agent: w3m
Disallow: /
User-Agent: w3search
Disallow: /
User-Agent: wacbot
Disallow: /
User-Agent: wastrix
Disallow: /
User-Agent: Water Conserve Portal
Disallow: /
User-Agent: Water Conserve Spider
Disallow: /
User-Agent: WatzBot
Disallow: /
User-Agent: wauuu engine/Wauuu
Disallow: /
User-Agent: Wavefire
Disallow: /
User-Agent: Waypath
Disallow: /
User-Agent: Wazzup
Disallow: /
User-Agent: Wazzup1.0.4800
Disallow: /
User-Agent: wbdbot
Disallow: /
User-Agent: Web CEO Online robot
Disallow: /
User-Agent: web crawler
Disallow: /
User-Agent: Web Downloader
Disallow: /
User-Agent: Web Image Collector
Disallow: /
User-Agent: Web Link Validator
Disallow: /
User-Agent: Web Magnet
Disallow: /
User-Agent: Web Site Downloader
Disallow: /
User-Agent: Web Sucker
Disallow: /
User-Agent: web-agent
Disallow: /
User-Agent: Web-Sniffer
Disallow: /
User-Agent: Web.Image.Collector
Disallow: /
User-Agent: WebaltBot
Disallow: /
User-Agent: WebAuto
Disallow: /
User-Agent: WebAuto/3.40
Disallow: /
User-Agent: WebBandit
Disallow: /
User-Agent: webbandit
Disallow: /
User-Agent: WebBandit/3.50
Disallow: /
User-Agent: WebBOT
Disallow: /
User-Agent: webbot
Disallow: /
User-Agent: WebBot
Disallow: /
User-Agent: webbul-bot
Disallow: /
User-Agent: WebCapture
Disallow: /
User-Agent: WebCapture 2.0
Disallow: /
User-Agent: webcheck 1
Disallow: /
User-Agent: Webclipping.com
Disallow: /
User-Agent: webcollage
Disallow: /
User-Agent: WebCopier
Disallow: /
User-Agent: WebCopier v.2.2
Disallow: /
User-Agent: WebCopier v2.5
Disallow: /
User-Agent: WebCopier v2.6
Disallow: /
User-Agent: WebCopier v2.7a
Disallow: /
User-Agent: WebCopier v2.8
Disallow: /
User-Agent: WebCopier v3.0
Disallow: /
User-Agent: WebCopier v3.0.1
Disallow: /
User-Agent: WebCopier v3.2
Disallow: /
User-Agent: WebCopier v3.2a
Disallow: /
User-Agent: WebCopy
Disallow: /
User-Agent: WebCorp
Disallow: /
User-Agent: webcrawl.net
Disallow: /
User-Agent: WebCrawler
Disallow: /
User-Agent: webcrawler
Disallow: /
User-Agent: WebCrawler/3.0 Robot libwww/5.0a
Disallow: /
User-Agent: WebDownloader for X
Disallow: /
User-Agent: Webdup
Disallow: /
User-Agent: WebEMailExtrac
Disallow: /
User-Agent: WebEnhancer
Disallow: /
User-Agent: WebFetch
Disallow: /
User-Agent: webfetch
Disallow: /
User-Agent: WebFetcher/0.8,
Disallow: /
User-Agent: WebGather
Disallow: /
User-Agent: WebGo IS
Disallow: /
User-Agent: webGobbler
Disallow: /
User-Agent: WebImages
Disallow: /
User-Agent: Webinator-search2.fasthealth.com
Disallow: /
User-Agent: Webinator-WBI
Disallow: /
User-Agent: WebIndex
Disallow: /
User-Agent: WebIndexer
Disallow: /
User-Agent: weblayers/0.0
Disallow: /
User-Agent: WebLeacher
Disallow: /
User-Agent: WeblexBot
Disallow: /
User-Agent: WebLinker/0.0 libwww-perl/0.1
Disallow: /
User-Agent: webLyzard
Disallow: /
User-Agent: WebmasterCoffee
Disallow: /
User-Agent: WebmasterWorld Extractor
Disallow: /
User-Agent: WebmasterWorldForumBot
Disallow: /
User-Agent: WebMiner
Disallow: /
User-Agent: WebMoose/0.0.0000
Disallow: /
User-Agent: WeBot
Disallow: /
User-Agent: WebPix
Disallow: /
User-Agent: WebReaper
Disallow: /
User-Agent: WebRipper
Disallow: /
User-Agent: WebSauger
Disallow: /
User-Agent: WebSauger 1.20b
Disallow: /
User-Agent: WebSauger 1.20j
Disallow: /
User-Agent: WebSauger 1.20k
Disallow: /
User-Agent: Webscan
Disallow: /
User-Agent: websearchbench
Disallow: /
User-Agent: WebSite
Disallow: /
User-Agent: Website Downloader
Disallow: /
User-Agent: Website Explorer
Disallow: /
User-Agent: Website eXtractor
Disallow: /
User-Agent: Website Quester
Disallow: /
User-Agent: Website.Quester
Disallow: /
User-Agent: websitemirror
Disallow: /
User-Agent: WebSpear
Disallow: /
User-Agent: websphinx.test
Disallow: /
User-Agent: WebSpider
Disallow: /
User-Agent: Webster
Disallow: /
User-Agent: Webster Pro
Disallow: /
User-Agent: Webster.Pro
Disallow: /
User-Agent: WebStripper
Disallow: /
User-Agent: WebStripper/2.03
Disallow: /
User-Agent: WebStripper/2.10
Disallow: /
User-Agent: WebStripper/2.12
Disallow: /
User-Agent: WebStripper/2.13
Disallow: /
User-Agent: WebStripper/2.15
Disallow: /
User-Agent: WebStripper/2.16
Disallow: /
User-Agent: WebStripper/2.19
Disallow: /
User-Agent: WebTrafficExpress
Disallow: /
User-Agent: WebTrends Link Analyzer
Disallow: /
User-Agent: WebVac
Disallow: /
User-Agent: webwalk
Disallow: /
User-Agent: WebWalker
Disallow: /
User-Agent: WebWalker/1.10
Disallow: /
User-Agent: WebWasher
Disallow: /
User-Agent: Webwasher
Disallow: /
User-Agent: WebWatch
Disallow: /
User-Agent: WebWhacker
Disallow: /
User-Agent: WebXM
Disallow: /
User-Agent: WebZIP
Disallow: /
User-Agent: Weddings.info Bot
Disallow: /
User-Agent: wenbin/search
Disallow: /
User-Agent: WEP Search
Disallow: /
User-Agent: WEPA
Disallow: /
User-Agent: WeRelateBot
Disallow: /
User-Agent: Whacker
Disallow: /
User-Agent: Whirlpool Web Engine
Disallow: /
User-Agent: WhoWhere Robot
Disallow: /
User-Agent: Widow
Disallow: /
User-Agent: WikiaBot
Disallow: /
User-Agent: Wikio
Disallow: /
User-Agent: wikiwix-bot-
Disallow: /
User-Agent: WinHTTP Example
Disallow: /
User-Agent: WinHttp.WinHttpRequest.
Disallow: /
User-Agent: WIRE
Disallow: /
User-Agent: wired-digital-newsbot/1.5
Disallow: /
User-Agent: WISEbot
Disallow: /
User-Agent: WISENutbot
Disallow: /
User-Agent: wish-la
Disallow: /
User-Agent: wish-project
Disallow: /
User-Agent: wisponbot
Disallow: /
User-Agent: WMCAI-robot
Disallow: /
User-Agent: wminer
Disallow: /
User-Agent: WMSBot
Disallow: /
User-Agent: woriobot
Disallow: /
User-Agent: worldshop
Disallow: /
User-Agent: WorQmada
Disallow: /
User-Agent: Wotbox
Disallow: /
User-Agent: wume_crawler
Disallow: /
User-Agent: WWW Collector
Disallow: /
User-Agent: WWW-Collector-E
Disallow: /
User-Agent: WWW-Mechanize
Disallow: /
User-Agent: WWWOFFLE
Disallow: /
User-Agent: wwwrobot
Disallow: /
User-Agent: wwwster
Disallow: /
User-Agent: WWWWanderer v3.0
Disallow: /
User-Agent: wwwxref
Disallow: /
User-Agent: Wysigot
Disallow: /
User-Agent: X-clawler
Disallow: /
User-Agent: X-crawler
Disallow: /
User-Agent: Xaldon
Disallow: /
User-Agent: Xaldon WebSpider
Disallow: /
User-Agent: Xaldon WebSpider 2.5.b3
Disallow: /
User-Agent: Xaldon_WebSpider
Disallow: /
User-Agent: Xenu
Disallow: /
User-Agent: Xenu's
Disallow: /
User-Agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-Agent: Xerka MetaBot
Disallow: /
User-Agent: Xerka WebBot
Disallow: /
User-Agent: XGET/0.7
Disallow: /
User-Agent: xirq
Disallow: /
User-Agent: XmarksFetch
Disallow: /
User-Agent: xqrobot
Disallow: /
User-Agent: Y!J-BRI
Disallow: /
User-Agent: Y!J-BRJ/YATS crawler
Disallow: /
User-Agent: Y!J-BRW
Disallow: /
User-Agent: Y!J-BSC
Disallow: /
User-Agent: Y!J-PSC
Disallow: /
User-Agent: Y!J-SRD
Disallow: /
User-Agent: Y!J
Disallow: /
User-Agent: Y!TunnelPro
Disallow: /
User-Agent: yacy.net
Disallow: /
User-Agent: yacybot
Disallow: /
User-Agent: YandexSomething
Disallow: /
User-Agent: Yanga WorldSearch Bot
Disallow: /
User-Agent: yarienavoir.net
Disallow: /
User-Agent: Yasaklibot
Disallow: /
User-Agent: yBot
Disallow: /
User-Agent: YebolBot
Disallow: /
User-Agent: yellowJacket
Disallow: /
User-Agent: yes
Disallow: /
User-Agent: YesupBot
Disallow: /
User-Agent: Yeti
Disallow: /
User-Agent: YioopBot
Disallow: /
User-Agent: yolinkBot
Disallow: /
User-Agent: yoogliFetchAgent
Disallow: /
User-Agent: Yoono
Disallow: /
User-Agent: yoono
Disallow: /
User-Agent: Yoriwa
Disallow: /
User-Agent: YottaCars_Bot
Disallow: /
User-Agent: you-dir
Disallow: /
User-Agent: Z-Add Link Checker
Disallow: /
User-Agent: zagrebin
Disallow: /
User-Agent: Zao
Disallow: /
User-Agent: zedzo.digest
Disallow: /
User-Agent: zedzo.validate
Disallow: /
User-Agent: zermelo
Disallow: /
User-Agent: Zeus
Disallow: /
User-Agent: Zeus Link Scout
Disallow: /
User-Agent: zibber-v
Disallow: /
User-Agent: zimeno
Disallow: /
User-Agent: Zing-BottaBot
Disallow: /
User-Agent: ZipppBot
Disallow: /
User-Agent: ZoomSpider
Disallow: /
User-Agent: Zotag Search
Disallow: /
User-Agent: ZuiBot
Disallow: /
User-Agent: ZumBot
Disallow: /
User-Agent: Zyborg
Disallow: /
User-Agent: ZyBorg
Disallow: /
User-Agent: Zyte
Sitemap
Кол-во: 0
XML-карта сайта для поисковиков
?
Sitemap.xml помогает поисковику быстрее находить и индексировать страницы. Особенно важен для крупных сайтов и новых страниц, на которые ещё нет входящих ссылок.
Robots.txt не содержит ссылку на карту сайта. Рекомендуется добавить карту сайта и указать ссылку на нее в robots.txt.
Внутренние ссылки
Кол-во: 116
Ссылки на другие страницы своего сайта
?
Внутренние ссылки распределяют ссылочный вес между страницами и помогают поисковику обходить сайт. Пустые анкоры и ссылки на запрещённые robots.txt страницы — типичные ошибки.
Некоторые внутренние ссылки сайта 116шт запрещены к индексации поисковыми системами в robots.txt. Пройдитесь по списку внутренних ссылок: удалите ошибочные или исправьте файл robots.txt!
Внутренних ссылок на странице 116 оптимально.
На странице присутствуют изображения 6.
Показать первые 100 внутренних ссылок
| Url | Анкор | Состояние |
|---|---|---|
| /Raznoye-c130.html |
Разное
|
Запрет в robots.txt
|
| /Tovary-pyervoy-nyeobhodimosti-c330.html |
Товары первой необходимости
|
Запрет в robots.txt
|
| /Idyei-dlya-podarkov-c500.html |
Идеи для подарков
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=30 |
Пункт выдачи
|
Запрет в robots.txt
|
| /tel:74732230002 |
<i class='ion-ios-telephone-outline'></i> +7 (473) 223-00-02
|
Запрет в robots.txt
|
| /index.php?route=account/login |
Вход
|
Запрет в robots.txt
|
| /index.php?route=account/login®istration=true |
Регистрация
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura-c1.html |
Художественная литература
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html |
Учебная литература
|
Запрет в robots.txt
|
| /Kantstovary-c239.html |
Канцтовары
|
Запрет в robots.txt
|
| /Tovary-dlya-hobbi-c331.html |
Товары для хобби
|
Запрет в robots.txt
|
| /Nyehudozhyestvyennaya-lityeratura-c15.html |
Нехудожественная литература
|
Запрет в robots.txt
|
| /Biznyes-posobiya-c54.html |
Бизнес пособия
|
Запрет в robots.txt
|
| /Dyetyam-i-rodityelyam-c36.html |
Детям и родителям
|
Запрет в robots.txt
|
| /Igry-c236.html |
Игры
|
Запрет в robots.txt
|
| /Nyeprodovol-stvyennyye-tovary-c330.html |
Товары первой необходимости
|
Запрет в robots.txt
|
| /Raznoye-c130.html |
Разное
|
Запрет в robots.txt
|
| /product/list/learn |
Подбор учебников
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=19 |
Информация для учителей
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=8 |
Доставка
|
Запрет в robots.txt
|
| /index.php?route=product/list/discount |
Товары со скидкой
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=25 |
Система скидок интернет-магазина
|
Запрет в robots.txt
|
| /Unic-pred-i52.html |
Программа лояльности розничной сети
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=28 |
Адреса магазинов
|
Запрет в robots.txt
|
|
<meta itemprop="position" content="0">
<span itemprop="name">Главная</span>
|
Запрет в robots.txt
|
|
| /Uchyebnaya-lityeratura-c110.html |
<meta itemprop="position" content="1">
<span itemprop="name">Учебная литература</span>
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly-c110c156.html |
Учебники для начальной школы
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov-c110c157.html |
Учебники для средних и старших классов
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-korryektsionnyh-shkol-c110c158.html |
Учебники для коррекционных школ
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Rabochiye-tyetradi-c110c276.html |
Рабочие тетради
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/YeGE-OGE-itogovaya-attyestatsiya-c110c164.html |
ЕГЭ, ОГЭ, итоговая аттестация
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Lityeratura-dlya-postupayushchih-v-VUZy-c110c166.html |
Литература для поступающих в ВУЗы
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Atlasy-i-konturnyye-karty-c110c167.html |
Атласы и контурные карты
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Doshkol-naya-pyedagogika-c110c168.html |
Дошкольная педагогика
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Myetodika-i-posobiya-po-nachal-noy-shkolye-c110c169.html |
Методика и пособия по начальной школе
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Myetodika-i-posobiya-dlya-sryednyey-i-starshyey-shkoly-c110c170.html |
Методика и пособия для средней и старшей школы
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Myetodika-i-posobiya-dlya-korryektsionnoy-shkoly-c110c171.html |
Методика и пособия для коррекционной школы
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Obshchaya-pyedagogika-c110c172.html |
Общая педагогика
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Naglyadnyye-posobiya-c110c173.html |
Наглядные пособия
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.sort_order&order=ASC |
По умолчанию
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.quantity&order=ASC |
Наличие (по возрастанию)
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.quantity&order=DESC |
Наличие (по убыванию)
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.price&order=ASC |
Сначала подешевле
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.price&order=DESC |
Сначала подороже
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.discount&order=DESC |
Сперва товары со скидками
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?sort=p.date_available |
Сперва новинки
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov/Atanasyan-L-S-Butuzov-V-F-Kadomtsyev-S-B/Atanasyan-L-S-Butuzov-V-F-Kadomtsyev-S-B-i-dr-Atanasyan-FP-2022-7-9-kl-Gyeomyetriya-Uchyebnik-14-ye-izdaniye-p493659c110c157.html |
<span itemprop="name">Атанасян Л.С., Бутузов В.Ф., Кадомцев С.Б. и др. Атанасян (ФП 2022) 7-9 кл. Геометрия. Учебник (14-е издание)</span>
|
Запрет в robots.txt
|
| /Atanasyan-L-S-Butuzov-V-F-Kadomtsyev-S-B-m230215.html |
Атанасян Л.С., Бутузов В.Ф., Кадомцев С.Б.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Pyetyerson-L-G/Matyematika-3-kl-Uchyebnoye-posobiye-tyetrad-V-3-h-chastyah-CHast-3-FGOS-NOVYY-PYeRSPYeKTIVA-p545385c110c156.html |
<span itemprop="name">Математика. 3 кл. Учебное пособие-тетрадь. В 3-х частях. Часть 3. ФГОС НОВЫЙ. ПЕРСПЕКТИВА</span>
|
Запрет в robots.txt
|
| /Pyetyerson-L-G-m188195.html |
Петерсон Л.Г.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Kanakina-V-P-Goryetskiy-V-G/Kanakina-V-P-Goryetskiy-V-G-Kanakina-Russkiy-yazyk-3-kl-Uchyebnik-CHast-1-Prilozhyeniye-1-14-ye-izdaniye-p516589c110c156.html |
<span itemprop="name">Канакина В.П., Горецкий В.Г. Канакина Русский язык 3 кл.Учебник. Часть 1 (Приложение 1) (14-е издание)</span>
|
Запрет в robots.txt
|
| /Kanakina-V-P-Goryetskiy-V-G-m194253.html |
Канакина В.П., Горецкий В.Г.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov/Myerzlyak-A-G-Polonskiy-V-B-Rabinovich-Ye-M/Myerzlyak-A-G-Polonskiy-V-B-YAkir-M-S-Myerzlyak-7-kl-Gyeomyetriya-Uchyebnoye-posobiye-p503890c110c157.html |
<span itemprop="name">Мерзляк А.Г., Полонский В.Б., Якир М.С. Мерзляк 7 кл.Геометрия. Учебное пособие</span>
|
Запрет в robots.txt
|
| /Myerzlyak-A-G-Polonskiy-V-B-Rabinovich-Ye-M-m191674.html |
Мерзляк А.Г., Полонский В.Б., Рабинович Е.М.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Plyeshakov-A-A/Plyeshakov-A-A-Plyeshakov-Okruzhayushchiy-mir-1-kl-Prilozhyeniye-1-Uchyebnik-CHast-1-SHkola-Rossii-16-ye-izdaniye-p504793c110c156.html |
<span itemprop="name">Плешаков А.А. Плешаков Окружающий мир. 1 кл. (Приложение 1) Учебник. Часть 1 (Школа России) (16-е издание)</span>
|
Запрет в robots.txt
|
| /Plyeshakov-A-A-m189419.html |
Плешаков А.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Plyeshakov-A-A/Okruzhayushchiy-mir-1-klass-SHkola-Rossii-Uchyebnik-V-2-h-chastyah-CHast-2-p504803c110c156.html |
<span itemprop="name">Окружающий мир. 1 класс. "Школа России". Учебник. В 2-х частях. Часть 2</span>
|
Запрет в robots.txt
|
| /Plyeshakov-A-A-m189419.html |
Плешаков А.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Rudnitskaya-V-N-Kochurova-Ye-E-Rydzye-O-A/Matyematika-1-klass-V-2-chastyah-CHast-1-Uchyebnik-FGOS-p4698c110c156.html |
<span itemprop="name">Математика. 1 класс. В 2 частях. Часть 1. Учебник. ФГОС</span>
|
Запрет в robots.txt
|
| /Rudnitskaya-V-N-Kochurova-Ye-E-Rydzye-O-A-m192094.html |
Рудницкая В.Н., Кочурова Е.Э., Рыдзе О.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Rudnitskaya-V-N/Matyematika-1klass-Uchyebnik-CHast-2-FGOS-p4699c110c156.html |
<span itemprop="name">Математика. 1класс. Учебник. Часть 2. ФГОС</span>
|
Запрет в robots.txt
|
| /Rudnitskaya-V-N-m188715.html |
Рудницкая В.Н.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov/Mahanova-Ye-A/Mahanova-Ye-A-Lityeratura-naglyadno-i-dostupno-p511650c110c157.html |
<span itemprop="name">Маханова Е.А. Литература: наглядно и доступно</span>
|
Запрет в robots.txt
|
| /Mahanova-Ye-A-m199225.html |
Маханова Е.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Savyenkova-L-G-Yermolinskaya-Ye-A/Izobrazityel-noye-iskusstvo-3-klass-Uchyebnik-p8411c110c156.html |
<span itemprop="name">Изобразительное искусство. 3 класс. Учебник</span>
|
Запрет в robots.txt
|
| /Savyenkova-L-G-Yermolinskaya-Ye-A-m238281.html |
Савенкова Л.Г. Ермолинская Е.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Poglazova-O-T-SHilin-V-D/Okruzhayushchiy-mir-1-klass-Uchyebnik-CHast-1-FGOS-p9787c110c156.html |
<span itemprop="name">Окружающий мир. 1 класс. Учебник Часть 1 ФГОС</span>
|
Запрет в robots.txt
|
| /Poglazova-O-T-SHilin-V-D-m192140.html |
Поглазова О.Т., Шилин В.Д.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Poglazova-O-T-SHilin-V-D/Okruzhayushchiy-mir-1-klass-CHast-2-Uchyebnik-FGOS-p9789c110c156.html |
<span itemprop="name">Окружающий мир 1 класс.Часть 2. Учебник. ФГОС</span>
|
Запрет в robots.txt
|
| /Poglazova-O-T-SHilin-V-D-m192140.html |
Поглазова О.Т., Шилин В.Д.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Myetodika-i-posobiya-dlya-korryektsionnoy-shkoly/YAkubovskaya-E-V-Galunchikova-N-G-Korshunova-YA-V/Russkiy-yazyk-7-klass-VIII-vid-p9896c110c171.html |
<span itemprop="name">Русский язык. 7 класс. (VIII вид)</span>
|
Запрет в robots.txt
|
| /YAkubovskaya-E-V-Galunchikova-N-G-Korshunova-YA-V-m192127.html |
Якубовская Э.В., Галунчикова Н.Г., Коршунова Я.В.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov/Lanin-B-A-Ustinova-L-YU-pod-ryedaktsiyey-Lanina-B-A/Lityeratura-8-klass-CH-1-p21857c110c157.html |
<span itemprop="name">Литература 8 класс. Ч. 1</span>
|
Запрет в robots.txt
|
| /Lanin-B-A-Ustinova-L-YU-pod-ryedaktsiyey-Lanina-B-A-m249308.html |
Ланин Б.А., Устинова Л. Ю. ; (под редакцией) Ланина Б.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-sryednih-i-starshih-klassov/Lanin-B-A-Ustinova-L-YU-pod-ryedaktsiyey-Lanina-B-A/Lityeratura-8-klass-CH-2-p21859c110c157.html |
<span itemprop="name">Литература 8 класс. Ч. 2</span>
|
Запрет в robots.txt
|
| /Lanin-B-A-Ustinova-L-YU-pod-ryedaktsiyey-Lanina-B-A-m249308.html |
Ланин Б.А., Устинова Л. Ю. ; (под редакцией) Ланина Б.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura/Uchyebniki-dlya-nachal-noy-shkoly/Luttsyeva-Ye-A/Tyehnologiya-2-klass-Uchyebnik-p22974c110c156.html |
<span itemprop="name">Технология. 2 класс. Учебник</span>
|
Запрет в robots.txt
|
| /Luttsyeva-Ye-A-m190780.html |
Лутцева Е.А.
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=1 |
1
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=2 |
2
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=3 |
3
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=4 |
4
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=5 |
5
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=434 |
434
|
Запрет в robots.txt
|
| /Uchyebnaya-lityeratura-c110.html?page=2 |
вперед
|
Запрет в robots.txt
|
| /O-kompanii-i11.html |
О компании
|
Запрет в robots.txt
|
| /Unic-pred-i52.html |
Уникальные предложения
|
Запрет в robots.txt
|
| /index.php?route=information/information&information_id=8 |
Доставка и оплата
|
Запрет в robots.txt
|
| /Vozvrat-i124.html |
Возврат
|
Запрет в robots.txt
|
| /Publichnaya-ofyerta-i46.html |
Публичная оферта
|
Запрет в robots.txt
|
| /Punkty-vydachi-tovarov-i30.html |
Пункты выдачи товаров
|
Запрет в robots.txt
|
| /Vakansii-i12.html |
Вакансии
|
Запрет в robots.txt
|
| /Price-list-i51.html |
Прайс-лист
|
Запрет в robots.txt
|
| /Korporativnym-kliyentam-i27.html |
Корпоративным клиентам
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Klassichyeskaya-lityeratura-c1c95.html |
Классическая литература
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Sovryemyennaya-lityeratura-c1c96.html |
Современная литература
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Poeziya-dramaturgiya-c1c98.html |
Поэзия, драматургия
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Istorichyeskaya-proza-c1c99.html |
Историческая проза
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Hudozhyestvyennaya-publitsistika-c1c100.html |
Художественная публицистика
|
Запрет в robots.txt
|
| /Hudozhyestvyennaya-lityeratura/Fantastika-Mistika-c1c102.html |
Фантастика. Мистика
|
Запрет в robots.txt
|
Внешние ссылки
Кол-во: 2
Ссылки на сторонние сайты
?
Исходящие внешние ссылки передают часть ссылочного веса на чужие сайты. Ссылки на авторитетные ресурсы безопасны; ссылки на мусорные сайты могут навредить репутации страницы.
Внешних ссылок на странице 2 оптимально.
Показать внешние ссылки
| Url | Анкор |
|---|---|
| vk.com |
<i class="fab fa-vk"></i>
|
| ok.ru |
<i class="fab fa-odnoklassniki"></i>
|
Конкуренты Готовность: 0%
Конкуренты в Яндексе
Кол-во: 0
Топ сайтов-конкурентов в Яндексе
?
Сайты, чаще всего появляющиеся в ТОПе Яндекса по запросам из семантического ядра этой страницы.
Мы не нашли у вас конкурентов в Яндексе. Сайт или очень молодой или плохо продвигается.
Конкурентов в ТОП-10 Яндекса не нашлось.
Конкуренты в Google
Кол-во: 0
Топ сайтов-конкурентов в Google
?
Сайты, чаще всего появляющиеся в ТОПе Google по запросам из семантического ядра этой страницы.
Конкуренты в Google тоже не найдены. Займитесь продвижением сайта!
Конкурентов в ТОП-10 Google не нашлось.
ФЗ-152: ПД Готовность: 30%
РКН
ОК
Сайт не заблокирован
Контакты
https://amital.ru/O-kompanii-i11.html
Страница с контактами найдена
Политика ПД
https://amital.ru/policy/
Страница политики обработки ПД найдена
Согласие
https://amital.ru/personal/
Страница согласия на обработку ПД найдена
Чекбокс согласия
Не найден
Чекбокс согласия на обработку ПД в формах сайта не найден
Счётчики до согласия
Нарушение
Счётчики аналитики (Яндекс.Метрика и сторонние счётчики) загружаются до согласия на обработку cookie. Собираются IP-адрес и поведение — это персональные данные, требующие предварительного согласия (152-ФЗ)
ЗоЗПП: права потребителей Готовность: 30%
Наименование продавца
Нарушение
Полное наименование продавца на сайте
?
Ст. 9 ЗоЗПП: продавец обязан довести до покупателя фирменное наименование организации (ООО «…») или ФИО индивидуального предпринимателя. Укажите его в подвале сайта или на странице «Контакты».
Не указано полное наименование продавца
Адрес продавца
Нарушение
Адрес (место нахождения) продавца
?
Ст. 9 ЗоЗПП: на сайте должен быть адрес места нахождения продавца. Добавьте его в подвал сайта или на страницу «Контакты».
Не указан адрес места нахождения продавца
ОГРН / ОГРНИП
Нарушение
Сведения о государственной регистрации продавца
?
Для дистанционной продажи обязательны сведения о госрегистрации продавца. Укажите ОГРН (для ИП — ОГРНИП) рядом с реквизитами, обычно в подвале сайта.
Не указан ОГРН/ОГРНИП
ИНН
Нарушение
ИНН продавца
?
Укажите ИНН организации или индивидуального предпринимателя рядом с остальными реквизитами продавца.
Не указан ИНН
Публичная оферта
ОК
Публичная оферта или условия продажи
?
Правила дистанционной продажи (ПП РФ № 2463) требуют довести до покупателя условия договора до его заключения. Опубликуйте публичную оферту или условия продажи и дайте на них ссылку из подвала сайта.
Есть публичная оферта / условия продажи
Возврат и доставка
ОК
Порядок возврата и доставки товара
?
Ст. 26.1 ЗоЗПП: при дистанционной продаже покупатель вправе отказаться от товара в течение 7 дней после получения. Опишите порядок и сроки возврата, обмена и доставки на отдельной странице.
Описан порядок возврата (доставки/обмена)
Цены в рублях
Нарушение
Цены товаров в рублях
?
Ст. 10 ЗоЗПП: цена товара указывается в рублях. Добавьте обозначение валюты (₽ или руб.) к ценам на сайте.
Цены без указания валюты (рубли)
Режим работы
Нарушение
Режим работы продавца
?
Ст. 9 ЗоЗПП: укажите режим работы продавца (например, «пн–пт с 9:00 до 18:00») — обычно в шапке или подвале сайта.
Не указан режим работы
ФЗ-149: рекомендательные технологии Готовность: 100%
Нарушения
Не выявлены
Рекомендательные блоки («с этим покупают», «похожие товары» и т.п.) на сайте не обнаружены — требования ст. 10.7 ФЗ-149 к сайту не применяются. Нарушений нет.
ФЗ-38: реклама Готовность: 100%
Нарушения
Не выявлены
Рекламных тематик с обязательными оговорками (медицина, БАД, кредиты и займы, новостройки) на сайте не обнаружено. Нарушений нет.
ФЗ-436: защита детей Готовность: 100%
Возрастная маркировка
ОК
Знак возрастной категории (0+, 6+, 12+, 16+ или 18+)
?
Ст. 11–12 ФЗ-436: информационная продукция (новости, видео, книги, игры, курсы) должна сопровождаться знаком возрастной категории. Разместите знак на видном месте — обычно в шапке или подвале сайта.
Возрастная маркировка найдена: 6+
Вердикт
Страница https://amital.ru/Uchyebnaya-lityeratura-c110.html готова к продвижению на 40%. Чтобы еще улучшить страницу и попасть на первые места поисковой выдачи необходимо:
Исправьте ошибки в мета-тегах.
Исправьте ошибки оптимизации.
Исправьте ошибки индексации.
Поделитесь с друзьями: