Анализ сайта amital.ru
Основное Готовность: 75%
Домен
amital.ru
Состояние доменного имени
?
Проверяем корректность доменного имени и наличие технических проблем на уровне домена.
Домен второго уровня идеален для продвижения.
Отличный запоминающийся домен.
Регистратор домена - TIMEWEB-RU
Дата регистрации домена 20.07.2001 (25 лет назад)
Ответ сервера
200 Успешный ответ
HTTP-код ответа и цепочка редиректов
?
Код 200 — страница доступна. Коды 3xx — редиректы (цепочки замедляют загрузку и размывают ссылочный вес). Коды 4xx/5xx — ошибки, поисковик не сможет проиндексировать страницу.
Сервер настроен корректно.
Цепочка редиректов:
http://amital.ru
301 MovedPermanently
https://amital.ru/
200 OK
Безопасность
Сайт безопасен
Использование HTTPS и SSL-сертификат
?
HTTPS — обязательный стандарт. Google и Яндекс отдают предпочтение защищённым сайтам. Отсутствие SSL или просроченный сертификат ведут к предупреждениям в браузере и снижению позиций.
На сайте работает защищенный протокол ssl и сайт открывается по https.
Ssl-сертификат действителен до 05.09.2026 22:07:45.
Включён HSTS (Strict-Transport-Security) — защита от подмены на http.
HTTP автоматически перенаправляется на HTTPS.
Поздравляем! Сайт не содержится в реестре РКН.
Кодировка
UTF-8
Кодировка символов страницы
?
Стандарт — UTF-8. Неправильная кодировка вызывает нечитаемые символы и мешает поисковику корректно распознать текст страницы.
Указана кодировка на странице UTF-8.
Язык
ru
Атрибут lang в HTML-теге
?
Атрибут lang (<html lang="ru">) сообщает поисковикам и браузерам, на каком языке написана страница. Помогает при ранжировании в региональном поиске.
Указан язык документа ru.
Скорость загрузки
~0,53сек
Время отклика сервера (TTFB)
?
Time To First Byte — время до получения первого байта от сервера. Норма до 200 мс. Медленный отклик ухудшает пользовательский опыт и ранжирование: Яндекс и Google учитывают скорость страниц.
Скорость загрузки сайта 0,53сек оптимальна.
Объем документа
128Кб
Размер HTML-кода страницы
?
Слишком большой HTML замедляет парсинг браузером и сканирование поисковым роботом. Рекомендуется не более 200 Кб.
Объем html-документа 128Кб оптимален.
Структура html-документа корректна.
Ресурсы
Ресурсы: 35
Внешние ресурсы страницы (CSS, JS, изображения)
?
Количество и тип подключённых ресурсов влияют на скорость загрузки. Большое число запросов увеличивает время рендеринга страницы.
Кол-во файлов ресурсов 35 много для одной страницы. Приемлемо до 10. Проведите оптимизацию файлов ресурсов!
Показать полный список ресурсов
| Тип | Название | Значение |
|---|---|---|
| stylesheet | text/css | /css/flickity.css |
| stylesheet | https://amital.ru/catalog/view/javascript/jquery/jquery.modal.min.css | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/catalog.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/fontawesome.css?ver=20190524 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/desktop.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/tablet.min.css?ver=20200824 | |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/mobile.min.css?ver=20200824 | |
| stylesheet | text/css | /css/animate.min.css |
| stylesheet | text/css | /css/jquery.lazyloadxt.spinner.min.css |
| stylesheet | https://amital.ru/catalog/view/theme/ami6/stylesheet/popover.min.css?ver=20200327 | |
| stylesheet | css/ionicons.min.css | |
| js | https://amital.ru/catalog/view/javascript/libs/jquery-1.10.2.min.js | |
| js | https://amital.ru/catalog/view/theme/ami6/js/jquery.jcarousel.min.js | |
| js | https://amital.ru/catalog/view/theme/ami6/js/jquery.jcarousel-swipe.min.js | |
| js | text/javascript | https://amital.ru/js/jquery.lazyloadxt.min.js |
| js | https://amital.ru/catalog/view/javascript/general.min.js?ver=20200318 | |
| js | text/javascript | /js/flickity.pkgd.min.js |
| js | text/javascript | catalog/view/theme/ami6/js/subscription.min.js?ver=20191212 |
| js | text/javascript | catalog/view/theme/ami6/js/header.min.js?ver=20200503 |
| js | text/javascript | https://amital.ru/catalog/view/javascript/jquery/jquery.modal.min.js |
| js | text/javascript | https://amital.ru/catalog/view/javascript/noty/packaged/jquery.noty.packaged.min.js |
| js | text/javascript | https://amital.ru/catalog/view/theme/ami6/js/sphinxautocomplete.min.js?ver=20200515 |
| js | https://amital.ru/catalog/view/theme/ami6/js/main.min.js?ver=20200513 | |
| js | https://amital.ru/js/popover.min.js | |
| js | text/javascript | catalog/view/theme/ami6/js/cart.min.js?ver=2020228 |
| js | https://www.google.com/recaptcha/api.js | |
| js | /catalog/view/javascript/jquery.customInput.js | |
| js | /catalog/view/javascript/bootstrap-tagsinput.min.js | |
| js | /catalog/view/javascript/jquery.powerful-placeholder.min.js | |
| js | https://amital.ru/catalog/view/javascript/cusel.min.js | |
| js | https://amital.ru/catalog/view/javascript/modernizr.custom.49511.js | |
| js | https://amital.ru/catalog/view/javascript/jquery.onecarousel.min.js | |
| js | https://amital.ru/catalog/view/javascript/jquery.carouFredSel-6.2.1-packed.js | |
| js | text/javascript | https://amital.ru/catalog/view/javascript/common.min.js?ver=20200824 |
| js | text/javascript | https://amital.ru/catalog/view/javascript/cdek/cdek.js |
Серверные заголовки
Кол-во: 6
HTTP-заголовки ответа сервера
?
Заголовки сервера передают браузеру и поисковику служебную информацию: кеширование, безопасность (CSP, HSTS), сжатие (gzip). Правильная настройка ускоряет загрузку и повышает защищённость.
Найдены серверные заголовки 6шт. Подробнее про серверные заголовки.
Показать полный список серверных заголовков
| Ключ | Значение |
|---|---|
| Server | ddos-guard |
| Set-Cookie | __ddg8_=yLyuaofMPqE9kic6; Domain=.amital.ru; Path=/; Expires=Wed, 19-Aug-2026 22:18:33 GMT |
| Date | Wed, 19 Aug 2026 21:58:34 GMT |
| Cache-Control | no-store, must-revalidate, no-cache, post-check=0, pre-check=0 |
| Pragma | no-cache |
| Strict-Transport-Security | max-age=31536000; |
CMS
OpenCart
Система управления сайтом (движок)
?
CMS — это движок, на котором работает сайт (WordPress, 1C-Bitrix, Tilda и др.). Знание CMS помогает понять возможности SEO-оптимизации и подобрать подходящие инструменты. «Не определена» — вероятно, самописный сайт или нестандартная сборка.
Сайт работает на CMS OpenCart.
Веб-сервер
DDoS-Guard
Программное обеспечение сервера
?
Веб-сервер — это ПО, которое отдаёт страницы посетителям (nginx, Apache, IIS, LiteSpeed и др.). Определяется по серверным заголовкам ответа (Server, X-Powered-By и т.п.). «Не определён» — сервер намеренно скрывает эти заголовки, это нормальная практика безопасности.
Сайт работает на веб-сервере DDoS-Guard.
Мета-теги Готовность: 78%
Title
Амиталь | Книжный интернет-магазин: купить книги, новинки, учебники
Заголовок страницы в браузере и поисковой выдаче
?
Title — главный SEO-заголовок страницы. Влияет на CTR в поиске и ранжирование. Оптимальная длина: 50–70 символов. Ключевые слова — ближе к началу.
Необходимо уменьшить число символов в title (текущее значение: 67, оптимально: от 40 до 45)
Дублей словоформ в title не найдено.
Description
Покупайте книги и канцтовары, не выходя из дома! Амиталь - это региональная сеть магазинов с удобной доставкой и низкими ценами!
Описание страницы в поисковой выдаче (сниппет)
?
Meta Description — текст под заголовком в выдаче. Напрямую на позиции не влияет, но влияет на CTR. Оптимальная длина: 120–160 символов.
Число символов в description 128 оптимально (норма: от 120 до 130).
Keywords
Список ключевых слов страницы (устаревший тег)
?
Meta Keywords не учитывается Яндексом и Google для ранжирования с 2009–2012 годов. Заполнение не обязательно, но не вредит. Конкурент может использовать содержимое для анализа.
Установите мета-тег keywords!
Канонический Url
Указывает поисковику основную версию страницы
?
Canonical (rel=canonical) предотвращает проблему дублей страниц. Должен точно совпадать с URL проверяемой страницы. Неправильный canonical может передать ссылочный вес на другую страницу.
Рекомендуем прописать канонический Url.
Robots
Ошибок нет
Директивы для поисковых роботов на уровне страницы
?
Meta Robots управляет индексацией конкретной страницы: index/noindex — индексировать ли, follow/nofollow — следовать ли по ссылкам. Noindex полностью исключает страницу из поиска.
Meta-тег robots не указан. Страница свободна для индексации.
Адаптивность
width=device-width, initial-scale=1
Настройка масштабирования на мобильных устройствах
?
Тег viewport (<meta name="viewport">) сообщает браузеру, как масштабировать страницу на мобильных. Стандарт: width=device-width, initial-scale=1. Отсутствие — признак отсутствия мобильной версии.
Meta-тег viewport со значением-константой width=device-width задаёт ширину страницы в соответствии с размером экрана.
Meta-тег viewport со значением initial-scale=1.0 определяет масштаб 1:1, т.е. «не масштабировать».
Разметка OpenGraph
Кол-во: 6
Мета-теги для красивых превью в соцсетях
?
OpenGraph (og:title, og:description, og:image) управляет тем, как страница выглядит при репосте в социальных сетях и мессенджерах. Отсутствие OG-тегов — невзрачный превью при шеринге.
Разметка OpenGraph задана. Страница оптимизирована под социальные сети.
Показать полный список og мета-тегов
| Тип | Значение |
|---|---|
| og:title | Книжный интернет-магазин "Амиталь" |
| og:description | Покупайте книги и канцтовары, не выходя из дома! Амиталь - это региональная сеть магазинов с удобной доставкой и низкими ценами! |
| og:type | company |
| og:url | https://amital.ru/ |
| og:image | https://amital.ru/image/data/logo.png |
| og:site_name | Amital.ru |
Все мета-теги
Кол-во: 10
Полный список мета-тегов страницы
?
Таблица всех meta-тегов, включая нестандартные. Позволяет найти опечатки, дубли и лишние теги.
Найдены мета-теги 10шт. Мета-теги не видимы для человека и предназначены для обмена информацией между веб-страницей и поисковыми системами, браузерами и другими веб-службами. С ними роботы 🤖 и устройства ведут себя более ожидаемо.
Показать полный список мета-тегов
| Тип | Название | Значение |
|---|---|---|
| name | author | |
| name | viewport | width=device-width, initial-scale=1 |
| name | description | Покупайте книги и канцтовары, не выходя из дома! Амиталь - это региональная сеть магазинов с удобной доставкой и низкими ценами! |
| name | theme-color | #0ba3e3 |
| property | og:title | Книжный интернет-магазин "Амиталь" |
| property | og:description | Покупайте книги и канцтовары, не выходя из дома! Амиталь - это региональная сеть магазинов с удобной доставкой и низкими ценами! |
| property | og:type | company |
| property | og:url | https://amital.ru/ |
| property | og:image | https://amital.ru/image/data/logo.png |
| property | og:site_name | Amital.ru |
Оптимизация Готовность: 75%
Структура
Ошибок нет
Семантические HTML-элементы страницы
?
Проверяет наличие основных структурных элементов: nav, header, footer, main. Корректная семантическая структура помогает поисковику понять архитектуру страницы.
Структура документа корректна (теги <html> и <body> присутствуют по одному на документ).
Контент
Есть ошибки
Объём и качество текстового содержимого
?
Анализирует объём полезного текста на странице. Слишком мало — страница может считаться малополезной. Слишком много — ухудшается читаемость и восприятие.
Абзацев с текстом 3 слишком мало. Добавьте больше абзацев с текстом (тег <p>)!
Кол-во слов 735 не очень много. Добавьте побольше текста (хотя бы 800 слов)!
Слова из title 8 встречаются в тексте достаточно.
Среднее число слов в абзаце 25 достаточно.
Кол-во знаков контента 5012 на странице оптимально.
Заголовки
Ошибок нет
Иерархия заголовков H1–H6
?
H1 должен быть один и содержать ключевой запрос. H2–H6 описывают подразделы. Пропуск уровней (H1 → H3) и несколько H1 — типичные ошибки, снижающие понятность страницы для поисковика.
На странице присутствуют заголовки <h1> 1. Это прекрасно.
На странице присутствуют заголовки <h2> 4. Это хорошо.
На странице присутствуют заголовки <h3> 9.
Тошнота
5,66
Насколько одно слово доминирует в тексте
?
Классическая тошнота = √(частота самого повторяющегося слова). Норма до 7–8: текст воспринимается естественно. Выше — поисковик может счесть страницу переспамленной.
Тошнота превышает норму 3. Измените текст страницы!
Академич. тошнота
2,72%
Насколько текст перенасыщен ключевыми словами
?
Академическая тошнота = (частота слова / общее количество слов) × 100%. Показывает долю конкретного слова в тексте. Норма 5–15%.
Академическая тошнота не дотягивает до нормы 5-15%. Измените текст страницы!
Семантическое ядро
20
Наиболее часто встречающиеся слова на странице
?
Топ слов по частоте использования. Показывает, какие слова доминируют в тексте с точки зрения поисковика.
Контент страницы содержит осмысленный текст и слова.
Показать список слов
| Слово | Кол-во | Частота |
|---|---|---|
| купить | 32 | 4,35% |
| литература | 8 | 1,09% |
| товары | 6 | 0,82% |
| каталог | 4 | 0,54% |
| дневник | 4 | 0,54% |
| прославившие | 4 | 0,54% |
| артёмова | 4 | 0,54% |
| художественная | 3 | 0,41% |
| доставка | 3 | 0,41% |
| скидка | 3 | 0,41% |
| подборка | 3 | 0,41% |
| девочки | 3 | 0,41% |
| itemprop="image"> | 3 | 0,41% |
| россию | 3 | 0,41% |
| указан | 3 | 0,41% |
| амиталь | 3 | 0,41% |
| подробнее | 3 | 0,41% |
| учебная | 2 | 0,27% |
| нехудожественная | 2 | 0,27% |
| бизнес | 2 | 0,27% |
Индексация Готовность: 0%
Индексирование
Есть ошибки
Разрешено ли индексирование страницы
?
Проверяет, не закрыта ли страница от индексации через robots.txt, meta robots или X-Robots-Tag. Страница, закрытая от индексации, не появится в поисковой выдаче.
Анкоров на странице 239 слишком много. Проведите ревизию и оптимизацию ссылок сайта.
Robots.txt
Содержит ошибки
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Проверяемая страница запрещена к индексации в robots.txt. Исправьте файл robots.txt!
Robots.txt доступен по постоянному адресу
Robots.txt содержит директиву Host, ведущую на Host: https://amital.ru. Это, по сути, артефакт и применяется только в устаревших поисковых системах типа mail.ru.
Яндекс отменил эту директиву в 2018г. Google вообще не поддерживает ее.
Яндекс отменил эту директиву в 2018г. Google вообще не поддерживает ее.
Цепочка редиректов для файла robots.txt:
http://amital.ru/robots.txt
301 MovedPermanently
https://amital.ru/robots.txt
200 OK
Показать содержимое robots.txt
User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?page=
Disallow: /*&page=
Disallow: /wishlist
Disallow: /login
Disallow: /index.php?route=product/manufacturer
Disallow: /index.php?route=product/compare
Disallow: /index.php?route=product/category
Disallow: /checkout
Disallow: /account
Disallow: /index.php?route=information/information&information_id=125
Disallow: /Idyei-dlya-podarkov-c500.html
Disallow: /index.php?route=information/information&information_id=129
Host: https://amital.ru
User-Agent: 12soso
Disallow: /
User-Agent: 192.comAgent
Disallow: /
User-Agent: 1Noonbot
Disallow: /
User-Agent: 1on1searchBot
Disallow: /
User-Agent: 3D_SEARCH
Disallow: /
User-Agent: 3DE_SEARCH2
Disallow: /
User-Agent: 3GSE
Disallow: /
User-Agent: 50.nu
Disallow: /
User-Agent: A1 Sitemap Generator
Disallow: /
User-Agent: A1 Website Download
Disallow: /
User-Agent: A6-Indexer
Disallow: /
User-Agent: AASP
Disallow: /
User-Agent: ABACHOBot
Disallow: /
User-Agent: Abonti
Disallow: /
User-Agent: abot
Disallow: /
User-Agent: AbotEmailSearch
Disallow: /
User-Agent: AboutUsBot
Disallow: /
User-Agent: AccMonitor Compliance Server
Disallow: /
User-Agent: accoona
Disallow: /
User-Agent: AChulkov.NET page walker
Disallow: /
User-Agent: Acme.Spider
Disallow: /
User-Agent: AcoonBot
Disallow: /
User-Agent: acquia-crawler
Disallow: /
User-Agent: ActiveTouristBot
Disallow: /
User-Agent: Ad Muncher
Disallow: /
User-Agent: AdamM Bot,
Disallow: /
User-Agent: adbeat_bot
Disallow: /
User-Agent: AdMedia bot
Disallow: /
User-Agent: adminshop.com
Disallow: /
User-Agent: Advanced Email Extractor
Disallow: /
User-Agent: AESOP_com_SpiderMan
Disallow: /
User-Agent: AESpider
Disallow: /
User-Agent: AF Knowledge Now Verity Spider
Disallow: /
User-Agent: aggregator:Vocus
Disallow: /
User-Agent: ah-ha.com crawler
Disallow: /
User-Agent: AhrefsBot
Disallow: /
User-Agent: AhrefsBot/5.0
Disallow: /
User-Agent: AIBOT
Disallow: /
User-Agent: aiHitBot
Disallow: /
User-Agent: aipbot
Disallow: /
User-Agent: AISIID
Disallow: /
User-Agent: AITCSRobot/1.1
Disallow: /
User-Agent: Akamai-SiteSnapshot
Disallow: /
User-Agent: AlexfDownload
Disallow: /
User-Agent: Alexibot
Disallow: /
User-Agent: AlkalineBOT
Disallow: /
User-Agent: All Acronyms Bot
Disallow: /
User-Agent: Alpha Search Agent
Disallow: /
User-Agent: Amerla Search Bot
Disallow: /
User-Agent: Amfibibot
Disallow: /
User-Agent: AmPmPPC.com
Disallow: /
User-Agent: AMZNKAssocBot
Disallow: /
User-Agent: Anemone
Disallow: /
User-Agent: Anonymous/3G bot
Disallow: /
User-Agent: Anonymouse.org
Disallow: /
User-Agent: AnotherBot
Disallow: /
User-Agent: AnswerBot
Disallow: /
User-Agent: AnswerBus
Disallow: /
User-Agent: AnswerChase PROve
Disallow: /
User-Agent: AntBot
Disallow: /
User-Agent: antibot-
Disallow: /
User-Agent: AntiSantyWorm
Disallow: /
User-Agent: Antro.Net
Disallow: /
User-Agent: AONDE-Spider
Disallow: /
User-Agent: Apache-HttpClient
Disallow: /
User-Agent: Apache-HttpClient/4.0.1 (java 1.5)
Disallow: /
User-Agent: ApacheBench
Disallow: /
User-Agent: Aport
Disallow: /
User-Agent: appid: s~stremor-crawler-
Disallow: /
User-Agent: Aqua_Products
Disallow: /
User-Agent: AraBot
Disallow: /
User-Agent: Arachmo
Disallow: /
User-Agent: Arachnophilia
Disallow: /
User-Agent: archive.org_bot
Disallow: /
User-Agent: aria eQualizer
Disallow: /
User-Agent: arianna.libero.it
Disallow: /
User-Agent: Arikus_Spider
Disallow: /
User-Agent: Art-Online.com
Disallow: /
User-Agent: ArtavisBot
Disallow: /
User-Agent: Artera
Disallow: /
User-Agent: ASAHA Search Engine Turkey
Disallow: /
User-Agent: ASpider/0.09
Disallow: /
User-Agent: ASPSeek
Disallow: /
User-Agent: ASPseek
Disallow: /
User-Agent: asterias
Disallow: /
User-Agent: AstroFind
Disallow: /
User-Agent: athenusbot
Disallow: /
User-Agent: AtlocalBot
Disallow: /
User-Agent: Atomic_Email_Hunter
Disallow: /
User-Agent: attach
Disallow: /
User-Agent: attrakt
Disallow: /
User-Agent: Attributor.comBot
Disallow: /
User-Agent: attributor
Disallow: /
User-Agent: Attributor/Dejan-
Disallow: /
User-Agent: augurfind
Disallow: /
User-Agent: AURESYS
Disallow: /
User-Agent: AutoBaron crawler
Disallow: /
User-Agent: autoemailspider
Disallow: /
User-Agent: autowebdir
Disallow: /
User-Agent: AVSearch-
Disallow: /
User-Agent: axfeedsbot
Disallow: /
User-Agent: Axonize-bot
Disallow: /
User-Agent: Ayna
Disallow: /
User-Agent: b2w
Disallow: /
User-Agent: b2w/0.1
Disallow: /
User-Agent: BackDoorBot
Disallow: /
User-Agent: BackRub/.
Disallow: /
User-Agent: BackStreet Browser
Disallow: /
User-Agent: BackWeb
Disallow: /
User-Agent: Bandit
Disallow: /
User-Agent: BatchFTP
Disallow: /
User-Agent: baypup
Disallow: /
User-Agent: BDFetch
Disallow: /
User-Agent: BecomeBot
Disallow: /
User-Agent: BecomeJPBot
Disallow: /
User-Agent: BeetleBot
Disallow: /
User-Agent: Bender
Disallow: /
User-Agent: besserscheitern-crawl
Disallow: /
User-Agent: betaBot
Disallow: /
User-Agent: Big Brother
Disallow: /
User-Agent: Big Data
Disallow: /
User-Agent: Bigado.com
Disallow: /
User-Agent: BigCliqueBot
Disallow: /
User-Agent: BigCliqueBOT
Disallow: /
User-Agent: Bigfoot
Disallow: /
User-Agent: BIGLOTRON
Disallow: /
User-Agent: Bilbo
Disallow: /
User-Agent: BilgiBetaBot
Disallow: /
User-Agent: BilgiBot
Disallow: /
User-Agent: bintellibot
Disallow: /
User-Agent: bitlybot
Disallow: /
User-Agent: BitvoUserAgent
Disallow: /
User-Agent: Bizbot003
Disallow: /
User-Agent: BizBot04 kirk.overleaf.com
Disallow: /
User-Agent: BizWorks Retriever
Disallow: /
User-Agent: Black Hole
Disallow: /
User-Agent: Black.Hole
Disallow: /
User-Agent: Blackbird
Disallow: /
User-Agent: BlackMask.Net Search Engine
Disallow: /
User-Agent: BlackWidow
Disallow: /
User-Agent: bladder fusion
Disallow: /
User-Agent: Blaiz-Bee
Disallow: /
User-Agent: BLEXBot
Disallow: /
User-Agent: Blinkx/DFS-Fetch
Disallow: /
User-Agent: BlitzBOT
Disallow: /
User-Agent: Blog Conversation Project
Disallow: /
User-Agent: BlogMyWay
Disallow: /
User-Agent: BlogPulseLive
Disallow: /
User-Agent: BlogRefsBot
Disallow: /
User-Agent: BlogScope
Disallow: /
User-Agent: Blogslive
Disallow: /
User-Agent: BloobyBot
Disallow: /
User-Agent: BlowFish
Disallow: /
User-Agent: BLT
Disallow: /
User-Agent: bnf.fr_bot
Disallow: /
User-Agent: BoaConstrictor
Disallow: /
User-Agent: BoardReader-Image-Fetcher
Disallow: /
User-Agent: BOI_crawl_00
Disallow: /
User-Agent: BOIA-Scan-Agent
Disallow: /
User-Agent: BOIA.ORG-Scan-Agent
Disallow: /
User-Agent: boitho.com-dc
Disallow: /
User-Agent: Bookmark Buddy bookmark checker
Disallow: /
User-Agent: Bookmark search tool
Disallow: /
User-Agent: bosug
Disallow: /
User-Agent: Bot Apoena
Disallow: /
User-Agent: Bot
Disallow: /
User-Agent: bot
Disallow: /
User-Agent: BOT
Disallow: /
User-Agent: BotALot
Disallow: /
User-Agent: BotRightHere
Disallow: /
User-Agent: Botswana
Disallow: /
User-Agent: bottybot
Disallow: /
User-Agent: BpBot
Disallow: /
User-Agent: BRAINTIME_SEARCH
Disallow: /
User-Agent: BrokenLinkCheck.com
Disallow: /
User-Agent: BrowserEmulator
Disallow: /
User-Agent: BrowserMob
Disallow: /
User-Agent: BruinBot
Disallow: /
User-Agent: BSearchR&D
Disallow: /
User-Agent: BSpider
Disallow: /
User-Agent: btbot
Disallow: /
User-Agent: Btsearch
Disallow: /
User-Agent: Buddy
Disallow: /
User-Agent: Buibui
Disallow: /
User-Agent: BuildCMS crawler
Disallow: /
User-Agent: BuiltBotTough
Disallow: /
User-Agent: Bullseye
Disallow: /
User-Agent: bumblebee
Disallow: /
User-Agent: BunnySlippers
Disallow: /
User-Agent: BuscadorClarin
Disallow: /
User-Agent: Buscaplus Robi
Disallow: /
User-Agent: Butterfly
Disallow: /
User-Agent: BuyHawaiiBot
Disallow: /
User-Agent: BuzzBot
Disallow: /
User-Agent: byindia
Disallow: /
User-Agent: BYINDIA
Disallow: /
User-Agent: BySpider
Disallow: /
User-Agent: byteserver
Disallow: /
User-Agent: bzBot
Disallow: /
User-Agent: c r a w l 3 r
Disallow: /
User-Agent: CacheBlaster
Disallow: /
User-Agent: Caddbot
Disallow: /
User-Agent: Cafi
Disallow: /
User-Agent: Camcrawler
Disallow: /
User-Agent: CamelStampede
Disallow: /
User-Agent: Canon-WebRecord
Disallow: /
User-Agent: Canon-WebRecordPro
Disallow: /
User-Agent: CareerBot
Disallow: /
User-Agent: cataguru
Disallow: /
User-Agent: CatchBot
Disallow: /
User-Agent: CazoodleBot
Disallow: /
User-Agent: CCBot
Disallow: /
User-Agent: CCGCrawl
Disallow: /
User-Agent: ccubee
Disallow: /
User-Agent: CD-Preload
Disallow: /
User-Agent: CE-Preload
Disallow: /
User-Agent: Cegbfeieh
Disallow: /
User-Agent: Cerberian Drtrs
Disallow: /
User-Agent: CERT FigleafBot
Disallow: /
User-Agent: cfetch
Disallow: /
User-Agent: CFNetwork
Disallow: /
User-Agent: Chameleon
Disallow: /
User-Agent: Charlotte
Disallow: /
User-Agent: Check&Get
Disallow: /
User-Agent: Checkbot
Disallow: /
User-Agent: CheckLinks
Disallow: /
User-Agent: Checklinks
Disallow: /
User-Agent: CheeseBot
Disallow: /
User-Agent: ChemieDE-NodeBot
Disallow: /
User-Agent: CherryPicker
Disallow: /
User-Agent: CherryPickerElite
Disallow: /
User-Agent: CherryPickerSE
Disallow: /
User-Agent: Chilkat
Disallow: /
User-Agent: ChinaClaw
Disallow: /
User-Agent: CipinetBot
Disallow: /
User-Agent: cis455crawler
Disallow: /
User-Agent: citeseerxbot
Disallow: /
User-Agent: cizilla.com/Cizilla-
Disallow: /
User-Agent: ClariaBot
Disallow: /
User-Agent: Climate Ark
Disallow: /
User-Agent: ClimateArk Spider
Disallow: /
User-Agent: Clushbot
Disallow: /
User-Agent: COAST scan engine
Disallow: /
User-Agent: COAST WebMaster Pro
Disallow: /
User-Agent: coccoc
Disallow: /
User-Agent: CollapsarWEB
Disallow: /
User-Agent: Collector
Disallow: /
User-Agent: Combine
Disallow: /
User-Agent: combine
Disallow: /
User-Agent: COMBINE
Disallow: /
User-Agent: Compatible
Disallow: /
User-Agent: ConnectSearch
Disallow: /
User-Agent: conpilot
Disallow: /
User-Agent: ContentSmartz
Disallow: /
User-Agent: ContextAd Bot
Disallow: /
User-Agent: contype
Disallow: /
User-Agent: cookieNET
Disallow: /
User-Agent: CoolBot
Disallow: /
User-Agent: CoolCheck
Disallow: /
User-Agent: Copernic
Disallow: /
User-Agent: Copier
Disallow: /
User-Agent: CopyRightCheck
Disallow: /
User-Agent: core-project
Disallow: /
User-Agent: cosmos
Disallow: /
User-Agent: Covario-IDS
Disallow: /
User-Agent: Cowbot-
Disallow: /
User-Agent: Cowdog Bot
Disallow: /
User-Agent: crabbyBot
Disallow: /
User-Agent: Crawl_Application
Disallow: /
User-Agent: crawl.UserAgent
Disallow: /
User-Agent: Crawl
Disallow: /
User-Agent: crawl
Disallow: /
User-Agent: CrawlConvera
Disallow: /
User-Agent: Crawler
Disallow: /
User-Agent: crawler
Disallow: /
User-Agent: crawler_for_infomine
Disallow: /
User-Agent: CRAWLER-ALTSE.VUNET.ORG-Lynx
Disallow: /
User-Agent: crawler-upgrade-config
Disallow: /
User-Agent: crawler.kpricorn.org
Disallow: /
User-Agent: crawler@
Disallow: /
User-Agent: crawler43.ejupiter.com
Disallow: /
User-Agent: crawler4j
Disallow: /
User-Agent: Crawly
Disallow: /
User-Agent: CreativeCommons
Disallow: /
User-Agent: Crescent
Disallow: /
User-Agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-Agent: cs-crawler
Disallow: /
User-Agent: CSE HTML Validator
Disallow: /
User-Agent: CSHttpClient
Disallow: /
User-Agent: Cuasarbot
Disallow: /
User-Agent: culsearch/culs
Disallow: /
User-Agent: Curl
Disallow: /
User-Agent: Custo
Disallow: /
User-Agent: cvaulev
Disallow: /
User-Agent: Cyberdog
Disallow: /
User-Agent: CyberNavi_WebGet
Disallow: /
User-Agent: CyberPatrol SiteCat Webbot
Disallow: /
User-Agent: CyberSpyder
Disallow: /
User-Agent: CydralSpider
Disallow: /
User-Agent: D1GArabicEngine
Disallow: /
User-Agent: DA
Disallow: /
User-Agent: DataCha0s
Disallow: /
User-Agent: DataFountains
Disallow: /
User-Agent: DataFountains/DMOZ Downloader
Disallow: /
User-Agent: DataparkSearch
Disallow: /
User-Agent: datascape robot
Disallow: /
User-Agent: DataSpearSpiderBot
Disallow: /
User-Agent: DataSpider
Disallow: /
User-Agent: Dattatec.com
Disallow: /
User-Agent: Dattatec.com-Sitios-Top
Disallow: /
User-Agent: Daumoa
Disallow: /
User-Agent: DAUMOA-video
Disallow: /
User-Agent: DAUMOA-web
Disallow: /
User-Agent: Declumbot
Disallow: /
User-Agent: Deepindex
Disallow: /
User-Agent: deepnet crawler
Disallow: /
User-Agent: DeepTrawl
Disallow: /
User-Agent: dejan
Disallow: /
User-Agent: del.icio.us-thumbnails
Disallow: /
User-Agent: DelvuBot
Disallow: /
User-Agent: Der gro?e BilderSauger
Disallow: /
User-Agent: DiaGem
Disallow: /
User-Agent: Diamond
Disallow: /
User-Agent: DiamondBot
Disallow: /
User-Agent: DiBot
Disallow: /
User-Agent: didaxusbot
Disallow: /
User-Agent: DigExt
Disallow: /
User-Agent: Digger
Disallow: /
User-Agent: DiGi-RSSBot
Disallow: /
User-Agent: DigitalArchivesBot
Disallow: /
User-Agent: DigOut4U
Disallow: /
User-Agent: DIIbot
Disallow: /
User-Agent: Dillo
Disallow: /
User-Agent: Dir_Snatch.exe
Disallow: /
User-Agent: DISCo
Disallow: /
User-Agent: DISCo Pump
Disallow: /
User-Agent: DISCo Pump 3.0
Disallow: /
User-Agent: DISCo Pump 3.2
Disallow: /
User-Agent: DISCoFinder
Disallow: /
User-Agent: Distilled-Reputation-Monitor
Disallow: /
User-Agent: Dit
Disallow: /
User-Agent: DittoSpyder
Disallow: /
User-Agent: DjangoTraineeBot
Disallow: /
User-Agent: DKIMRepBot
Disallow: /
User-Agent: DoCoMo
Disallow: /
User-Agent: DOF-Verify
Disallow: /
User-Agent: Domaincrawler
Disallow: /
User-Agent: domaincrawler
Disallow: /
User-Agent: DomainScan
Disallow: /
User-Agent: DomainWatcher Bot
Disallow: /
User-Agent: DotBot
Disallow: /
User-Agent: DotBot/1.1
Disallow: /
User-Agent: DotSpotsBot
Disallow: /
User-Agent: Dow Jones Searchbot
Disallow: /
User-Agent: Download
Disallow: /
User-Agent: Download Demon
Disallow: /
User-Agent: Download Demon/3.2.0.8
Disallow: /
User-Agent: Download Demon/3.5.0.11
Disallow: /
User-Agent: Download Devil
Disallow: /
User-Agent: Download Master
Disallow: /
User-Agent: Download Ninja
Disallow: /
User-Agent: Download Wonder
Disallow: /
User-Agent: Downloader
Disallow: /
User-Agent: DOY
Disallow: /
User-Agent: dragonfly
Disallow: /
User-Agent: Drip
Disallow: /
User-Agent: drone
Disallow: /
User-Agent: Drupal
Disallow: /
User-Agent: DTAAgent
Disallow: /
User-Agent: dtSearchSpider
Disallow: /
User-Agent: dumbot
Disallow: /
User-Agent: Dumbot
Disallow: /
User-Agent: Dwaar
Disallow: /
User-Agent: Dwaarbot
Disallow: /
User-Agent: DXSeeker
Disallow: /
User-Agent: EAH
Disallow: /
User-Agent: Earth Platform Indexer
Disallow: /
User-Agent: Earth Science Educator robot
Disallow: /
User-Agent: EARTHCOM.info
Disallow: /
User-Agent: EARTHCOM
Disallow: /
User-Agent: EasyDL
Disallow: /
User-Agent: ebingbong
Disallow: /
User-Agent: EC2LinkFinder
Disallow: /
User-Agent: eCairn-Grabber
Disallow: /
User-Agent: eCatch
Disallow: /
User-Agent: eCatch/3.0
Disallow: /
User-Agent: eChooseBot
Disallow: /
User-Agent: EdisterBot
Disallow: /
User-Agent: EduGovSearch
Disallow: /
User-Agent: egothor
Disallow: /
User-Agent: eidetica.com/spider
Disallow: /
User-Agent: EirGrabber
Disallow: /
User-Agent: Elblindo the Blind Bot
Disallow: /
User-Agent: ElisaBot
Disallow: /
User-Agent: EllerdaleBot
Disallow: /
User-Agent: EMail Exractor
Disallow: /
User-Agent: EmailCollector
Disallow: /
User-Agent: EmailLeach
Disallow: /
User-Agent: EmailSiphon
Disallow: /
User-Agent: EmailWolf
Disallow: /
User-Agent: EMPAS_ROBOT
Disallow: /
User-Agent: EnaBot
Disallow: /
User-Agent: endeca
Disallow: /
User-Agent: EnigmaBot
Disallow: /
User-Agent: Enswer Neuro Bot
Disallow: /
User-Agent: EntityCubeBot
Disallow: /
User-Agent: EroCrawler
Disallow: /
User-Agent: es
Disallow: /
User-Agent: eStyleSearch
Disallow: /
User-Agent: eSyndiCat Bot
Disallow: /
User-Agent: Eurosoft-Bot
Disallow: /
User-Agent: Evaal
Disallow: /
User-Agent: Eventware
Disallow: /
User-Agent: Everest-Vulcan Inc.
Disallow: /
User-Agent: Exabot
Disallow: /
User-Agent: Exabot Test
Disallow: /
User-Agent: Exabot-Images
Disallow: /
User-Agent: Exabot-Test
Disallow: /
User-Agent: Exabot-XXX
Disallow: /
User-Agent: ExaBotTest
Disallow: /
User-Agent: ExactSearch
Disallow: /
User-Agent: exactseek.com
Disallow: /
User-Agent: exooba/exooba crawler
Disallow: /
User-Agent: Exploder
Disallow: /
User-Agent: Express WebPictures
Disallow: /
User-Agent: Extractor
Disallow: /
User-Agent: ExtractorPro
Disallow: /
User-Agent: EyeNetIE
Disallow: /
User-Agent: ez-robot
Disallow: /
User-Agent: Ezooms
Disallow: /
User-Agent: f-bot test pilot
Disallow: /
User-Agent: factbot
Disallow: /
User-Agent: Factbot
Disallow: /
User-Agent: FairAd Client
Disallow: /
User-Agent: falcon
Disallow: /
User-Agent: Falconsbot
Disallow: /
User-Agent: FAST Data Search Document Retriever
Disallow: /
User-Agent: FAST ESP
Disallow: /
User-Agent: fast-search-engine
Disallow: /
User-Agent: fastbot crawler
Disallow: /
User-Agent: fastbot.de crawler
Disallow: /
User-Agent: FatBot
Disallow: /
User-Agent: Favcollector
Disallow: /
User-Agent: Faviconizer
Disallow: /
User-Agent: Favorites Sweeper
Disallow: /
User-Agent: FDM 1.x
Disallow: /
User-Agent: FDM 2.x
Disallow: /
User-Agent: FDM 3
Disallow: /
User-Agent: FDSE robot
Disallow: /
User-Agent: FedContractorBot
Disallow: /
User-Agent: fembot
Disallow: /
User-Agent: Fetch API Request
Disallow: /
User-Agent: fetch_ici
Disallow: /
User-Agent: fgcrawler
Disallow: /
User-Agent: Filangy
Disallow: /
User-Agent: FileHound
Disallow: /
User-Agent: FindAnISP.com_ISP_Finder
Disallow: /
User-Agent: findlinks
Disallow: /
User-Agent: FindWeb
Disallow: /
User-Agent: Firebat
Disallow: /
User-Agent: FirstGov.gov Search
Disallow: /
User-Agent: Flaming AttackBot
Disallow: /
User-Agent: Flamingo_SearchEngine
Disallow: /
User-Agent: FlashCapture
Disallow: /
User-Agent: FlashGet
Disallow: /
User-Agent: FlashGet WebWasher 3.2
Disallow: /
User-Agent: FlickySearchBot
Disallow: /
User-Agent: Fluffy the spider
Disallow: /
User-Agent: flunky
Disallow: /
User-Agent: focused_crawler
Disallow: /
User-Agent: FollowSite
Disallow: /
User-Agent: Foobot
Disallow: /
User-Agent: Fooooo_Web_Video_Crawl
Disallow: /
User-Agent: Fopper
Disallow: /
User-Agent: Forest Conservation Portal,
Disallow: /
User-Agent: Forest Conservation Spider
Disallow: /
User-Agent: Forests.org Spider
Disallow: /
User-Agent: FormulaFinderBot
Disallow: /
User-Agent: Forschungsportal
Disallow: /
User-Agent: fr_crawler
Disallow: /
User-Agent: Francis
Disallow: /
User-Agent: FreeWebMonitoring SiteChecker
Disallow: /
User-Agent: FreshDownload
Disallow: /
User-Agent: freshlinks.exe
Disallow: /
User-Agent: FriendFeedBot
Disallow: /
User-Agent: frodo.at
Disallow: /
User-Agent: froGgle
Disallow: /
User-Agent: FrontPage
Disallow: /
User-Agent: FrontPage [NC,OR]
Disallow: /
User-Agent: Froola Bot
Disallow: /
User-Agent: FU-NBI/FU-NBI-
Disallow: /
User-Agent: full_breadth_crawler
Disallow: /
User-Agent: FunnelBack
Disallow: /
User-Agent: FurlBot
Disallow: /
User-Agent: G10-Bot
Disallow: /
User-Agent: Gaisbot
Disallow: /
User-Agent: GaisBot
Disallow: /
User-Agent: GalaxyBot
Disallow: /
User-Agent: gazz
Disallow: /
User-Agent: generate_infomine_category_classifiers
Disallow: /
User-Agent: genevabot
Disallow: /
User-Agent: genieBot
Disallow: /
User-Agent: GenieBotRD_SmallCrawl
Disallow: /
User-Agent: Genieo
Disallow: /
User-Agent: Geomaxenginebot
Disallow: /
User-Agent: geometabot
Disallow: /
User-Agent: GeonaBot
Disallow: /
User-Agent: GeoVisu
Disallow: /
User-Agent: GetHTMLContents
Disallow: /
User-Agent: Getleft
Disallow: /
User-Agent: GetLeft
Disallow: /
User-Agent: GetRight
Disallow: /
User-Agent: GetRight/2.11
Disallow: /
User-Agent: GetRight/3.1
Disallow: /
User-Agent: GetRight/3.2
Disallow: /
User-Agent: GetRight/3.3
Disallow: /
User-Agent: GetRight/3.3.3
Disallow: /
User-Agent: GetRight/3.3.4
Disallow: /
User-Agent: GetRight/4.0.0
Disallow: /
User-Agent: GetRight/4.1.0
Disallow: /
User-Agent: GetRight/4.1.1
Disallow: /
User-Agent: GetRight/4.1.2
Disallow: /
User-Agent: GetRight/4.2
Disallow: /
User-Agent: GetRight/4.2b (Portuguxeas)
Disallow: /
User-Agent: GetRight/4.2c
Disallow: /
User-Agent: GetRight/4.3
Disallow: /
User-Agent: GetRight/4.5
Disallow: /
User-Agent: GetRight/4.5a
Disallow: /
User-Agent: GetRight/4.5b
Disallow: /
User-Agent: GetRight/4.5b1
Disallow: /
User-Agent: GetRight/4.5b2
Disallow: /
User-Agent: GetRight/4.5b3
Disallow: /
User-Agent: GetRight/4.5b6
Disallow: /
User-Agent: GetRight/4.5b7
Disallow: /
User-Agent: GetRight/4.5c
Disallow: /
User-Agent: GetRight/4.5d
Disallow: /
User-Agent: GetRight/4.5e
Disallow: /
User-Agent: GetRight/5.0beta1
Disallow: /
User-Agent: GetRight/5.0beta2
Disallow: /
User-Agent: GetSmart
Disallow: /
User-Agent: GetURL.rexx v1.05
Disallow: /
User-Agent: GetWeb!
Disallow: /
User-Agent: Giant
Disallow: /
User-Agent: GigablastOpenSource
Disallow: /
User-Agent: Gigabot
Disallow: /
User-Agent: GigaBot
Disallow: /
User-Agent: GigabotSiteSearch
Disallow: /
User-Agent: Girafabot
Disallow: /
User-Agent: GleameBot
Disallow: /
User-Agent: gnome-vfs
Disallow: /
User-Agent: Go-Ahead-Got-It
Disallow: /
User-Agent: Go!Zilla
Disallow: /
User-Agent: GoForIt.com
Disallow: /
User-Agent: GOFORITBOT
Disallow: /
User-Agent: gold crawler
Disallow: /
User-Agent: Goldfire Server
Disallow: /
User-Agent: Golem/1.1
Disallow: /
User-Agent: GoodJelly
Disallow: /
User-Agent: Gordon-College-Google-Mini
Disallow: /
User-Agent: goroam
Disallow: /
User-Agent: GoSeebot
Disallow: /
User-Agent: gotit
Disallow: /
User-Agent: Govbot
Disallow: /
User-Agent: GPU p2p crawler
Disallow: /
User-Agent: Grabber
Disallow: /
User-Agent: GrabNet
Disallow: /
User-Agent: Grafula
Disallow: /
User-Agent: grapeFX
Disallow: /
User-Agent: grapeshot
Disallow: /
User-Agent: GrapeshotCrawler/2.0
Disallow: /
User-Agent: grbot
Disallow: /
User-Agent: GreenYogi [ZSEBOT]
Disallow: /
User-Agent: Gromit
Disallow: /
User-Agent: grub
Disallow: /
User-Agent: grub crawler
Disallow: /
User-Agent: grub-client
Disallow: /
User-Agent: Grub
Disallow: /
User-Agent: Grubclient-
Disallow: /
User-Agent: GrubNG
Disallow: /
User-Agent: GruBot
Disallow: /
User-Agent: gsa
Disallow: /
User-Agent: gsa-accuracyEval
Disallow: /
User-Agent: gsa-crawler
Disallow: /
User-Agent: gsa-eusleg
Disallow: /
User-Agent: GSLFbot
Disallow: /
User-Agent: Gulliver
Disallow: /
User-Agent: GulperBot
Disallow: /
User-Agent: GurujiBot
Disallow: /
User-Agent: GVC BUSINESS crawler
Disallow: /
User-Agent: GVC crawler
Disallow: /
User-Agent: GVC SEARCH BOT
Disallow: /
User-Agent: GVC WEB crawler
Disallow: /
User-Agent: GVC Weblink crawler
Disallow: /
User-Agent: GVC WORLD LINKS
Disallow: /
User-Agent: gvcbot.com
Disallow: /
User-Agent: HappyFunBot
Disallow: /
User-Agent: Harvest
Disallow: /
User-Agent: Harvest/1.5
Disallow: /
User-Agent: HarvestMan
Disallow: /
User-Agent: Hatena Antenna
Disallow: /
User-Agent: Hawler
Disallow: /
User-Agent: hcat
Disallow: /
User-Agent: hclsreport-crawler
Disallow: /
User-Agent: HD nutch agent
Disallow: /
User-Agent: Header_Test_Client
Disallow: /
User-Agent: healia/healia
Disallow: /
User-Agent: Helix
Disallow: /
User-Agent: here will be link to crawler site
Disallow: /
User-Agent: heritrix bot
Disallow: /
User-Agent: heritrix
Disallow: /
User-Agent: Heritrix
Disallow: /
User-Agent: heritrix/3.1.0
Disallow: /
User-Agent: heritrix/3.1.1
Disallow: /
User-Agent: hijbul-heritrix-crawler
Disallow: /
User-Agent: HiScan
Disallow: /
User-Agent: HiSoftware AccMonitor Server
Disallow: /
User-Agent: HiSoftware AccVerify
Disallow: /
User-Agent: hitcrawler_
Disallow: /
User-Agent: hivaBot
Disallow: /
User-Agent: hloader
Disallow: /
User-Agent: HLoader
Disallow: /
User-Agent: HMSEbot
Disallow: /
User-Agent: HMView
Disallow: /
User-Agent: hoge
Disallow: /
User-Agent: holmes
Disallow: /
User-Agent: HomePageSearch
Disallow: /
User-Agent: Hooblybot-Image
Disallow: /
User-Agent: HooWWWer
Disallow: /
User-Agent: Hostcrawler
Disallow: /
User-Agent: HSFT - Link Scanner
Disallow: /
User-Agent: HSFT - LVU Scanner
Disallow: /
User-Agent: HSlide
Disallow: /
User-Agent: ht://check
Disallow: /
User-Agent: htdig
Disallow: /
User-Agent: Html Link Validator
Disallow: /
User-Agent: HTMLParser
Disallow: /
User-Agent: httplib
Disallow: /
User-Agent: HTTrack
Disallow: /
User-Agent: HTTrack [NC,OR]
Disallow: /
User-Agent: HTTrack 3.0
Disallow: /
User-Agent: Huaweisymantecspider
Disallow: /
User-Agent: hul-wax
Disallow: /
User-Agent: humanlinks
Disallow: /
User-Agent: HyperEstraier
Disallow: /
User-Agent: Hyperix
Disallow: /
User-Agent: ia_archiver
Disallow: /
User-Agent: IAArchiver-
Disallow: /
User-Agent: ibuena
Disallow: /
User-Agent: iCab
Disallow: /
User-Agent: ICDS-Ingestion
Disallow: /
User-Agent: ichiro
Disallow: /
User-Agent: iCopyright Conductor
Disallow: /
User-Agent: IEAutoDiscovery
Disallow: /
User-Agent: IECheck
Disallow: /
User-Agent: iHWebChecker
Disallow: /
User-Agent: IIITBOT
Disallow: /
User-Agent: iim_405
Disallow: /
User-Agent: IlseBot
Disallow: /
User-Agent: Iltrovatore-Setaccio
Disallow: /
User-Agent: IlTrovatore-Setaccio
Disallow: /
User-Agent: IlTrovatore
Disallow: /
User-Agent: Image Stripper
Disallow: /
User-Agent: Image Sucker
Disallow: /
User-Agent: ImageBot
Disallow: /
User-Agent: imagefortress
Disallow: /
User-Agent: ImagesHereImagesThereImagesEverywhere
Disallow: /
User-Agent: ImageVisu
Disallow: /
User-Agent: imds_monitor
Disallow: /
User-Agent: imo-google-robot-intelink
Disallow: /
User-Agent: inagist.com url crawler
Disallow: /
User-Agent: Industry Cortex Webcrawler
Disallow: /
User-Agent: Indy Library
Disallow: /
User-Agent: Indy Library [NC,OR]
Disallow: /
User-Agent: indylabs_marius
Disallow: /
User-Agent: InelaBot
Disallow: /
User-Agent: Inet32 Ctrl
Disallow: /
User-Agent: inetbot
Disallow: /
User-Agent: info seeker
Disallow: /
User-Agent: InfoLink
Disallow: /
User-Agent: infomine.ucr.edu
Disallow: /
User-Agent: INFOMINE
Disallow: /
User-Agent: InfoNaviRobot
Disallow: /
User-Agent: Informant
Disallow: /
User-Agent: Infoseek Sidewinder
Disallow: /
User-Agent: InfoSeek Sidewinder
Disallow: /
User-Agent: Infoseek SideWinder
Disallow: /
User-Agent: InfoTekies
Disallow: /
User-Agent: InfoUSABot
Disallow: /
User-Agent: INGRID
Disallow: /
User-Agent: INGRID/0.1
Disallow: /
User-Agent: Inktomi
Disallow: /
User-Agent: InsightsCollector
Disallow: /
User-Agent: InsightsWorksBot
Disallow: /
User-Agent: InspireBot
Disallow: /
User-Agent: InsumaScout
Disallow: /
User-Agent: Intelix
Disallow: /
User-Agent: Intelliseek
Disallow: /
User-Agent: InterGET
Disallow: /
User-Agent: Internet Ninja
Disallow: /
User-Agent: Internet Ninja 4.0
Disallow: /
User-Agent: Internet Ninja 5.0
Disallow: /
User-Agent: Internet Ninja 6.0
Disallow: /
User-Agent: INTERNET RADIO crawler
Disallow: /
User-Agent: InternetLinkAgent
Disallow: /
User-Agent: Interseek
Disallow: /
User-Agent: IOI
Disallow: /
User-Agent: ip-web-crawler.com
Disallow: /
User-Agent: IPAdd Bot
Disallow: /
User-Agent: IpselonBot
Disallow: /
User-Agent: Ipselonbot
Disallow: /
User-Agent: Iria
Disallow: /
User-Agent: IRLbot
Disallow: /
User-Agent: Iron33/1.0.2
Disallow: /
User-Agent: Isara/Isara-
Disallow: /
User-Agent: iSearch
Disallow: /
User-Agent: iSiloX
Disallow: /
User-Agent: IstellaBot
Disallow: /
User-Agent: its-learning crawler
Disallow: /
User-Agent: IU_CSCI_B659_class_crawler
Disallow: /
User-Agent: iVia Page Fetcher
Disallow: /
User-Agent: iVia Site Checker
Disallow: /
User-Agent: iVia
Disallow: /
User-Agent: JadynAve
Disallow: /
User-Agent: JadynAveBot
Disallow: /
User-Agent: Jakarta
Disallow: /
User-Agent: Jakarta Commons-HttpClient
Disallow: /
User-Agent: Jbot
Disallow: /
User-Agent: JemmaTheTourist
Disallow: /
User-Agent: JennyBot
Disallow: /
User-Agent: Jetbot
Disallow: /
User-Agent: JetBrains Omea Pro
Disallow: /
User-Agent: JetCar
Disallow: /
User-Agent: Jim
Disallow: /
User-Agent: JoBo
Disallow: /
User-Agent: JobSpider_BA
Disallow: /
User-Agent: JOC
Disallow: /
User-Agent: JOC Web Spider
Disallow: /
User-Agent: JoeDog
Disallow: /
User-Agent: JoyScapeBot
Disallow: /
User-Agent: JSpyda
Disallow: /
User-Agent: Junut Bot
Disallow: /
User-Agent: JustView
Disallow: /
User-Agent: Jyxobot
Disallow: /
User-Agent: K.S.Bot
Disallow: /
User-Agent: KakcleBot
Disallow: /
User-Agent: kalooga
Disallow: /
User-Agent: KaloogaBot
Disallow: /
User-Agent: KATATUDO-Spider
Disallow: /
User-Agent: kbeta1
Disallow: /
User-Agent: KeepNI web site monitor
Disallow: /
User-Agent: Kenjin.Spider
Disallow: /
User-Agent: Keybot Translation-Search-Machine
Disallow: /
User-Agent: KeywenBot
Disallow: /
User-Agent: Keyword Density/0.9
Disallow: /
User-Agent: Keyword.Density
Disallow: /
User-Agent: kinjabot
Disallow: /
User-Agent: Kitenga-crawler-bot
Disallow: /
User-Agent: KiwiStatus
Disallow: /
User-Agent: kmbot-
Disallow: /
User-Agent: kmccrew Bot Search
Disallow: /
User-Agent: Knight
Disallow: /
User-Agent: KnowItAll
Disallow: /
User-Agent: Knowledge Engine
Disallow: /
User-Agent: Knowledge.com
Disallow: /
User-Agent: KoepaBot
Disallow: /
User-Agent: Koninklijke
Disallow: /
User-Agent: KrOWLer
Disallow: /
User-Agent: KSbot
Disallow: /
User-Agent: kuloko-bot
Disallow: /
User-Agent: kulturarw3
Disallow: /
User-Agent: KummHttp
Disallow: /
User-Agent: Kurzor
Disallow: /
User-Agent: Kyluka crawl
Disallow: /
User-Agent: L.webis
Disallow: /
User-Agent: Labhoo
Disallow: /
User-Agent: labourunions411
Disallow: /
User-Agent: Lachesis
Disallow: /
User-Agent: lachesis
Disallow: /
User-Agent: Lament
Disallow: /
User-Agent: LamerExterminator
Disallow: /
User-Agent: LapozzBot
Disallow: /
User-Agent: larbin
Disallow: /
User-Agent: LARBIN-EXPERIMENTAL
Disallow: /
User-Agent: LBot
Disallow: /
User-Agent: LeapTag
Disallow: /
User-Agent: LeechFTP
Disallow: /
User-Agent: LeechGet
Disallow: /
User-Agent: LetsCrawl.com
Disallow: /
User-Agent: LexiBot
Disallow: /
User-Agent: LexxeBot
Disallow: /
User-Agent: lftp
Disallow: /
User-Agent: libcrawl
Disallow: /
User-Agent: libiViaCore
Disallow: /
User-Agent: libWeb/clsHTTP
Disallow: /
User-Agent: libwww-perl
Disallow: /
User-Agent: likse
Disallow: /
User-Agent: Linguee Bot
Disallow: /
User-Agent: Link Checker
Disallow: /
User-Agent: Link Validator
Disallow: /
User-Agent: link_checker
Disallow: /
User-Agent: LinkAlarm
Disallow: /
User-Agent: linkbot
Disallow: /
User-Agent: Linkbot
Disallow: /
User-Agent: LinkCheck by Siteimprove.com
Disallow: /
User-Agent: LinkCheck Scanner
Disallow: /
User-Agent: LinkChecker
Disallow: /
User-Agent: linkdex.com
Disallow: /
User-Agent: LinkextractorPro
Disallow: /
User-Agent: LinkLint
Disallow: /
User-Agent: linklooker
Disallow: /
User-Agent: Linkman
Disallow: /
User-Agent: Links SQL
Disallow: /
User-Agent: LinkScan
Disallow: /
User-Agent: LinkScan/8.1a.Unix
Disallow: /
User-Agent: LinksManager.com_bot
Disallow: /
User-Agent: LinkSweeper
Disallow: /
User-Agent: LinkWalker
Disallow: /
User-Agent: LiteFinder
Disallow: /
User-Agent: LitlrBot
Disallow: /
User-Agent: Little Grabber at Skanktale.com
Disallow: /
User-Agent: Livelapbot
Disallow: /
User-Agent: LM Harvester
Disallow: /
User-Agent: LMQueueBot
Disallow: /
User-Agent: LNSpiderguy
Disallow: /
User-Agent: LoadTimeBot
Disallow: /
User-Agent: LocalcomBot
Disallow: /
User-Agent: locust
Disallow: /
User-Agent: LolongBot
Disallow: /
User-Agent: LookBot
Disallow: /
User-Agent: Lsearch/sondeur
Disallow: /
User-Agent: lssbot
Disallow: /
User-Agent: LT Scotland Checklink
Disallow: /
User-Agent: lwp-request
Disallow: /
User-Agent: lwp-trivial
Disallow: /
User-Agent: lwp-trivial/1.34
Disallow: /
User-Agent: LWP::Simple
Disallow: /
User-Agent: LWP/natweb-bad-link-mailer
Disallow: /
User-Agent: Lycos_Spider
Disallow: /
User-Agent: Lydia Entity Spider
Disallow: /
User-Agent: LynnBot
Disallow: /
User-Agent: Lytranslate
Disallow: /
User-Agent: Mag-Net
Disallow: /
User-Agent: Magnet
Disallow: /
User-Agent: magpie-crawler
Disallow: /
User-Agent: Magus Bot
Disallow: /
User-Agent: MAINSEEK_BOT
Disallow: /
User-Agent: Mammoth
Disallow: /
User-Agent: Map robot
Disallow: /
User-Agent: MarkWatch
Disallow: /
User-Agent: MaSagool
Disallow: /
User-Agent: masidani_bot_
Disallow: /
User-Agent: Mass Downloader
Disallow: /
User-Agent: Mass Downloader/2.2
Disallow: /
User-Agent: Mata Hari
Disallow: /
User-Agent: Mata.Hari
Disallow: /
User-Agent: matentzn at cs dot man dot ac dot uk
Disallow: /
User-Agent: maxamine.com--robot
Disallow: /
User-Agent: maxamine.com-robot
Disallow: /
User-Agent: maxomobot
Disallow: /
User-Agent: McBot
Disallow: /
User-Agent: medrabbit
Disallow: /
User-Agent: Megite
Disallow: /
User-Agent: MemacBot
Disallow: /
User-Agent: Memo
Disallow: /
User-Agent: MendeleyBot
Disallow: /
User-Agent: Mercator-
Disallow: /
User-Agent: mercuryboard_user_agent_sql_injection.nasl
Disallow: /
User-Agent: metacarta
Disallow: /
User-Agent: Metaeuro Web Search
Disallow: /
User-Agent: Metager2
Disallow: /
User-Agent: metager2-verification-bot
Disallow: /
User-Agent: MetaGloss
Disallow: /
User-Agent: metal crawler
Disallow: /
User-Agent: metaquerier.cs.uiuc.edu
Disallow: /
User-Agent: METASpider
Disallow: /
User-Agent: Metaspinner
Disallow: /
User-Agent: MetaURI API/2.0 metauri.com
Disallow: /
User-Agent: MetaURI API/2.0 +metauri.com
Disallow: /
User-Agent: MFcrawler
Disallow: /
User-Agent: MFHttpScan
Disallow: /
User-Agent: MIDown tool
Disallow: /
User-Agent: MIIxpc
Disallow: /
User-Agent: MIIxpc/4.2
Disallow: /
User-Agent: mini-robot
Disallow: /
User-Agent: minibot
Disallow: /
User-Agent: miniRank
Disallow: /
User-Agent: Mirror
Disallow: /
User-Agent: Missigua Locator
Disallow: /
User-Agent: Mister PiX
Disallow: /
User-Agent: Mister Pix II 2.01
Disallow: /
User-Agent: Mister Pix II 2.02a
Disallow: /
User-Agent: Mister PiX version.dll
Disallow: /
User-Agent: Mister.PiX
Disallow: /
User-Agent: Miva
Disallow: /
User-Agent: MJ12bot
Disallow: /
User-Agent: mnoGoSearch
Disallow: /
User-Agent: MnoGoSearch
Disallow: /
User-Agent: mod_accessibility
Disallow: /
User-Agent: moduna.com
Disallow: /
User-Agent: moget
Disallow: /
User-Agent: moget/2.1
Disallow: /
User-Agent: MojeekBot
Disallow: /
User-Agent: MonkeyCrawl
Disallow: /
User-Agent: MOSES
Disallow: /
User-Agent: mowserbot
Disallow: /
User-Agent: MQbot
Disallow: /
User-Agent: MSE360
Disallow: /
User-Agent: MSIndianWebcrawl
Disallow: /
User-Agent: MSMOBOT
Disallow: /
User-Agent: msnbot-products
Disallow: /
User-Agent: MSNPTC
Disallow: /
User-Agent: MSRBOT
Disallow: /
User-Agent: MT-Soft
Disallow: /
User-Agent: MultiText
Disallow: /
User-Agent: My_Little_SearchEngine_Project
Disallow: /
User-Agent: my-heritrix-crawler
Disallow: /
User-Agent: MyApp
Disallow: /
User-Agent: MYCOMPANYBOT
Disallow: /
User-Agent: mycrawler
Disallow: /
User-Agent: MyEngines-US-Bot
Disallow: /
User-Agent: MyFamilyBot
Disallow: /
User-Agent: Myra
Disallow: /
User-Agent: nabot
Disallow: /
User-Agent: nabot_
Disallow: /
User-Agent: Najdi.si
Disallow: /
User-Agent: Nambu
Disallow: /
User-Agent: NAMEPROTECT
Disallow: /
User-Agent: NASA Search
Disallow: /
User-Agent: NatchCVS
Disallow: /
User-Agent: National Park Service Dan Buan
Disallow: /
User-Agent: naver
Disallow: /
User-Agent: naverbookmarkcrawler
Disallow: /
User-Agent: NaverBot_dloader
Disallow: /
User-Agent: NaverBot-
Disallow: /
User-Agent: NaverBot
Disallow: /
User-Agent: Navroad
Disallow: /
User-Agent: NearSite
Disallow: /
User-Agent: NEC-MeshExplorer
Disallow: /
User-Agent: NeoScioCrawler
Disallow: /
User-Agent: NerdByNature.Bot
Disallow: /
User-Agent: NerdyBot
Disallow: /
User-Agent: Nerima-crawl-
Disallow: /
User-Agent: Nessus
Disallow: /
User-Agent: NESSUS::SOAP
Disallow: /
User-Agent: nestReader
Disallow: /
User-Agent: Net Vampire
Disallow: /
User-Agent: Net Vampire/3.0
Disallow: /
User-Agent: Net::Trackback
Disallow: /
User-Agent: NetAnts
Disallow: /
User-Agent: NetAnts/1.10
Disallow: /
User-Agent: NetAnts/1.23
Disallow: /
User-Agent: NetAnts/1.24
Disallow: /
User-Agent: NetAnts/1.25
Disallow: /
User-Agent: NetCarta CyberPilot Pro
Disallow: /
User-Agent: Netcraft
Disallow: /
User-Agent: NetID.com Bot
Disallow: /
User-Agent: NetMechanic
Disallow: /
User-Agent: Netprospector
Disallow: /
User-Agent: NetResearchServer
Disallow: /
User-Agent: NetSeer
Disallow: /
User-Agent: NetSeer crawler
Disallow: /
User-Agent: NetSeer crawler/2.0
Disallow: /
User-Agent: NetShift=
Disallow: /
User-Agent: NetSongBot
Disallow: /
User-Agent: Netsparker
Disallow: /
User-Agent: NetSpider
Disallow: /
User-Agent: NetSrcherP
Disallow: /
User-Agent: NetZIP
Disallow: /
User-Agent: NewMedhunt
Disallow: /
User-Agent: news bot
Disallow: /
User-Agent: News_Search_App
Disallow: /
User-Agent: NewsGatherer
Disallow: /
User-Agent: Newsgroupreporter
Disallow: /
User-Agent: NewsTroveBot
Disallow: /
User-Agent: NextGenSearchBot
Disallow: /
User-Agent: nextthing.org
Disallow: /
User-Agent: NG
Disallow: /
User-Agent: nicebot
Disallow: /
User-Agent: NICErsPRO
Disallow: /
User-Agent: niki-bot
Disallow: /
User-Agent: NimbleCrawler
Disallow: /
User-Agent: nimbus-1
Disallow: /
User-Agent: ninetowns
Disallow: /
User-Agent: Ninja
Disallow: /
User-Agent: NjuiceBot
Disallow: /
User-Agent: NLese
Disallow: /
User-Agent: NLESE USEPA
Disallow: /
User-Agent: Nogate
Disallow: /
User-Agent: Norbert the Spider
Disallow: /
User-Agent: NoteworthyBot
Disallow: /
User-Agent: NPbot
Disallow: /
User-Agent: NPBot
Disallow: /
User-Agent: NPBot-
Disallow: /
User-Agent: NRCan intranet crawler
Disallow: /
User-Agent: NSDL_Search_Bot
Disallow: /
User-Agent: nu_tch-princeton/Nu_tch
Disallow: /
User-Agent: nuggetize.com BOT
Disallow: /
User-Agent: nuSearch Spider
Disallow: /
User-Agent: NuSearch Spider
Disallow: /
User-Agent: Nusearch Spider
Disallow: /
User-Agent: Nutch
Disallow: /
User-Agent: nutch
Disallow: /
User-Agent: nutch1/huntsman
Disallow: /
User-Agent: NutchCVS
Disallow: /
User-Agent: NutchOrg
Disallow: /
User-Agent: NWSpider
Disallow: /
User-Agent: Nymesis
Disallow: /
User-Agent: nys-crawler
Disallow: /
User-Agent: ObjectsSearch
Disallow: /
User-Agent: oBot
Disallow: /
User-Agent: Obvius external linkcheck
Disallow: /
User-Agent: Ocelli
Disallow: /
User-Agent: Octopus
Disallow: /
User-Agent: ODP entries t_st
Disallow: /
User-Agent: oegp v.
Disallow: /
User-Agent: Offline Explorer
Disallow: /
User-Agent: Offline Explorer/1.2
Disallow: /
User-Agent: Offline Explorer/1.4
Disallow: /
User-Agent: Offline Explorer/1.6
Disallow: /
User-Agent: Offline Explorer/1.7
Disallow: /
User-Agent: Offline Explorer/1.9
Disallow: /
User-Agent: Offline Explorer/2.0
Disallow: /
User-Agent: Offline Explorer/2.1
Disallow: /
User-Agent: Offline Explorer/2.3
Disallow: /
User-Agent: Offline Explorer/2.4
Disallow: /
User-Agent: Offline Explorer/2.5
Disallow: /
User-Agent: Offline Navigator
Disallow: /
User-Agent: Offline.Explorer
Disallow: /
User-Agent: OGspider
Disallow: /
User-Agent: OmiExplorer_Bot
Disallow: /
User-Agent: OmniExplorer_Bot
Disallow: /
User-Agent: OmniFind
Disallow: /
User-Agent: omnifind
Disallow: /
User-Agent: OmniWeb
Disallow: /
User-Agent: OnetSzukaj
Disallow: /
User-Agent: online link validator
Disallow: /
User-Agent: OOZBOT
Disallow: /
User-Agent: Openbot
Disallow: /
User-Agent: Openfind
Disallow: /
User-Agent: Openfind data gatherer
Disallow: /
User-Agent: OpenIntelligenceData
Disallow: /
User-Agent: OpenISearch
Disallow: /
User-Agent: OpenLink Virtuoso RDF crawler
Disallow: /
User-Agent: OpenSearchServer_Bot
Disallow: /
User-Agent: OpiDig
Disallow: /
User-Agent: optidiscover
Disallow: /
User-Agent: Oracle Secure Enterprise Search
Disallow: /
User-Agent: Oracle Ultra Search
Disallow: /
User-Agent: OrangeBot
Disallow: /
User-Agent: ORISBot
Disallow: /
User-Agent: ornl_crawler_1
Disallow: /
User-Agent: ORNL_Mercury
Disallow: /
User-Agent: osis-project.jp
Disallow: /
User-Agent: OsO
Disallow: /
User-Agent: OutfoxBot
Disallow: /
User-Agent: OutfoxMelonBot
Disallow: /
User-Agent: OWLER-BOT
Disallow: /
User-Agent: owsBot
Disallow: /
User-Agent: ozelot
Disallow: /
User-Agent: P3P Client
Disallow: /
User-Agent: page_verifier
Disallow: /
User-Agent: PageBitesHyperBot
Disallow: /
User-Agent: Pagebull
Disallow: /
User-Agent: PageDown
Disallow: /
User-Agent: PageFetcher
Disallow: /
User-Agent: PageGrabber
Disallow: /
User-Agent: PagePeeker
Disallow: /
User-Agent: PageRank Monitor
Disallow: /
User-Agent: pamsnbot.htm
Disallow: /
User-Agent: Panopy Bot
Disallow: /
User-Agent: panscient.com
Disallow: /
User-Agent: Pansophica
Disallow: /
User-Agent: Papa Foto
Disallow: /
User-Agent: PaperLiBot
Disallow: /
User-Agent: PaperLiBot/2.1
Disallow: /
User-Agent: parasite
Disallow: /
User-Agent: parsijoo
Disallow: /
User-Agent: Pathtraq
Disallow: /
User-Agent: Pattern
Disallow: /
User-Agent: Patwebbot
Disallow: /
User-Agent: pavuk
Disallow: /
User-Agent: PaxleFramework
Disallow: /
User-Agent: PBBOT
Disallow: /
User-Agent: pcBrowser
Disallow: /
User-Agent: pd-crawler
Disallow: /
User-Agent: penthesila
Disallow: /
User-Agent: perform_crawl
Disallow: /
User-Agent: PerMan
Disallow: /
User-Agent: PerMan Surfer
Disallow: /
User-Agent: personal ultimate crawler
Disallow: /
User-Agent: PHP version tracker
Disallow: /
User-Agent: PHPCrawl
Disallow: /
User-Agent: PhpDig
Disallow: /
User-Agent: PicoSearch
Disallow: /
User-Agent: PIENO robot
Disallow: /
User-Agent: pipBot
Disallow: /
User-Agent: pipeLiner
Disallow: /
User-Agent: Pita
Disallow: /
User-Agent: pixfinder
Disallow: /
User-Agent: PiyushBot
Disallow: /
User-Agent: plaNETWORK Bot Search
Disallow: /
User-Agent: Plucker
Disallow: /
User-Agent: Plukkie
Disallow: /
User-Agent: Plumtree 6.0
Disallow: /
User-Agent: Pockey
Disallow: /
User-Agent: Pockey-GetHTML
Disallow: /
User-Agent: PoCoHTTP
Disallow: /
User-Agent: pogodak.ba
Disallow: /
User-Agent: Pogodak.co.yu
Disallow: /
User-Agent: Poirot
Disallow: /
User-Agent: polybot
Disallow: /
User-Agent: Pompos
Disallow: /
User-Agent: Poodle predictor
Disallow: /
User-Agent: PopScreenBot
Disallow: /
User-Agent: PostPost
Disallow: /
User-Agent: PrivacyFinder
Disallow: /
User-Agent: ProjectWF-java-test-crawler
Disallow: /
User-Agent: ProPowerBot/2.14
Disallow: /
User-Agent: ProWebWalker
Disallow: /
User-Agent: Proxem WebSearch
Disallow: /
User-Agent: proximic
Disallow: /
User-Agent: PROXY crawler
Disallow: /
User-Agent: psbot
Disallow: /
User-Agent: PsBot
Disallow: /
User-Agent: psbot-page
Disallow: /
User-Agent: PSS-Bot
Disallow: /
User-Agent: psycheclone
Disallow: /
User-Agent: pub-crawler
Disallow: /
User-Agent: pucl
Disallow: /
User-Agent: pulseBot (pulse Web Miner)
Disallow: /
User-Agent: Pump
Disallow: /
User-Agent: PWeBot
Disallow: /
User-Agent: Python-urllib
Disallow: /
User-Agent: pythonic-crawler
Disallow: /
User-Agent: PythonWikipediaBot
Disallow: /
User-Agent: q1
Disallow: /
User-Agent: QEAVis agent
Disallow: /
User-Agent: QFKBot
Disallow: /
User-Agent: qualidade
Disallow: /
User-Agent: Qualidator.com Bot
Disallow: /
User-Agent: QuepasaCreep
Disallow: /
User-Agent: QueryN Metasearch
Disallow: /
User-Agent: QueryN.Metasearch
Disallow: /
User-Agent: quest.durato
Disallow: /
User-Agent: Quintura-Crw
Disallow: /
User-Agent: QunarBot
Disallow: /
User-Agent: Qweery_robot.txt_CheckBot
Disallow: /
User-Agent: QweeryBot
Disallow: /
User-Agent: r2iBot
Disallow: /
User-Agent: R6_CommentReader
Disallow: /
User-Agent: R6_FeedFetcher
Disallow: /
User-Agent: R6_VoteReader
Disallow: /
User-Agent: RaBot
Disallow: /
User-Agent: Radian6
Disallow: /
User-Agent: radian6_linkcheck
Disallow: /
User-Agent: Radiation Retriever 1.1
Disallow: /
User-Agent: RAMPyBot
Disallow: /
User-Agent: RankurBot/Rankur
Disallow: /
User-Agent: Rational SiteCheck
Disallow: /
User-Agent: RcStartBot
Disallow: /
User-Agent: RealDownload
Disallow: /
User-Agent: RealDownload/4.0.0.40
Disallow: /
User-Agent: RealDownload/4.0.0.41
Disallow: /
User-Agent: RealDownload/4.0.0.42
Disallow: /
User-Agent: Reaper
Disallow: /
User-Agent: REBI-Shoveler
Disallow: /
User-Agent: REBI-shoveler
Disallow: /
User-Agent: Recorder
Disallow: /
User-Agent: RedBot
Disallow: /
User-Agent: RedCarpet
Disallow: /
User-Agent: ReGet
Disallow: /
User-Agent: RepoMonkey
Disallow: /
User-Agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-Agent: research robot
Disallow: /
User-Agent: Riddler
Disallow: /
User-Agent: RIIGHTBOT/RIIGHT-
Disallow: /
User-Agent: RiseNetBot
Disallow: /
User-Agent: RiverGlassScanner
Disallow: /
User-Agent: RiverglassScanner
Disallow: /
User-Agent: RMA
Disallow: /
User-Agent: RoboPal
Disallow: /
User-Agent: Robosourcer
Disallow: /
User-Agent: Robot
Disallow: /
User-Agent: ROBOT
Disallow: /
User-Agent: robot
Disallow: /
User-Agent: robotek
Disallow: /
User-Agent: robots
Disallow: /
User-Agent: Robozilla
Disallow: /
User-Agent: rogerBot
Disallow: /
User-Agent: Rome Client
Disallow: /
User-Agent: Rondello
Disallow: /
User-Agent: Rotondo
Disallow: /
User-Agent: Roverbot
Disallow: /
User-Agent: RPT-HTTPClient
Disallow: /
User-Agent: rtgibot
Disallow: /
User-Agent: RufusBot
Disallow: /
User-Agent: Runnk online rss reader
Disallow: /
User-Agent: Runnk RSS aggregator
Disallow: /
User-Agent: s~stremor-crawler
Disallow: /
User-Agent: S2Bot
Disallow: /
User-Agent: SafariBookmarkChecker
Disallow: /
User-Agent: SafetyNet Robot 0.1
Disallow: /
User-Agent: SaladSpoon/ShopSalad
Disallow: /
User-Agent: Sapienti/Indexer
Disallow: /
User-Agent: SBIder
Disallow: /
User-Agent: SBL-BOT
Disallow: /
User-Agent: SCFCrawler/Nutch-1.8
Disallow: /
User-Agent: Scich
Disallow: /
User-Agent: ScientificCommons.org
Disallow: /
User-Agent: ScollSpider
Disallow: /
User-Agent: ScooperBot
Disallow: /
User-Agent: Scooter
Disallow: /
User-Agent: ScoutJet
Disallow: /
User-Agent: ScrapeBox
Disallow: /
User-Agent: Scrapy
Disallow: /
User-Agent: SCrawlTest
Disallow: /
User-Agent: Scrubby
Disallow: /
User-Agent: scSpider
Disallow: /
User-Agent: Scumbot
Disallow: /
User-Agent: Search Publisher
Disallow: /
User-Agent: search x-bot
Disallow: /
User-Agent: Search-Channel
Disallow: /
User-Agent: Search-Engine-Studio
Disallow: /
User-Agent: search.KumKie.com
Disallow: /
User-Agent: search.msn.com/msnbot.htm
Disallow: /
User-Agent: search.updated.com
Disallow: /
User-Agent: search.usgs.gov
Disallow: /
User-Agent: Searcharoo.NET
Disallow: /
User-Agent: SearchBlox
Disallow: /
User-Agent: searchbot
Disallow: /
User-Agent: SearchBot
Disallow: /
User-Agent: searchengine
Disallow: /
User-Agent: searchhippo.com
Disallow: /
User-Agent: SearchIt-Bot
Disallow: /
User-Agent: searchmarking
Disallow: /
User-Agent: searchmarks
Disallow: /
User-Agent: searchmee_v
Disallow: /
User-Agent: Searchmee! Spider
Disallow: /
User-Agent: searchmining
Disallow: /
User-Agent: SearchnowBot_v1
Disallow: /
User-Agent: searchpreview
Disallow: /
User-Agent: SearchSpider.com
Disallow: /
User-Agent: SearQuBot/SearQuBot v1.0
Disallow: /
User-Agent: SEB Spider
Disallow: /
User-Agent: Seekbot
Disallow: /
User-Agent: Seeker.lookseek.com
Disallow: /
User-Agent: SeeqBot
Disallow: /
User-Agent: seeqpod-vertical-crawler
Disallow: /
User-Agent: Selflinkchecker
Disallow: /
User-Agent: Semager
Disallow: /
User-Agent: semanticdiscovery
Disallow: /
User-Agent: Semantifire1
Disallow: /
User-Agent: semisearch
Disallow: /
User-Agent: SemrushBot
Disallow: /
User-Agent: SEOENGWorldBot
Disallow: /
User-Agent: SeznamBot
Disallow: /
User-Agent: SeznamBot/2.0
Disallow: /
User-Agent: SeznamBot/3.2-test1
Disallow: /
User-Agent: ShablastBot
Disallow: /
User-Agent: ShadowWebAnalyzer
Disallow: /
User-Agent: Shareaza
Disallow: /
User-Agent: Shelob
Disallow: /
User-Agent: sherlock
Disallow: /
User-Agent: ShopWiki
Disallow: /
User-Agent: ShowLinks
Disallow: /
User-Agent: ShowyouBot
Disallow: /
User-Agent: siclab
Disallow: /
User-Agent: silk
Disallow: /
User-Agent: Siphon
Disallow: /
User-Agent: SiteArchive
Disallow: /
User-Agent: SiteCheck-sitecrawl by Siteimprove.com
Disallow: /
User-Agent: sitecheck.internetseer.com
Disallow: /
User-Agent: SiteFinder
Disallow: /
User-Agent: SiteGuardBot
Disallow: /
User-Agent: SiteOrbiter
Disallow: /
User-Agent: SiteSnagger
Disallow: /
User-Agent: SiteSucker
Disallow: /
User-Agent: SiteSweeper
Disallow: /
User-Agent: SiteXpert
Disallow: /
User-Agent: SkimBot
Disallow: /
User-Agent: SkimWordsBot
Disallow: /
User-Agent: SkreemRBot
Disallow: /
User-Agent: Skywalker
Disallow: /
User-Agent: Sleipnir
Disallow: /
User-Agent: slow-crawler
Disallow: /
User-Agent: SlySearch
Disallow: /
User-Agent: smart-crawler
Disallow: /
User-Agent: SmartDownload
Disallow: /
User-Agent: Smarte Bot
Disallow: /
User-Agent: smartwit.com
Disallow: /
User-Agent: Snake
Disallow: /
User-Agent: snap.com beta crawler
Disallow: /
User-Agent: Snapbot
Disallow: /
User-Agent: SnapPreviewBot
Disallow: /
User-Agent: Snappy
Disallow: /
User-Agent: snookit/Snookit
Disallow: /
User-Agent: Snooper/b97_01
Disallow: /
User-Agent: Snoopy
Disallow: /
User-Agent: SocSciBot
Disallow: /
User-Agent: SOFT411 Directory
Disallow: /
User-Agent: sogou
Disallow: /
User-Agent: Sogou
Disallow: /
User-Agent: sohu agent
Disallow: /
User-Agent: sohu-search
Disallow: /
User-Agent: Sokitomi crawl
Disallow: /
User-Agent: Solbot/1.0 LWP/5.07
Disallow: /
User-Agent: sootle
Disallow: /
User-Agent: Sosospider
Disallow: /
User-Agent: Space Bison
Disallow: /
User-Agent: Space Fung
Disallow: /
User-Agent: SpaceBison
Disallow: /
User-Agent: SpankBot
Disallow: /
User-Agent: spanner
Disallow: /
User-Agent: Spanner/1.0
Disallow: /
User-Agent: Spatineo Monitor Controller
Disallow: /
User-Agent: Spatineo Serval Controller
Disallow: /
User-Agent: Spatineo Serval GetMapBot
Disallow: /
User-Agent: special_archiver
Disallow: /
User-Agent: Speedy Spider
Disallow: /
User-Agent: SpeedySpider
Disallow: /
User-Agent: Sphere Scout
Disallow: /
User-Agent: Sphere Scout&v
Disallow: /
User-Agent: Sphider
Disallow: /
User-Agent: Sphider2
Disallow: /
User-Agent: spider
Disallow: /
User-Agent: Spider
Disallow: /
User-Agent: Spider.TerraNautic.net
Disallow: /
User-Agent: SpiderEngine
Disallow: /
User-Agent: SpiderKU
Disallow: /
User-Agent: SpiderMan
Disallow: /
User-Agent: Spinn3r
Disallow: /
User-Agent: Spinne
Disallow: /
User-Agent: sportcrew-Bot
Disallow: /
User-Agent: spyder3.microsys.com
Disallow: /
User-Agent: SQ Webscanner
Disallow: /
User-Agent: sqlmap
Disallow: /
User-Agent: Squid-Prefetch
Disallow: /
User-Agent: SquidClamAV_Redirector
Disallow: /
User-Agent: Sqworm
Disallow: /
User-Agent: SrevBot
Disallow: /
User-Agent: sslbot
Disallow: /
User-Agent: SSM Agent
Disallow: /
User-Agent: StackRambler
Disallow: /
User-Agent: StarDownloader
Disallow: /
User-Agent: statbot
Disallow: /
User-Agent: statcrawler
Disallow: /
User-Agent: statedept-crawler
Disallow: /
User-Agent: Steeler
Disallow: /
User-Agent: STEGMANN-Bot
Disallow: /
User-Agent: stero
Disallow: /
User-Agent: Stripper
Disallow: /
User-Agent: Stumbler
Disallow: /
User-Agent: suchclip
Disallow: /
User-Agent: Sucker
Disallow: /
User-Agent: SumeetBot
Disallow: /
User-Agent: SumitBot
Disallow: /
User-Agent: SummizeBot
Disallow: /
User-Agent: SummizeFeedReader
Disallow: /
User-Agent: Sunrise XP
Disallow: /
User-Agent: SuperBot
Disallow: /
User-Agent: superbot.com
Disallow: /
User-Agent: SuperBot/3.0
Disallow: /
User-Agent: SuperBot/3.1
Disallow: /
User-Agent: SuperHTTP
Disallow: /
User-Agent: SuperLumin Downloader
Disallow: /
User-Agent: SuperPagesBot
Disallow: /
User-Agent: Supybot
Disallow: /
User-Agent: SURF
Disallow: /
User-Agent: Surfbot
Disallow: /
User-Agent: SurfControl
Disallow: /
User-Agent: SurveyBot
Disallow: /
User-Agent: suzuran
Disallow: /
User-Agent: SWEBot
Disallow: /
User-Agent: swish-e
Disallow: /
User-Agent: SygolBot
Disallow: /
User-Agent: SynapticWalker
Disallow: /
User-Agent: Syntryx ANT Scout Chassis Pheromone
Disallow: /
User-Agent: SystemSearch-robot
Disallow: /
User-Agent: Szukacz
Disallow: /
User-Agent: Szukacz/1.4
Disallow: /
User-Agent: T-H-U-N-D-E-R-S-T-O-N-E
Disallow: /
User-Agent: Tailrank
Disallow: /
User-Agent: tAkeOut
Disallow: /
User-Agent: Talkro Web-Shot
Disallow: /
User-Agent: TAMU_CRAWLER
Disallow: /
User-Agent: TapuzBot
Disallow: /
User-Agent: Tarantula
Disallow: /
User-Agent: targetblaster.com
Disallow: /
User-Agent: TargetYourNews.com bot
Disallow: /
User-Agent: TAUSDataBot
Disallow: /
User-Agent: taxinomiabot
Disallow: /
User-Agent: TeamSoft WinInet Component
Disallow: /
User-Agent: Tecomi Bot
Disallow: /
User-Agent: TeezirBot
Disallow: /
User-Agent: Teleport
Disallow: /
User-Agent: Teleport Pro
Disallow: /
User-Agent: TeleportPro
Disallow: /
User-Agent: Telesoft
Disallow: /
User-Agent: Teradex Mapper
Disallow: /
User-Agent: TERAGRAM_CRAWLER
Disallow: /
User-Agent: TerrawizBot
Disallow: /
User-Agent: TestBot
Disallow: /
User-Agent: testbot
Disallow: /
User-Agent: testBOT
Disallow: /
User-Agent: testing of bot
Disallow: /
User-Agent: TextBot
Disallow: /
User-Agent: thatrobotsite.com
Disallow: /
User-Agent: The Dyslexalizer
Disallow: /
User-Agent: The Intraformant
Disallow: /
User-Agent: The.Intraformant
Disallow: /
User-Agent: TheNomad
Disallow: /
User-Agent: Theophrastus
Disallow: /
User-Agent: theusefulbot
Disallow: /
User-Agent: TheUsefulbot_
Disallow: /
User-Agent: ThumbBot
Disallow: /
User-Agent: Thumbnail.CZ robot
Disallow: /
User-Agent: thumbshots-de-bot
Disallow: /
User-Agent: tigerbot
Disallow: /
User-Agent: TightTwatBot
Disallow: /
User-Agent: TinEye
Disallow: /
User-Agent: Titan
Disallow: /
User-Agent: TITAN
Disallow: /
User-Agent: to-dress_ru_bot_
Disallow: /
User-Agent: to-night-Bot
Disallow: /
User-Agent: toCrawl/UrlDispatcher
Disallow: /
User-Agent: Topicalizer
Disallow: /
User-Agent: topicblogs
Disallow: /
User-Agent: Toplistbot
Disallow: /
User-Agent: TopServer PHP
Disallow: /
User-Agent: topyx-crawler
Disallow: /
User-Agent: Touche
Disallow: /
User-Agent: TourlentaScanner
Disallow: /
User-Agent: TPSystem
Disallow: /
User-Agent: TRAAZI
Disallow: /
User-Agent: TranSGeniKBot
Disallow: /
User-Agent: travel-search
Disallow: /
User-Agent: TravelBot
Disallow: /
User-Agent: TravelLazerBot
Disallow: /
User-Agent: Treezy
Disallow: /
User-Agent: TREX
Disallow: /
User-Agent: TridentSpider
Disallow: /
User-Agent: Trovator
Disallow: /
User-Agent: True_Robot
Disallow: /
User-Agent: tScholarsBot
Disallow: /
User-Agent: TSM Translation-Search-Machine
Disallow: /
User-Agent: TsWebBot
Disallow: /
User-Agent: TulipChain
Disallow: /
User-Agent: turingos
Disallow: /
User-Agent: TurnitinBot
Disallow: /
User-Agent: TurnitinBot/1.5
Disallow: /
User-Agent: TutorGigBot
Disallow: /
User-Agent: TweetedTimes Bot
Disallow: /
User-Agent: TweetmemeBot
Disallow: /
User-Agent: TwengaBot
Disallow: /
User-Agent: TwengaBot-Discover
Disallow: /
User-Agent: Twiceler
Disallow: /
User-Agent: Twikle
Disallow: /
User-Agent: twinuffbot
Disallow: /
User-Agent: Twisted PageGetter
Disallow: /
User-Agent: Twitturls
Disallow: /
User-Agent: Twitturly
Disallow: /
User-Agent: TygoBot
Disallow: /
User-Agent: TygoProwler
Disallow: /
User-Agent: Typhoeus
Disallow: /
User-Agent: U.S. Government Printing Office
Disallow: /
User-Agent: uberbot
Disallow: /
User-Agent: ucb-nutch
Disallow: /
User-Agent: UdmSearch
Disallow: /
User-Agent: UFAM-crawler-
Disallow: /
User-Agent: Ultraseek
Disallow: /
User-Agent: UnChaos
Disallow: /
User-Agent: unchaos_crawler_
Disallow: /
User-Agent: UnisterBot
Disallow: /
User-Agent: Unitek UniEngine
Disallow: /
User-Agent: UniversalSearch
Disallow: /
User-Agent: UnwindFetchor
Disallow: /
User-Agent: UofTDB_experiment
Disallow: /
User-Agent: updated
Disallow: /
User-Agent: URL Control
Disallow: /
User-Agent: url_gather
Disallow: /
User-Agent: URL-Checker
Disallow: /
User-Agent: URLAppendBot
Disallow: /
User-Agent: URLBlaze
Disallow: /
User-Agent: urlchecker
Disallow: /
User-Agent: urlck/1.2.3
Disallow: /
User-Agent: UrlDispatcher
Disallow: /
User-Agent: URLSpiderPro
Disallow: /
User-Agent: URLy Warning
Disallow: /
User-Agent: URLy.Warning
Disallow: /
User-Agent: USAF AFKN K2SPIDER
Disallow: /
User-Agent: usasearch
Disallow: /
User-Agent: USS-Cosmix
Disallow: /
User-Agent: USyd-NLP-Spider
Disallow: /
User-Agent: Vacobot
Disallow: /
User-Agent: Vacuum
Disallow: /
User-Agent: VadixBot
Disallow: /
User-Agent: Vagabondo
Disallow: /
User-Agent: Validator
Disallow: /
User-Agent: Valkyrie
Disallow: /
User-Agent: vBSEO
Disallow: /
User-Agent: VCI
Disallow: /
User-Agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-Agent: VerbstarBot
Disallow: /
User-Agent: VeriCiteCrawler
Disallow: /
User-Agent: Verifactrola
Disallow: /
User-Agent: Verity-URL-Gateway
Disallow: /
User-Agent: Vermut
Disallow: /
User-Agent: vermut
Disallow: /
User-Agent: versus crawler
Disallow: /
User-Agent: versus.integis.ch
Disallow: /
User-Agent: viasarchivinginformation.html
Disallow: /
User-Agent: VIP
Disallow: /
User-Agent: VIPr
Disallow: /
User-Agent: virus_detector
Disallow: /
User-Agent: virus-detector
Disallow: /
User-Agent: VisBot
Disallow: /
User-Agent: Vishal For CLIA
Disallow: /
User-Agent: VisWeb
Disallow: /
User-Agent: Vital Search'n Urchin
Disallow: /
User-Agent: vlad
Disallow: /
User-Agent: vlsearch
Disallow: /
User-Agent: VMBot
Disallow: /
User-Agent: VocusBot
Disallow: /
User-Agent: VoidEYE
Disallow: /
User-Agent: VoilaBot
Disallow: /
User-Agent: Vortex
Disallow: /
User-Agent: voyager-hc
Disallow: /
User-Agent: voyager-partner-deep
Disallow: /
User-Agent: voyager
Disallow: /
User-Agent: VSE
Disallow: /
User-Agent: vspider
Disallow: /
User-Agent: W3C_Unicorn
Disallow: /
User-Agent: W3C-WebCon
Disallow: /
User-Agent: w3m
Disallow: /
User-Agent: w3search
Disallow: /
User-Agent: wacbot
Disallow: /
User-Agent: wastrix
Disallow: /
User-Agent: Water Conserve Portal
Disallow: /
User-Agent: Water Conserve Spider
Disallow: /
User-Agent: WatzBot
Disallow: /
User-Agent: wauuu engine/Wauuu
Disallow: /
User-Agent: Wavefire
Disallow: /
User-Agent: Waypath
Disallow: /
User-Agent: Wazzup
Disallow: /
User-Agent: Wazzup1.0.4800
Disallow: /
User-Agent: wbdbot
Disallow: /
User-Agent: Web CEO Online robot
Disallow: /
User-Agent: web crawler
Disallow: /
User-Agent: Web Downloader
Disallow: /
User-Agent: Web Image Collector
Disallow: /
User-Agent: Web Link Validator
Disallow: /
User-Agent: Web Magnet
Disallow: /
User-Agent: Web Site Downloader
Disallow: /
User-Agent: Web Sucker
Disallow: /
User-Agent: web-agent
Disallow: /
User-Agent: Web-Sniffer
Disallow: /
User-Agent: Web.Image.Collector
Disallow: /
User-Agent: WebaltBot
Disallow: /
User-Agent: WebAuto
Disallow: /
User-Agent: WebAuto/3.40
Disallow: /
User-Agent: WebBandit
Disallow: /
User-Agent: webbandit
Disallow: /
User-Agent: WebBandit/3.50
Disallow: /
User-Agent: WebBOT
Disallow: /
User-Agent: webbot
Disallow: /
User-Agent: WebBot
Disallow: /
User-Agent: webbul-bot
Disallow: /
User-Agent: WebCapture
Disallow: /
User-Agent: WebCapture 2.0
Disallow: /
User-Agent: webcheck 1
Disallow: /
User-Agent: Webclipping.com
Disallow: /
User-Agent: webcollage
Disallow: /
User-Agent: WebCopier
Disallow: /
User-Agent: WebCopier v.2.2
Disallow: /
User-Agent: WebCopier v2.5
Disallow: /
User-Agent: WebCopier v2.6
Disallow: /
User-Agent: WebCopier v2.7a
Disallow: /
User-Agent: WebCopier v2.8
Disallow: /
User-Agent: WebCopier v3.0
Disallow: /
User-Agent: WebCopier v3.0.1
Disallow: /
User-Agent: WebCopier v3.2
Disallow: /
User-Agent: WebCopier v3.2a
Disallow: /
User-Agent: WebCopy
Disallow: /
User-Agent: WebCorp
Disallow: /
User-Agent: webcrawl.net
Disallow: /
User-Agent: WebCrawler
Disallow: /
User-Agent: webcrawler
Disallow: /
User-Agent: WebCrawler/3.0 Robot libwww/5.0a
Disallow: /
User-Agent: WebDownloader for X
Disallow: /
User-Agent: Webdup
Disallow: /
User-Agent: WebEMailExtrac
Disallow: /
User-Agent: WebEnhancer
Disallow: /
User-Agent: WebFetch
Disallow: /
User-Agent: webfetch
Disallow: /
User-Agent: WebFetcher/0.8,
Disallow: /
User-Agent: WebGather
Disallow: /
User-Agent: WebGo IS
Disallow: /
User-Agent: webGobbler
Disallow: /
User-Agent: WebImages
Disallow: /
User-Agent: Webinator-search2.fasthealth.com
Disallow: /
User-Agent: Webinator-WBI
Disallow: /
User-Agent: WebIndex
Disallow: /
User-Agent: WebIndexer
Disallow: /
User-Agent: weblayers/0.0
Disallow: /
User-Agent: WebLeacher
Disallow: /
User-Agent: WeblexBot
Disallow: /
User-Agent: WebLinker/0.0 libwww-perl/0.1
Disallow: /
User-Agent: webLyzard
Disallow: /
User-Agent: WebmasterCoffee
Disallow: /
User-Agent: WebmasterWorld Extractor
Disallow: /
User-Agent: WebmasterWorldForumBot
Disallow: /
User-Agent: WebMiner
Disallow: /
User-Agent: WebMoose/0.0.0000
Disallow: /
User-Agent: WeBot
Disallow: /
User-Agent: WebPix
Disallow: /
User-Agent: WebReaper
Disallow: /
User-Agent: WebRipper
Disallow: /
User-Agent: WebSauger
Disallow: /
User-Agent: WebSauger 1.20b
Disallow: /
User-Agent: WebSauger 1.20j
Disallow: /
User-Agent: WebSauger 1.20k
Disallow: /
User-Agent: Webscan
Disallow: /
User-Agent: websearchbench
Disallow: /
User-Agent: WebSite
Disallow: /
User-Agent: Website Downloader
Disallow: /
User-Agent: Website Explorer
Disallow: /
User-Agent: Website eXtractor
Disallow: /
User-Agent: Website Quester
Disallow: /
User-Agent: Website.Quester
Disallow: /
User-Agent: websitemirror
Disallow: /
User-Agent: WebSpear
Disallow: /
User-Agent: websphinx.test
Disallow: /
User-Agent: WebSpider
Disallow: /
User-Agent: Webster
Disallow: /
User-Agent: Webster Pro
Disallow: /
User-Agent: Webster.Pro
Disallow: /
User-Agent: WebStripper
Disallow: /
User-Agent: WebStripper/2.03
Disallow: /
User-Agent: WebStripper/2.10
Disallow: /
User-Agent: WebStripper/2.12
Disallow: /
User-Agent: WebStripper/2.13
Disallow: /
User-Agent: WebStripper/2.15
Disallow: /
User-Agent: WebStripper/2.16
Disallow: /
User-Agent: WebStripper/2.19
Disallow: /
User-Agent: WebTrafficExpress
Disallow: /
User-Agent: WebTrends Link Analyzer
Disallow: /
User-Agent: WebVac
Disallow: /
User-Agent: webwalk
Disallow: /
User-Agent: WebWalker
Disallow: /
User-Agent: WebWalker/1.10
Disallow: /
User-Agent: WebWasher
Disallow: /
User-Agent: Webwasher
Disallow: /
User-Agent: WebWatch
Disallow: /
User-Agent: WebWhacker
Disallow: /
User-Agent: WebXM
Disallow: /
User-Agent: WebZIP
Disallow: /
User-Agent: Weddings.info Bot
Disallow: /
User-Agent: wenbin/search
Disallow: /
User-Agent: WEP Search
Disallow: /
User-Agent: WEPA
Disallow: /
User-Agent: WeRelateBot
Disallow: /
User-Agent: Whacker
Disallow: /
User-Agent: Whirlpool Web Engine
Disallow: /
User-Agent: WhoWhere Robot
Disallow: /
User-Agent: Widow
Disallow: /
User-Agent: WikiaBot
Disallow: /
User-Agent: Wikio
Disallow: /
User-Agent: wikiwix-bot-
Disallow: /
User-Agent: WinHTTP Example
Disallow: /
User-Agent: WinHttp.WinHttpRequest.
Disallow: /
User-Agent: WIRE
Disallow: /
User-Agent: wired-digital-newsbot/1.5
Disallow: /
User-Agent: WISEbot
Disallow: /
User-Agent: WISENutbot
Disallow: /
User-Agent: wish-la
Disallow: /
User-Agent: wish-project
Disallow: /
User-Agent: wisponbot
Disallow: /
User-Agent: WMCAI-robot
Disallow: /
User-Agent: wminer
Disallow: /
User-Agent: WMSBot
Disallow: /
User-Agent: woriobot
Disallow: /
User-Agent: worldshop
Disallow: /
User-Agent: WorQmada
Disallow: /
User-Agent: Wotbox
Disallow: /
User-Agent: wume_crawler
Disallow: /
User-Agent: WWW Collector
Disallow: /
User-Agent: WWW-Collector-E
Disallow: /
User-Agent: WWW-Mechanize
Disallow: /
User-Agent: WWWOFFLE
Disallow: /
User-Agent: wwwrobot
Disallow: /
User-Agent: wwwster
Disallow: /
User-Agent: WWWWanderer v3.0
Disallow: /
User-Agent: wwwxref
Disallow: /
User-Agent: Wysigot
Disallow: /
User-Agent: X-clawler
Disallow: /
User-Agent: X-crawler
Disallow: /
User-Agent: Xaldon
Disallow: /
User-Agent: Xaldon WebSpider
Disallow: /
User-Agent: Xaldon WebSpider 2.5.b3
Disallow: /
User-Agent: Xaldon_WebSpider
Disallow: /
User-Agent: Xenu
Disallow: /
User-Agent: Xenu's
Disallow: /
User-Agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-Agent: Xerka MetaBot
Disallow: /
User-Agent: Xerka WebBot
Disallow: /
User-Agent: XGET/0.7
Disallow: /
User-Agent: xirq
Disallow: /
User-Agent: XmarksFetch
Disallow: /
User-Agent: xqrobot
Disallow: /
User-Agent: Y!J-BRI
Disallow: /
User-Agent: Y!J-BRJ/YATS crawler
Disallow: /
User-Agent: Y!J-BRW
Disallow: /
User-Agent: Y!J-BSC
Disallow: /
User-Agent: Y!J-PSC
Disallow: /
User-Agent: Y!J-SRD
Disallow: /
User-Agent: Y!J
Disallow: /
User-Agent: Y!TunnelPro
Disallow: /
User-Agent: yacy.net
Disallow: /
User-Agent: yacybot
Disallow: /
User-Agent: YandexSomething
Disallow: /
User-Agent: Yanga WorldSearch Bot
Disallow: /
User-Agent: yarienavoir.net
Disallow: /
User-Agent: Yasaklibot
Disallow: /
User-Agent: yBot
Disallow: /
User-Agent: YebolBot
Disallow: /
User-Agent: yellowJacket
Disallow: /
User-Agent: yes
Disallow: /
User-Agent: YesupBot
Disallow: /
User-Agent: Yeti
Disallow: /
User-Agent: YioopBot
Disallow: /
User-Agent: yolinkBot
Disallow: /
User-Agent: yoogliFetchAgent
Disallow: /
User-Agent: Yoono
Disallow: /
User-Agent: yoono
Disallow: /
User-Agent: Yoriwa
Disallow: /
User-Agent: YottaCars_Bot
Disallow: /
User-Agent: you-dir
Disallow: /
User-Agent: Z-Add Link Checker
Disallow: /
User-Agent: zagrebin
Disallow: /
User-Agent: Zao
Disallow: /
User-Agent: zedzo.digest
Disallow: /
User-Agent: zedzo.validate
Disallow: /
User-Agent: zermelo
Disallow: /
User-Agent: Zeus
Disallow: /
User-Agent: Zeus Link Scout
Disallow: /
User-Agent: zibber-v
Disallow: /
User-Agent: zimeno
Disallow: /
User-Agent: Zing-BottaBot
Disallow: /
User-Agent: ZipppBot
Disallow: /
User-Agent: ZoomSpider
Disallow: /
User-Agent: Zotag Search
Disallow: /
User-Agent: ZuiBot
Disallow: /
User-Agent: ZumBot
Disallow: /
User-Agent: Zyborg
Disallow: /
User-Agent: ZyBorg
Disallow: /
User-Agent: Zyte
Sitemap
Кол-во: 0
XML-карта сайта для поисковиков
?
Sitemap.xml помогает поисковику быстрее находить и индексировать страницы. Особенно важен для крупных сайтов и новых страниц, на которые ещё нет входящих ссылок.
Robots.txt не содержит ссылку на карту сайта. Рекомендуется добавить карту сайта и указать ссылку на нее в robots.txt.
Внутренние ссылки
Кол-во: 127
Ссылки на другие страницы своего сайта
?
Внутренние ссылки распределяют ссылочный вес между страницами и помогают поисковику обходить сайт. Пустые анкоры и ссылки на запрещённые robots.txt страницы — типичные ошибки.
Некоторые внутренние ссылки сайта 127шт запрещены к индексации поисковыми системами в robots.txt. Пройдитесь по списку внутренних ссылок: удалите ошибочные или исправьте файл robots.txt!
Внутренних ссылок на странице 127 оптимально.
На странице присутствуют изображения 58.
Показать первые 100 внутренних ссылок
| Url | Анкор | Состояние | Анализировать |
|---|---|---|---|
| /Raznoye-c130.html |
Разное
|
Запрет в robots.txt
|
Анализировать url |
| /Tovary-pyervoy-nyeobhodimosti-c330.html |
Товары первой необходимости
|
Запрет в robots.txt
|
Анализировать url |
| /Idyei-dlya-podarkov-c500.html |
Идеи для подарков
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=30 |
Пункт выдачи
|
Запрет в robots.txt
|
Анализировать url |
| /tel:74732230002 |
<i class='ion-ios-telephone-outline'></i> +7 (473) 223-00-02
|
Запрет в robots.txt
|
|
| /index.php?route=account/login |
Вход
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=account/login®istration=true |
Регистрация
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura-c1.html |
Художественная литература
|
Запрет в robots.txt
|
Анализировать url |
| /Uchyebnaya-lityeratura-c110.html |
Учебная литература
|
Запрет в robots.txt
|
Анализировать url |
| /Kantstovary-c239.html |
Канцтовары
|
Запрет в robots.txt
|
Анализировать url |
| /Tovary-dlya-hobbi-c331.html |
Товары для хобби
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura-c15.html |
Нехудожественная литература
|
Запрет в robots.txt
|
Анализировать url |
| /Biznyes-posobiya-c54.html |
Бизнес пособия
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam-c36.html |
Детям и родителям
|
Запрет в robots.txt
|
Анализировать url |
| /Igry-c236.html |
Игры
|
Запрет в robots.txt
|
Анализировать url |
| /Nyeprodovol-stvyennyye-tovary-c330.html |
Товары первой необходимости
|
Запрет в robots.txt
|
Анализировать url |
| /Raznoye-c130.html |
Разное
|
Запрет в robots.txt
|
Анализировать url |
| /product/list/learn |
Подбор учебников
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=19 |
Информация для учителей
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=8 |
Доставка
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=product/list/discount |
Товары со скидкой
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=25 |
Система скидок интернет-магазина
|
Запрет в robots.txt
|
Анализировать url |
| /Unic-pred-i52.html |
Программа лояльности розничной сети
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=28 |
Адреса магазинов
|
Запрет в robots.txt
|
Анализировать url |
| /module/latest |
Новинки
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Dom-Byt-Dosug/Zdorov-ye-Nyetraditsionnaya-myeditsina-Mat-i-ditya/SHishonin-A-YU/SHishonin-A-YU-Dnyevnik-zdorov-ya-p603482c15c119c224.html |
<span itemprop="name">Шишонин А.Ю. Дневник здоровья</span>
|
Запрет в robots.txt
|
Анализировать url |
| /SHishonin-A-YU-m231405.html |
Шишонин А.Ю.
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-doshkol-nikov/Poznavatyel-naya-lityeratura-dlya-malyshyey-entsiklopyedii/nye-ukazano-Dyevochki-proslavivshiye-Rossiyu-p522495c36c107c145.html |
<span itemprop="name"><не указано=""> Девочки, прославившие Россию</не></span>
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-doshkol-nikov/Poznavatyel-naya-lityeratura-dlya-malyshyey-entsiklopyedii/nye-ukazano-Dyevochki-proslavivshiye-Rossiyu-p522495c36c107c145.html |
Не указан
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Knigi-po-komp-yutyernym-igram/nye-ukazano-Dnyevnik-Stiva-Kniga-18-Grifyeropolis-p597127c1c103.html |
<span itemprop="name"><не указано=""> Дневник Стива. Книга 18. Гриферополис</не></span>
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Knigi-po-komp-yutyernym-igram/nye-ukazano-Dnyevnik-Stiva-Kniga-18-Grifyeropolis-p597127c1c103.html |
Не указан
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-shkol-nikov/Sovryemyennaya-dyetskaya-proza-i-poeziya/nye-ukazano-CHyeburashka-Novyye-priklyuchyeniya-p586172c36c108c147.html |
<span itemprop="name"><не указано=""> Чебурашка. Новые приключения</не></span>
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-shkol-nikov/Sovryemyennaya-dyetskaya-proza-i-poeziya/nye-ukazano-CHyeburashka-Novyye-priklyuchyeniya-p586172c36c108c147.html |
Не указан
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Sovryemyennaya-lityeratura/Rossiyskaya-sovryemyennaya-proza/Abgaryan-N/Abgaryan-N-Sofiya-vozvrashchalas-domoy-p601247c1c96c133.html |
<span itemprop="name">Абгарян Н. София возвращалась домой</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Abgaryan-N-m191378.html |
Абгарян Н.
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-doshkol-nikov/Poznavatyel-naya-lityeratura-dlya-malyshyey-entsiklopyedii/Art-mova-O-V/Art-mova-O-V-Dyevochki-proslavivshiye-Rossiyu-Kniga-2-p592245c36c107c145.html |
<span itemprop="name">Артёмова О.В. Девочки, прославившие Россию. Книга 2</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Art-mova-O-V-m256077.html |
Артёмова О.В.
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-doshkol-nikov/Poznavatyel-naya-lityeratura-dlya-malyshyey-entsiklopyedii/Art-mova-O-V/Art-mova-O-V-Mal-chiki-proslavivshiye-Rossiyu-Kniga-2-p587947c36c107c145.html |
<span itemprop="name">Артёмова О.В. Мальчики, прославившие Россию. Книга 2</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Art-mova-O-V-m256077.html |
Артёмова О.В.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Fantastika/Fentyezi/Bardugo-L/Bardugo-L-Famil-yar-p601967c1c102c138.html |
<span itemprop="name">Бардуго Л. Фамильяр</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Bardugo-L-m213445.html |
Бардуго Л.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Dyetyektivy-Boyeviki-Avantyurnyy-roman/Zarubyezhnyye-dyetyektivy/Biton-M-S/Biton-M-S-Svyezhiye-splyetni-dlya-nastoyashchyey-lyentyayki-Agata-Ryeyzin-2-p601941c1c101c135.html |
<span itemprop="name">Битон М.С. Свежие сплетни для настоящей лентяйки (Агата Рейзин #2)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Biton-M-S-m263269.html |
Битон М.С.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Dyetyektivy-Boyeviki-Avantyurnyy-roman/Zarubyezhnyye-dyetyektivy/Boland-P/Boland-P-Vanil-nyy-ubiytsa-Dyetyektivnoye-agyentstvo-Blagotvorityel-nyy-magazin-4-p602203c1c101c135.html |
<span itemprop="name">Боланд П. Ванильный убийца. Детективное агентство ?Благотворительный магазин? (#4)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Boland-P-m256264.html |
Боланд П.
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-doshkol-nikov/Poznavatyel-naya-lityeratura-dlya-malyshyey-entsiklopyedii/Borisov-I-V/Borisov-I-V-Gyeral-dika-Rossii-Polnaya-entsiklopyediya-p562112c36c107c145.html |
<span itemprop="name">Борисов И.В. Геральдика России. Полная энциклопедия</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Borisov-I-V-m258627.html |
Борисов И.В.
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Psihologiya/Populyarnaya-psihologiya/Bryedyemayyer-Karstyen/Bryedyemayyer-Karstyen-CHyernaya-ritorika-Vlast-i-magiya-slova-p585099c15c111c176.html |
<span itemprop="name">Бредемайер Карстен Черная риторика: Власть и магия слова</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Bryedyemayyer-Karstyen-m261380.html |
Бредемайер Карстен
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Dyetyektivy-Boyeviki-Avantyurnyy-roman/Rossiyskiye-dyetyektivy-i-boyeviki/Bruk-S/Bruk-S-Myaukayushchiy-dyetyektiv-p601569c1c101c137.html |
<span itemprop="name">Брук С. Мяукающий детектив</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Bruk-S-m259860.html |
Брук С.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Hudozhyestvyennaya-publitsistika/Avtorskaya-publitsistika/Bugryshyeva-I-YU/Bugryshyeva-I-YU-YA-trogayu-voynu-rukami-p572703c1c100c272.html |
<span itemprop="name">Бугрышева И.Ю. Я трогаю войну руками</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Bugryshyeva-I-YU-m259858.html |
Бугрышева И.Ю.
|
Запрет в robots.txt
|
Анализировать url |
| /module/featured |
Хиты продаж
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Zarubyezhnaya-lityeratura/Zarubyezhnaya-klassika/Oruell-D/1984-novyy-pyeryevod-p465617c1c260c261.html |
<span itemprop="name">1984 (новый перевод)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Oruell-D-m190068.html |
Оруэлл Д.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Knigi-po-komp-yutyernym-igram/Horf-H/Atomic-Heart-Pryedystoriya-Pryedpriyatiya-3826-p503378c1c103.html |
<span itemprop="name">Atomic Heart. Предыстория "Предприятия 3826"</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Horf-H-m252169.html |
Хорф Х.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Syentimyental-nyy-roman/Zarubyezhnyy-lyubovnyy-roman/RuNyx/RuNyx-Enigma-p597239c1c104c234.html |
<span itemprop="name">RuNyx Энигма</span>
|
Запрет в robots.txt
|
Анализировать url |
| /RuNyx-m250464.html |
RuNyx
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-shkol-nikov/Sovryemyennaya-dyetskaya-proza-i-poeziya/SHoynyemann-F/Agyent-na-myagkih-lapah-p291980c36c108c147.html |
<span itemprop="name">Агент на мягких лапах</span>
|
Запрет в robots.txt
|
Анализировать url |
| /SHoynyemann-F-m219643.html |
Шойнеманн Ф.
|
Запрет в robots.txt
|
Анализировать url |
| /Dyetyam-i-rodityelyam/Lityeratura-dlya-shkol-nikov/Vnyeklassnoye-chtyeniye-Knigi-shkol-noy-programmy/Kerroll-L/Alisa-v-Stranye-CHudyes-il-I-Pyetyelinoy-p124573c36c108c146.html |
<span itemprop="name">Алиса в Стране Чудес (ил. И. Петелиной)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Kerroll-L-m188821.html |
Кэрролл Л.
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Nauka-i-tyehnika/Fizika-Matyematika/Anohin-K-V-CHyernigovskaya-T-V/Anohin-K-V-CHyernigovskaya-T-V-Mozg-i-yego-YA-Kto-my-Otkuda-my-Kuda-my-idyem-p594274c15c117c205.html |
<span itemprop="name">Анохин К.В., Черниговская Т.В. Мозг и его ?Я?. Кто мы? Откуда мы? Куда мы идем?</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Anohin-K-V-CHyernigovskaya-T-V-m262869.html |
Анохин К.В., Черниговская Т.В.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Fantastika/Fentyezi/Anri-S/Anri-S-Igry-korolyey-Printsyessa-Ardyena-p592618c1c102c138.html |
<span itemprop="name">Анри С. Игры королей. Принцесса Ардена</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Anri-S-m251636.html |
Анри С.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Fantastika/Fentyezi/Ardyen-L-Fadyeyeva-O-Blagov-V/Ardyen-L-Fadyeyeva-O-Blagov-V-Morana-i-Tyen-Plyetushchaya-Smyert-i-Tyen-4-p564865c1c102c138.html |
<span itemprop="name">Арден Л. , Фадеева О. , Благов В. Морана и Тень. Плетущая (Смерть и Тень #4)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Ardyen-L-Fadyeyeva-O-Blagov-V-m237739.html |
Арден Л., Фадеева О., Благов В.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Fantastika/Fentyezi/Ardyen-L/Ardyen-L-Morana-i-Tyen-Vidyashchiy-Smyert-i-Tyen-5-p578316c1c102c138.html |
<span itemprop="name">Арден Л. Морана и Тень. Видящий (Смерть и Тень #5)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Ardyen-L-m259071.html |
Арден Л.
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Psihologiya/Tryeningi-dlya-biznyesa/Rend-A/Atlant-raspravil-plyechi-komplyekt-iz-3-h-knig-p875236c15c111c177.html |
<span itemprop="name">Атлант расправил плечи (комплект из 3-х книг)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Rend-A-m188218.html |
Рэнд А.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Klassichyeskaya-lityeratura/Russkaya-klassika/Dostoyevskiy-F-M/Byelyye-nochi-p291017c1c95c131.html |
<span itemprop="name">Белые ночи</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Dostoyevskiy-F-M-m188189.html |
Достоевский Ф.М.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Zarubyezhnaya-lityeratura/Zarubyezhnaya-sovryemyennaya-proza/Byenyedikt-M/Byenyedikt-M-Gornichnaya-Karnyegi-p590615c1c260c262.html |
<span itemprop="name">Бенедикт М. Горничная Карнеги</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Byenyedikt-M-m245843.html |
Бенедикт М.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Dyetyektivy-Boyeviki-Avantyurnyy-roman/Zarubyezhnyye-dyetyektivy/Blek-D/Blek-D-Zvyerskiye-ubiystva-v-Tyenistoy-Loshchinye-Tayny-Tyenistoy-Loshchiny-1-p570646c1c101c135.html |
<span itemprop="name">Блэк Д. Зверские убийства в Тенистой Лощине (Тайны Тенистой Лощины #1)</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Blek-D-m253561.html |
Блэк Д.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Hudozhyestvyennaya-publitsistika/Biografii/Boguslavskaya-Z-B/Boguslavskaya-Z-B-Halatnaya-zhizn-p566149c1c100c273.html |
<span itemprop="name">Богуславская З.Б. Халатная жизнь</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Boguslavskaya-Z-B-m224441.html |
Богуславская З.Б.
|
Запрет в robots.txt
|
Анализировать url |
| /Hudozhyestvyennaya-lityeratura/Zarubyezhnaya-lityeratura/Zarubyezhnaya-sovryemyennaya-proza/Palanik-CH/Boytsovskiy-klub-p135031c1c260c262.html |
<span itemprop="name">Бойцовский клуб</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Palanik-CH-m191681.html |
Паланик Ч.
|
Запрет в robots.txt
|
Анализировать url |
| /product/product_sets.html?id=254 |
Подборка книг для тех, кто любит рукоделие
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Dom-Byt-Dosug/Domovodstvo-Rukodyeliye/Mihaylova-T-V/Mihaylova-T-V-Vyazaniye-kryuchkom-shag-za-shagom-p207089c15c119c220.html |
<span itemprop="name">Михайлова Т.В. Вязание крючком: шаг за шагом</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Mihaylova-T-V-m189444.html |
Михайлова Т.В.
|
Запрет в robots.txt
|
Анализировать url |
| /Nyehudozhyestvyennaya-lityeratura/Dom-Byt-Dosug/Domovodstvo-Rukodyeliye/Vysotskaya-Z-V/SH-m-po-GOSTu-Polnyy-kurs-ot-lyegyendarnoy-portnihi-p368669c15c119c220.html |
<span itemprop="name">Шьём по ГОСТу. Полный курс от легендарной портнихи</span>
|
Запрет в robots.txt
|
Анализировать url |
| /Vysotskaya-Z-V-m235109.html |
Высоцкая З.В.
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=349 |
Всероссийский конкурс «Читаем всей семьей»
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=349 |
Подробнее
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=348 |
ОГЭ ЕГЭ 2026
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=348 |
Подробнее
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=347 |
Выгодно
|
Запрет в robots.txt
|
Анализировать url |
| /information/news/info.html?news_id=347 |
Подробнее
|
Запрет в robots.txt
|
Анализировать url |
| /information/news.html |
Смотреть все новости <i class="ion-arrow-right-c"></i>
|
Запрет в robots.txt
|
Анализировать url |
| /O-kompanii-i11.html |
О компании
|
Запрет в robots.txt
|
Анализировать url |
| /Unic-pred-i52.html |
Уникальные предложения
|
Запрет в robots.txt
|
Анализировать url |
| /index.php?route=information/information&information_id=8 |
Доставка и оплата
|
Запрет в robots.txt
|
Анализировать url |
| /Vozvrat-i124.html |
Возврат
|
Запрет в robots.txt
|
Анализировать url |
Внешние ссылки
Кол-во: 3
Ссылки на сторонние сайты
?
Исходящие внешние ссылки передают часть ссылочного веса на чужие сайты. Ссылки на авторитетные ресурсы безопасны; ссылки на мусорные сайты могут навредить репутации страницы.
Внешних ссылок на странице 3 оптимально.
Показать внешние ссылки
| Url | Анкор | Анализировать |
|---|---|---|
| want2read.ru |
<strong style="box-sizing: border-box;">Всероссийский конкурс «Читаем всей семьей».</strong>
|
Анализировать url |
| vk.com |
<i class="fab fa-vk"></i>
|
|
| ok.ru |
<i class="fab fa-odnoklassniki"></i>
|
Конкуренты Готовность: 0%
Конкуренты в Яндексе
Кол-во: 0
Топ сайтов-конкурентов в Яндексе
?
Сайты, чаще всего появляющиеся в ТОПе Яндекса по запросам из семантического ядра этой страницы.
Мы не нашли у вас конкурентов в Яндексе. Сайт или очень молодой или плохо продвигается.
Конкурентов в ТОП-10 Яндекса не нашлось.
Конкуренты в Google
Кол-во: 0
Топ сайтов-конкурентов в Google
?
Сайты, чаще всего появляющиеся в ТОПе Google по запросам из семантического ядра этой страницы.
Конкуренты в Google тоже не найдены. Займитесь продвижением сайта!
Конкурентов в ТОП-10 Google не нашлось.
ФЗ-152: ПД Готовность: 30%
РКН
ОК
Сайт не заблокирован
Контакты
https://amital.ru/Hudozhyestvyennaya-lityeratura/Knigi-po-komp-yutyernym-igram/nye-ukazano-Dnyevnik-Stiva-Kniga-18-Grifyeropolis-p597127c1c103.html
Страница с контактами найдена
Политика ПД
https://amital.ru/policy/
Страница политики обработки ПД найдена
Согласие
https://amital.ru/personal/
Страница согласия на обработку ПД найдена
Чекбокс согласия
Не найден
Чекбокс согласия на обработку ПД в формах сайта не найден
Счётчики до согласия
Нарушение
Счётчики аналитики (Яндекс.Метрика и сторонние счётчики) загружаются до согласия на обработку cookie. Собираются IP-адрес и поведение — это персональные данные, требующие предварительного согласия (152-ФЗ)
ЗоЗПП: права потребителей Готовность: 55%
Наименование продавца
ОК
Полное наименование продавца на сайте
?
Ст. 9 ЗоЗПП: продавец обязан довести до покупателя фирменное наименование организации (ООО «…») или ФИО индивидуального предпринимателя. Укажите его в подвале сайта или на странице «Контакты».
Указано полное наименование продавца
Адрес продавца
Нарушение
Адрес (место нахождения) продавца
?
Ст. 9 ЗоЗПП: на сайте должен быть адрес места нахождения продавца. Добавьте его в подвал сайта или на страницу «Контакты».
Не указан адрес места нахождения продавца
ОГРН / ОГРНИП
Нарушение
Сведения о государственной регистрации продавца
?
Для дистанционной продажи обязательны сведения о госрегистрации продавца. Укажите ОГРН (для ИП — ОГРНИП) рядом с реквизитами, обычно в подвале сайта.
Не указан ОГРН/ОГРНИП
ИНН
Нарушение
ИНН продавца
?
Укажите ИНН организации или индивидуального предпринимателя рядом с остальными реквизитами продавца.
Не указан ИНН
Публичная оферта
ОК
Публичная оферта или условия продажи
?
Правила дистанционной продажи (ПП РФ № 2463) требуют довести до покупателя условия договора до его заключения. Опубликуйте публичную оферту или условия продажи и дайте на них ссылку из подвала сайта.
Есть публичная оферта / условия продажи
Возврат и доставка
ОК
Порядок возврата и доставки товара
?
Ст. 26.1 ЗоЗПП: при дистанционной продаже покупатель вправе отказаться от товара в течение 7 дней после получения. Опишите порядок и сроки возврата, обмена и доставки на отдельной странице.
Описан порядок возврата (доставки/обмена)
Цены в рублях
ОК
Цены товаров в рублях
?
Ст. 10 ЗоЗПП: цена товара указывается в рублях. Добавьте обозначение валюты (₽ или руб.) к ценам на сайте.
Цены указаны в рублях
Режим работы
Нарушение
Режим работы продавца
?
Ст. 9 ЗоЗПП: укажите режим работы продавца (например, «пн–пт с 9:00 до 18:00») — обычно в шапке или подвале сайта.
Не указан режим работы
ФЗ-149: рекомендательные технологии Готовность: 100%
Нарушения
Не выявлены
Рекомендательные блоки («с этим покупают», «похожие товары» и т.п.) на сайте не обнаружены — требования ст. 10.7 ФЗ-149 к сайту не применяются. Нарушений нет.
ФЗ-38: реклама Готовность: 100%
Нарушения
Не выявлены
Рекламных тематик с обязательными оговорками (медицина, БАД, кредиты и займы, новостройки) на сайте не обнаружено. Нарушений нет.
ФЗ-436: защита детей Готовность: 0%
Возрастная маркировка
Нарушение
Знак возрастной категории (0+, 6+, 12+, 16+ или 18+)
?
Ст. 11–12 ФЗ-436: информационная продукция (новости, видео, книги, игры, курсы) должна сопровождаться знаком возрастной категории. Разместите знак на видном месте — обычно в шапке или подвале сайта.
Информационная продукция без возрастной маркировки (ст. 11 ФЗ-436)
Вердикт
Анализ сайта amital.ru, слабо оптимизирован на 57%. Для хорошей оптимизации и выхода на первые места в поиске требуется:
Исправьте ошибки индексации.
Поделитесь с друзьями: