Анализ сайта doconcadebarbera.com
Основное Готовность: 40%
Домен
doconcadebarbera.com
Состояние доменного имени
?
Проверяем корректность доменного имени и наличие технических проблем на уровне домена.
Длина домена велика. Но если вы продвигаете запрос, входящий в название домена, то это хорошо.
Домен второго уровня идеален для продвижения.
Ответ сервера
200 Успешный ответ
HTTP-код ответа и цепочка редиректов
?
Код 200 — страница доступна. Коды 3xx — редиректы (цепочки замедляют загрузку и размывают ссылочный вес). Коды 4xx/5xx — ошибки, поисковик не сможет проиндексировать страницу.
Кол-во редиректов 3 слишком большое! Проверьте настройки сайта и веб-сервера!
Цепочка редиректов:
http://doconcadebarbera.com
301 MovedPermanently
https://doconcadebarbera.com/
301 MovedPermanently
https://www.doconcadebarbera.com/
200 OK
Безопасность
Сайт безопасен
Использование HTTPS и SSL-сертификат
?
HTTPS — обязательный стандарт. Google и Яндекс отдают предпочтение защищённым сайтам. Отсутствие SSL или просроченный сертификат ведут к предупреждениям в браузере и снижению позиций.
Не настроен HSTS (Strict-Transport-Security) — рекомендуется включить.
На сайте работает защищенный протокол ssl и сайт открывается по https.
Ssl-сертификат действителен до 04.10.2026 3:55:36.
HTTP автоматически перенаправляется на HTTPS.
Поздравляем! Сайт не содержится в реестре РКН.
Кодировка
UTF-8
Кодировка символов страницы
?
Стандарт — UTF-8. Неправильная кодировка вызывает нечитаемые символы и мешает поисковику корректно распознать текст страницы.
Указана кодировка на странице UTF-8.
Язык
ca
Атрибут lang в HTML-теге
?
Атрибут lang (<html lang="ru">) сообщает поисковикам и браузерам, на каком языке написана страница. Помогает при ранжировании в региональном поиске.
Язык документа указан явно: ca.
Скорость загрузки
~1,84сек
Время отклика сервера (TTFB)
?
Time To First Byte — время до получения первого байта от сервера. Норма до 200 мс. Медленный отклик ухудшает пользовательский опыт и ранжирование: Яндекс и Google учитывают скорость страниц.
Скорость загрузки сайта 1,84сек превышает 1 секунду. Желательно улучшить работу сайта!
Объем документа
96Кб
Размер HTML-кода страницы
?
Слишком большой HTML замедляет парсинг браузером и сканирование поисковым роботом. Рекомендуется не более 200 Кб.
Объем html-документа 96Кб оптимален.
Структура html-документа корректна.
Ресурсы
Ресурсы: 79
Внешние ресурсы страницы (CSS, JS, изображения)
?
Количество и тип подключённых ресурсов влияют на скорость загрузки. Большое число запросов увеличивает время рендеринга страницы.
Кол-во файлов ресурсов 79 много для одной страницы. Приемлемо до 10. Проведите оптимизацию файлов ресурсов!
Показать полный список ресурсов
| Тип | Название | Значение |
|---|---|---|
| stylesheet | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/siteground-optimizer-combined-css-9816d7b3dc908f3fe843fb73f9f4cfee.css | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/jquery.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/jquery-migrate.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/age-verification-cookie.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/dispensary-age-verification.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-blind.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-bounce.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-clip.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-drop.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-explode.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-fade.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-fold.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-highlight.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-pulsate.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-size.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-scale.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-shake.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-slide.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/jquery/ui/effect-puff.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/Rich_Web_Timeline.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/plugins/sitepress-multilingual-cms/templates/language-switchers/legacy-dropdown/script.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-js.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-compat.min.js | |
| js | https://www.googletagmanager.com/gtag/js?id=GT-K5M9X9M2& | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-wpml-script.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/themes/enfold/js/waypoints/waypoints.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-default.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-shortcodes.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-audioplayer.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/themes/enfold/config-templatebuilder/avia-shortcodes/chart/chart-js.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-chart.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-contact.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-slideshow.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-countdown.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-gallery.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-gallery-hor.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-rotator.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-icon-circles.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-icongrid.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-iconlist.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/underscore.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-image-diff.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-hotspot.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-sc-lottie-animation.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-magazine.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/themes/enfold/config-templatebuilder/avia-shortcodes/portfolio/isotope.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-masonry.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-menu.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-notification.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-numbers.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-portfolio.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-progress-bar.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-slideshow-video.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-slideshow-accordion.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-slideshow-fullscreen.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-slideshow-ls.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-tabsection.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-tabs.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-testimonials.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-timeline.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-toggles.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-module-video.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/plugins/sg-cachepress/assets/js/lazysizes.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-hamburger-menu.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-parallax-support.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-fold-unfold.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/themes/enfold/js/aviapopup/jquery.magnific-popup.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-lightbox-activation.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-megamenu.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-sticky-header.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-footer-effects.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-siteloader-js.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-widget-js.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia_blocks_front_script.min.js | |
| js | https://www.doconcadebarbera.com/wp-includes/js/backbone.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/googlesitekit-events-provider-ninja-forms.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/moove_gdpr_frontend.min.js | |
| js | https://www.doconcadebarbera.com/wp-content/uploads/siteground-optimizer-assets/avia-dotlottie-script.min.js |
Серверные заголовки
Кол-во: 10
HTTP-заголовки ответа сервера
?
Заголовки сервера передают браузеру и поисковику служебную информацию: кеширование, безопасность (CSP, HSTS), сжатие (gzip). Правильная настройка ускоряет загрузку и повышает защищённость.
Найдены серверные заголовки 10шт. Подробнее про серверные заголовки.
Показать полный список серверных заголовков
| Ключ | Значение |
|---|---|
| Server | nginx |
| Date | Fri, 21 Aug 2026 12:50:33 GMT |
| Vary | Accept-Encoding |
| x-cache-enabled | True |
| X-Content-Type-Options | nosniff |
| X-XSS-Protection | 1; mode=block |
| Link | <https://www.doconcadebarbera.com/wp-json/>; rel="https://api.w.org/" |
| x-httpd-modphp | 1 |
| host-header | 8441280b0c35cbc1147f8ba998a563a7 |
| x-proxy-cache | HIT |
CMS
WordPress
Система управления сайтом (движок)
?
CMS — это движок, на котором работает сайт (WordPress, 1C-Bitrix, Tilda и др.). Знание CMS помогает понять возможности SEO-оптимизации и подобрать подходящие инструменты. «Не определена» — вероятно, самописный сайт или нестандартная сборка.
Сайт работает на CMS WordPress.
Веб-сервер
nginx
Программное обеспечение сервера
?
Веб-сервер — это ПО, которое отдаёт страницы посетителям (nginx, Apache, IIS, LiteSpeed и др.). Определяется по серверным заголовкам ответа (Server, X-Powered-By и т.п.). «Не определён» — сервер намеренно скрывает эти заголовки, это нормальная практика безопасности.
Сайт работает на веб-сервере nginx.
Мета-теги Готовность: 23%
Title
INICI - DO Conca de Barberà
Заголовок страницы в браузере и поисковой выдаче
?
Title — главный SEO-заголовок страницы. Влияет на CTR в поиске и ранжирование. Оптимальная длина: 50–70 символов. Ключевые слова — ближе к началу.
Необходимо увеличить число символов в title (текущее значение: 27, оптимально: от 40 до 45)
Дублей словоформ в title не найдено.
Description
Описание страницы в поисковой выдаче (сниппет)
?
Meta Description — текст под заголовком в выдаче. Напрямую на позиции не влияет, но влияет на CTR. Оптимальная длина: 120–160 символов.
Установите мета-тег description!
Keywords
Список ключевых слов страницы (устаревший тег)
?
Meta Keywords не учитывается Яндексом и Google для ранжирования с 2009–2012 годов. Заполнение не обязательно, но не вредит. Конкурент может использовать содержимое для анализа.
Установите мета-тег keywords!
Канонический Url
https://www.doconcadebarbera.com/
Указывает поисковику основную версию страницы
?
Canonical (rel=canonical) предотвращает проблему дублей страниц. Должен точно совпадать с URL проверяемой страницы. Неправильный canonical может передать ссылочный вес на другую страницу.
Канонический Url прописан корректно.
Robots
index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1
Директивы для поисковых роботов на уровне страницы
?
Meta Robots управляет индексацией конкретной страницы: index/noindex — индексировать ли, follow/nofollow — следовать ли по ссылкам. Noindex полностью исключает страницу из поиска.
Meta-тег robots со значениями index, follow не накладывает ограничений на индексирование и показ контента.
Адаптивность
width=device-width, initial-scale=1
Настройка масштабирования на мобильных устройствах
?
Тег viewport (<meta name="viewport">) сообщает браузеру, как масштабировать страницу на мобильных. Стандарт: width=device-width, initial-scale=1. Отсутствие — признак отсутствия мобильной версии.
Meta-тег viewport со значением-константой width=device-width задаёт ширину страницы в соответствии с размером экрана.
Meta-тег viewport со значением initial-scale=1.0 определяет масштаб 1:1, т.е. «не масштабировать».
Разметка OpenGraph
Кол-во: 9
Мета-теги для красивых превью в соцсетях
?
OpenGraph (og:title, og:description, og:image) управляет тем, как страница выглядит при репосте в социальных сетях и мессенджерах. Отсутствие OG-тегов — невзрачный превью при шеринге.
Разметка OpenGraph задана. Страница оптимизирована под социальные сети.
Показать полный список og мета-тегов
| Тип | Значение |
|---|---|
| og:locale | ca_ES |
| og:type | website |
| og:title | INICI - DO Conca de Barberà |
| og:url | https://www.doconcadebarbera.com/ |
| og:site_name | DO Conca de Barberà |
| og:image | https://www.doconcadebarbera.com/wp-content/uploads/2019/08/LOGO-DOCB-MIX_2.jpg |
| og:image:width | 1859 |
| og:image:height | 1326 |
| og:image:type | image/jpeg |
Все мета-теги
Кол-во: 16
Полный список мета-тегов страницы
?
Таблица всех meta-тегов, включая нестандартные. Позволяет найти опечатки, дубли и лишние теги.
Найдены мета-теги 16шт. Мета-теги не видимы для человека и предназначены для обмена информацией между веб-страницей и поисковыми системами, браузерами и другими веб-службами. С ними роботы 🤖 и устройства ведут себя более ожидаемо.
Показать полный список мета-тегов
| Тип | Название | Значение |
|---|---|---|
| name | viewport | width=device-width, initial-scale=1 |
| name | robots | index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1 |
| name | twitter:card | summary_large_image |
| name | generator | WPML ver:4.9.7 stt:8,1,2; |
| name | generator | Site Kit by Google 1.185.0 |
| name | msapplication-TileImage | https://www.doconcadebarbera.com/wp-content/uploads/2021/10/cropped-doc-1-270x270.png |
| property | og:locale | ca_ES |
| property | og:type | website |
| property | og:title | INICI - DO Conca de Barberà |
| property | og:url | https://www.doconcadebarbera.com/ |
| property | og:site_name | DO Conca de Barberà |
| property | article:modified_time | 2024-08-30T08:15:58+00:00 |
| property | og:image | https://www.doconcadebarbera.com/wp-content/uploads/2019/08/LOGO-DOCB-MIX_2.jpg |
| property | og:image:width | 1859 |
| property | og:image:height | 1326 |
| property | og:image:type | image/jpeg |
Оптимизация Готовность: 75%
Структура
Ошибок нет
Семантические HTML-элементы страницы
?
Проверяет наличие основных структурных элементов: nav, header, footer, main. Корректная семантическая структура помогает поисковику понять архитектуру страницы.
Структура документа корректна (теги <html> и <body> присутствуют по одному на документ).
Контент
Есть ошибки
Объём и качество текстового содержимого
?
Анализирует объём полезного текста на странице. Слишком мало — страница может считаться малополезной. Слишком много — ухудшается читаемость и восприятие.
Абзацев с текстом 9 слишком мало. Добавьте больше абзацев с текстом (тег <p>)!
Кол-во слов 560 не очень много. Добавьте побольше текста (хотя бы 800 слов)!
Слова из title 5 встречаются в тексте достаточно.
Среднее число слов в абзаце 26 достаточно.
Кол-во знаков контента 3500 на странице оптимально.
Заголовки
Ошибок нет
Иерархия заголовков H1–H6
?
H1 должен быть один и содержать ключевой запрос. H2–H6 описывают подразделы. Пропуск уровней (H1 → H3) и несколько H1 — типичные ошибки, снижающие понятность страницы для поисковика.
На странице присутствуют заголовки <h1> 1. Это прекрасно.
На странице присутствуют заголовки <h2> 2. Это хорошо.
На странице присутствуют заголовки <h3> 10.
Тошнота
3,61
Насколько одно слово доминирует в тексте
?
Классическая тошнота = √(частота самого повторяющегося слова). Норма до 7–8: текст воспринимается естественно. Выше — поисковик может счесть страницу переспамленной.
Тошнота превышает норму 3. Измените текст страницы!
Академич. тошнота
22,32%
Насколько текст перенасыщен ключевыми словами
?
Академическая тошнота = (частота слова / общее количество слов) × 100%. Показывает долю конкретного слова в тексте. Норма 5–15%.
Академическая тошнота превышает норму 5-15%. Измените текст страницы!
Семантическое ядро
20
Наиболее часто встречающиеся слова на странице
?
Топ слов по частоте использования. Показывает, какие слова доминируют в тексте с точки зрения поисковика.
Контент страницы содержит осмысленный текст и слова.
Показать список слов
| Слово | Кол-во | Частота |
|---|---|---|
| galetes | 13 | 2,32% |
| barberà | 8 | 1,43% |
| trepat | 6 | 1,07% |
| varietats | 4 | 0,71% |
| cookies | 4 | 0,71% |
| consell | 3 | 0,54% |
| regulador | 3 | 0,54% |
| premis | 3 | 0,54% |
| cellers | 3 | 0,54% |
| denominació | 3 | 0,54% |
| d’origen | 3 | 0,54% |
| estrictament | 3 | 0,54% |
| necessàries | 3 | 0,54% |
| activa | 3 | 0,54% |
| català | 2 | 0,36% |
| english | 2 | 0,36% |
| varietat | 2 | 0,36% |
| enoturisme | 2 | 0,36% |
| contacte | 2 | 0,36% |
| perfil | 2 | 0,36% |
Индексация Готовность: 100%
Индексирование
Ошибок нет
Разрешено ли индексирование страницы
?
Проверяет, не закрыта ли страница от индексации через robots.txt, meta robots или X-Robots-Tag. Страница, закрытая от индексации, не появится в поисковой выдаче.
Анкоров на странице 53 оптимально. Поисковые роботы обязательно проиндексируют сайт.
Robots.txt
Найден корректный robots.txt
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Robots.txt настроен корректно. Размер файла: 41926 байт. Загружен за: 1сек.
Проверяемая страница не запрещена в robots.txt.
Robots.txt доступен по постоянному адресу
Цепочка редиректов для файла robots.txt:
http://doconcadebarbera.com/robots.txt
301 MovedPermanently
https://doconcadebarbera.com/robots.txt
200 OK
Показать содержимое robots.txt
User-agent: *
Crawl-delay: 10
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /*/page/
Disallow: /*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*
Sitemap: https://www.doconcadebarbera.com/sitemap_index.xml
User-agent: BLP_bbot/0.1
Disallow: /
User-agent: BLP_bbot
Disallow: /
#User-agent: Googlebot
#Crawl-delay: 10
User-agent: bingbot
Crawl-delay: 10
User-agent: msnbot
Crawl-delay: 10
User-agent: msnbot-media
Crawl-delay: 10
User-agent: Applebot
Crawl-delay: 10
User-agent: LinkedInBot
Crawl-delay: 10
User-agent: Orthogaffe
Disallow: /
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
User-agent: Twitterbot/1.0
Disallow: /
User-agent: Twitterbot
Disallow: /
User-agent: PetalBot
Disallow: /
# Some bots are known to be trouble, particularly those designed to copy
# entire sites. Please obey robots.txt.
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: linko
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
User-agent: wget
Disallow: /
User-agent: grub-client
Disallow: /
# disallow while site is on test
# User-agent: *
#Disallow: /
# $Id: robots.txt,v magento-specific 2010/28/01 18:24:19 goba Exp $
#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html
# Website Sitemap
# Sitemap: http://www.yourwebsite.com/sitemap.xml
# Crawlers Setup
User-agent: *
Crawl-delay: 10
# Allowable Index
Allow: /*?p=
Allow: /index.php/blog/
Allow: /catalog/seo_sitemap/category/
Allow: /catalogsearch/result/
# Directories
Disallow: /apparel21/
Disallow: /application/
Disallow: /prod_images/
Disallow: /datafeed/
Disallow: /datafeed_processed/
Disallow: /user_guide/
Disallow: /systems/
Disallow: /ci_session/
Disallow: /phpmailer/
Disallow: /fancybox/
Disallow: /prod_images_orig/
Disallow: /prod_images_0229/
Disallow: /js/
Disallow: /datafeed_australia_product_set/
Disallow: /braintree_test/
Disallow: /images/
Disallow: /css/
# Paths (clean URLs)
Disallow: /index.php/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/
Disallow: /catalogsearch/
Disallow: /checkout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customer/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /poll/
Disallow: /review/
Disallow: /sendfriend/
Disallow: /tag/
Disallow: /wishlist/
# Files
Disallow: /move.php
Disallow: /resize.php
Disallow: /resize_loop.php
# Paths (no clean URLs)
Disallow: /*.$deprecated$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?p=*&
Disallow: /*?SID=
Disallow: /*?limit=all
# Uncomment if you do not wish for Google to index your images
#User-agent: Googlebot-Image
#Disallow: /
# To reduce the crawlers activity
# According to http://www.byte.nl/blog/2011/10/12/zoekmachine-bots-en-serverbelasting/
User-agent: *
Disallow: /*?p=*
Disallow: /*&p=*
Disallow: /*?dir=*
Disallow: /*&dir=*
User-agent: meanpathbot
Disallow: /
User-agent: worldwebheritage.org
Disallow: /
User-agent: worldwebheritage.org/1.0
Disallow: /
User-agent: worldwebheritage.org/1.1
Disallow: /
User-agent: spbot
Disallow: /
user-agent: ltx71
disallow: /
user-agent: AhrefsBot
disallow: /
User-agent: voltron
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: TwengaBot-2.0
Disallow: /
User-agent: 007ac9 Crawler
Disallow: /
User-agent: 1 2 3 Submit PRO
Disallow: /
User-agent: 200PleaseBot
Disallow: /
User-agent: 2ADAMbot
Disallow: /
User-agent: 2ADAMbot/1.0
Disallow: /
User-agent: 360Spider
Disallow: /
user-agent: Abonti
Disallow: /
user-agent: Abonti/0.92
Disallow: /
user-agent: abot v1.0
Disallow: /
user-agent: aboutthedomain
Disallow: /
user-agent: Add Catalog
Disallow: /
user-agent: Add Catalog/2.1
Disallow: /
user-agent: AdvBot
Disallow: /
user-agent: AdvBot/2.0
Disallow: /
user-agent: AhrefsBot
Disallow: /
user-agent: Ahrefs-Bot
Disallow: /
user-agent: AhrefsBot/1.0
Disallow: /
user-agent: Ahrefs-Bot/1.0
Disallow: /
user-agent: Ahrefs-Bot/2.0
Disallow: /
user-agent: Ahrefs-Bot/3.0
Disallow: /
user-agent: Ahrefs-Bot/4.0
Disallow: /
user-agent: Ahrefs-Bot/5.0
Disallow: /
user-agent: aiHitBot
Disallow: /
user-agent: aiHitBot/2.9
Disallow: /
user-agent: Anonymous/0.0
Disallow: /
user-agent: Associative Spider
Disallow: /
User-agent: Battleztar Bazinga
Disallow: /
User-agent: Battleztar Bazinga/0.01
Disallow: /
User-agent: BDFetch
Disallow: /
User-agent: betaBot
Disallow: /
User-agent: bieshu
Disallow: /
User-agent: Bigli SEO
Disallow: /
User-agent: Blackboard Safeassign
Disallow: /
User-agent: Blazer 1.0
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: BLEXBot/1.0
Disallow: /
User-agent: BLP_bbot
Disallow: /
User-agent: BLP_bbot/0.1
Disallow: /
User-agent: BOIA-Accessibility-Agent/PR 1.0
Disallow: /
User-agent: BOT for JCE
Disallow: /
User-agent: BOT/0.1 (BOT for JCE)
Disallow: /
User-agent: BPImageWalker
Disallow: /
User-agent: BPImageWalker/2.0
Disallow: /
User-agent: BUbiNG
Disallow: /
User-agent: BuiBui-Bot
Disallow: /
User-agent: BuiBui-Bot/1.0
Disallow: /
User-agent: ca-crawler
Disallow: /
User-agent: ca-crawler/1.0
Disallow: /
User-agent: CakePHP
Disallow: /
User-agent: Calypso v/0.01
Disallow: /
User-agent: Calypso
Disallow: /
User-agent: CB/Nutch-1.7
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: CCBot/2.0
Disallow: /
User-agent: Checkbot
Disallow: /
User-agent: checkgzipcompression.com
Disallow: /
User-agent: chushou
Disallow: /
User-agent: CloudServerMarketSpider
Disallow: /
User-agent: CloudServerMarketSpider/1.0
Disallow: /
User-agent: CMS Crawler
Disallow: /
User-agent: CMS Crawler: http://www.cmscrawler.com
Disallow: /
User-agent: coccoc
Disallow: /
User-agent: CoinCornerBot
Disallow: /
User-agent: CoinCornerBot/1.1
Disallow: /
User-agent: Copyscape
Disallow: /
User-agent: crawler4j
Disallow: /
User-agent: CRAZYWEBCRAWLER 0.9.0
Disallow: /
User-agent: CRAZYWEBCRAWLER 0.9.1
Disallow: /
User-agent: CRAZYWEBCRAWLER 0.9.7
Disallow: /
User-agent: CrazyWebCrawler
Disallow: /
User-agent: CrazyWebCrawler-Spider
Disallow: /
User-agent: Crowsnest
Disallow: /
User-agent: Crowsnest/0.5
Disallow: /
User-agent: Curious George - www.analyticsseo.com/crawler
Disallow: /
User-agent: Curious George
Disallow: /
User-agent: cuwhois
Disallow: /
User-agent: cuwhois/1.0
Disallow: /
User-agent: dahoms
Disallow: /
User-agent: datagnionbot
Disallow: /
User-agent: Digincore
Disallow: /
User-agent: Digincore bot
Disallow: /
User-agent: Dispatch/0.11.0
Disallow: /
User-agent: Domain Re-Animator Bot
Disallow: /
User-agent: DomainAppender /1.0
Disallow: /
User-agent: DomainAppender
Disallow: /
User-agent: DomainSigmaCrawler
Disallow: /
User-agent: DomainSigmaCrawler/0.1
Disallow: /
User-agent: Domnutch
Disallow: /
User-agent: Domnutch-Bot
Disallow: /
User-agent: Domnutch-Bot/Nutch
Disallow: /
User-agent: Domnutch-Bot/Nutch-1.0
Disallow: /
User-agent: dotbot
Disallow: /
User-agent: ECCP/1.2.1
Disallow: /
User-agent: eCommerceBot
Disallow: /
User-agent: enlle punto com/Nutch-1.9
Disallow: /
User-agent: EPiServer Link Checker
Disallow: /
User-agent: EuripBot
Disallow: /
User-agent: EuripBot/2.0
Disallow: /
User-agent: evc/2.0
Disallow: /
User-agent: evc-batch
Disallow: /
User-agent: evc-batch/2.0
Disallow: /
User-agent: Express WebPictures
Disallow: /
User-agent: Faraday v0.8.8
Disallow: /
User-agent: Faraday
Disallow: /
User-agent: Findxbot
Disallow: /
User-agent: Findxbot/1.0
Disallow: /
User-agent: Flamingo_SearchEngine
Disallow: /
User-agent: Flipboard Robot
Disallow: /
User-agent: GetProxi.es-bot
Disallow: /
User-agent: GetProxi.es-bot/1.1
Disallow: /
User-agent: GigablastOpenSource
Disallow: /
User-agent: GigablastOpenSource/1.0
Disallow: /
User-agent: Girafabot
Disallow: /
User-agent: Gluten Free Crawler
Disallow: /
User-agent: Gluten Free Crawler/1.0
Disallow: /
User-agent: Haiula
Disallow: /
User-agent: Haiula/1.4
Disallow: /
User-agent: HaosouSpider
Disallow: /
User-agent: Hivemind
Disallow: /
User-agent: HostHarvest
Disallow: /
User-agent: HostHarvest/0.4.28
Disallow: /
User-agent: HRCrawler
Disallow: /
User-agent: HRCrawler/2.0
Disallow: /
User-agent: HubSpot Links Crawler 1.0
Disallow: /
User-agent: HubSpot Webcrawler
Disallow: /
User-agent: HubSpot
Disallow: /
User-agent: hunchan
Disallow: /
User-agent: HyperCrawl
Disallow: /
User-agent: HyperCrawl/0.2
Disallow: /
User-agent: ICAP-IOD
Disallow: /
User-agent: ICC-Crawler
Disallow: /
User-agent: ICC-Crawler/2.0
Disallow: /
User-agent: Ichiro Robot
Disallow: /
User-agent: image.coccoc/1.0
Disallow: /
User-agent: Image2play
Disallow: /
User-agent: Image2play/0.1
Disallow: /
User-agent: Indy Library
Disallow: /
User-agent: InsightsCollector
Disallow: /
User-agent: InsightsCollector/0.1
Disallow: /
User-agent: InsightsCollector/0.1beta
Disallow: /
User-agent: integrity/5
Disallow: /
User-agent: InterNaetBoten
Disallow: /
User-agent: InterNaetBoten/0.99
Disallow: /
User-agent: IRL Crawler
Disallow: /
User-agent: James BOT - WebCrawler
Disallow: /
User-agent: James BOT
Disallow: /
User-agent: JamesBOT
Disallow: /
User-agent: JetBrains 5.0
Disallow: /
User-agent: JetBrains
Disallow: /
User-agent: Kraken
Disallow: /
User-agent: Kraken/0.1
Disallow: /
User-agent: larbin
Disallow: /
User-agent: lechenie
Disallow: /
User-agent: libwww-perl
Disallow: /
User-agent: link checker
Disallow: /
User-agent: Link/1.0
Disallow: /
User-agent: linkCheck
Disallow: /
User-agent: linkCheckV3.0
Disallow: /
User-agent: Linkdex
Disallow: /
User-agent: linkdex.com/v2.0
Disallow: /
User-agent: linkdex.com/v2.1
Disallow: /
User-agent: LinkdexBot
Disallow: /
User-agent: linkdexbot/2.0
Disallow: /
User-agent: linkdexbot/2.1
Disallow: /
User-agent: linkdexbot-mobile/2.1
Disallow: /
User-agent: LinkpadBot
Disallow: /
User-agent: LinkpadBot/1.06
Disallow: /
User-agent: LinqiaScrapeBot
Disallow: /
User-agent: LinqiaScrapeBot/1.0
Disallow: /
User-agent: Lipperhey SEO Service
Disallow: /
User-agent: Lipperhey
Disallow: /
User-agent: Lipperhey-Kaus-Australis
Disallow: /
User-agent: Lipperhey-Kaus-Australis/5.0
Disallow: /
User-agent: listicka
Disallow: /
User-agent: LSSRocketCrawler
Disallow: /
User-agent: LSSRocketCrawler/1.0 LightspeedSystems
Disallow: /
User-agent: LSSRocketCrawler/1.0
Disallow: /
User-agent: ltx71
Disallow: /
User-agent: LWNutch/Nutch-1.4
Disallow: /
User-agent: Mail.RU
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: Mail.RU_Bot/2.0
Disallow: /
User-agent: Mail.RU_Bot/Fast/2.0
Disallow: /
User-agent: md5sum
Disallow: /
User-agent: md5sum\x22
Disallow: /
User-agent: meanpathbot
Disallow: /
User-agent: Mediatoolkitbot
Disallow: /
User-agent: MegaIndex.ru
Disallow: /
User-agent: MegaIndex.ru/2.0
Disallow: /
User-agent: mezhpozvonochnoi
Disallow: /
User-agent: Mike-Crawler
Disallow: /
User-agent: MixBot
Disallow: /
User-agent: MixrankBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Monkeybot/0.1
Disallow: /
User-agent: my crawler
Disallow: /
User-agent: My Nutch Spider/Nutch-1.9
Disallow: /
User-agent: mycrowl/Nutch-1.9
Disallow: /
User-agent: MyGreatUA/2.0
Disallow: /
User-agent: MyIPTest
Disallow: /
User-agent: NerdyBot
Disallow: /
User-agent: Netcraft Spider
Disallow: /
User-agent: NetLyzer FastProbe
Disallow: /
User-agent: NetResearchServer
Disallow: /
User-agent: NetResearchServer/4.0
Disallow: /
User-agent: Nmap Scripting Engine
Disallow: /
User-agent: node.io
Disallow: /
User-agent: node.js
Disallow: /
User-agent: Node/simplecrawler 0.5.2
Disallow: /
User-agent: Node/simplecrawler
Disallow: /
User-agent: oBot/2.3.1
Disallow: /
User-agent: omgilibot
Disallow: /
User-agent: omgilibot/0.4
Disallow: /
User-agent: Online Domain Tools - Online Website Link Checker
Disallow: /
User-agent: Online Domain Tools - Online Website Link Checker/1.2
Disallow: /
User-agent: Openfind Robot
Disallow: /
User-agent: OpenHoseBot
Disallow: /
User-agent: OpenHoseBot/2.1
Disallow: /
User-agent: Openstat
Disallow: /
User-agent: Openstat/0.1
Disallow: /
User-agent: OptimizationCrawler
Disallow: /
User-agent: OptimizationCrawler/0.2
Disallow: /
User-agent: Page Analyzer v4.0
Disallow: /
User-agent: Page Analyzer
Disallow: /
User-agent: PageAnalyzer
Disallow: /
User-agent: PageAnalyzer/1.1
Disallow: /
User-agent: PageAnalyzer/1.5
Disallow: /
User-agent: PagesInventory
Disallow: /
User-agent: Pagespeed/1.1 Fetcher
Disallow: /
User-agent: Pagespeed/1.1
Disallow: /
User-agent: Pagespeedbot
Disallow: /
User-agent: Perl LWP
Disallow: /
User-agent: PHPCrawl
Disallow: /
User-agent: phpSiteCheck 1.0
Disallow: /
User-agent: phpSiteCheck
Disallow: /
User-agent: Plukkie
Disallow: /
User-agent: POGS/2.0
Disallow: /
User-agent: Powermarks
Disallow: /
User-agent: PowerPivot
Disallow: /
User-agent: PRIVACY_ENFAQ.jsp
Disallow: /
User-agent: Prlog
Disallow: /
User-agent: Prlog/1.0
Disallow: /
User-agent: publiclibraryarchive.org
Disallow: /
User-agent: publiclibraryarchive.org/1.0
Disallow: /
User-agent: Putin
Disallow: /
User-agent: Putin spider
Disallow: /
User-agent: qingdao
Disallow: /
User-agent: QlikView
Disallow: /
User-agent: quipu
Disallow: /
User-agent: quipu/1.0
Disallow: /
User-agent: quipu/2.0
Disallow: /
User-agent: R6_CommentReader
Disallow: /
User-agent: R6_FeedFetcher
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: RivalSeek.com-Bot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: rogerbot/1.0
Disallow: /
User-agent: rootlink
Disallow: /
User-agent: RU_Bot/2.0
Disallow: /
User-agent: Scopia
Disallow: /
User-agent: Scopia crawler
Disallow: /
User-agent: Scopia crawler 1.0
Disallow: /
User-agent: Scopia crawler 1.1
Disallow: /
User-agent: Scopia crawler 1.2
Disallow: /
User-agent: Scrapy
Disallow: /
User-agent: Scrapy/0.16.5
Disallow: /
User-agent: Scrapy/0.24.4
Disallow: /
User-agent: Scrapy/0.24.5
Disallow: /
User-agent: Scrapy/0.24.6
Disallow: /
User-agent: Scrapy/1.0.1
Disallow: /
# User-agent: Screaming Frog SEO Spider
#Disallow: /
# User-agent: Screaming Frog SEO Spider/2,55
# Disallow: /
# User-agent: Screaming Frog SEO Spider/2.55
# Disallow: /
# User-agent: Screaming Frog SEO Spider/3.1
# Disallow: /
# User-agent: Screaming Frog SEO Spider/3.3
# Disallow: /
# User-agent: Screaming Frog SEO Spider/4.1
# Disallow: /
# User-agent: Screaming Frog SEO Spider/5.0
# Disallow: /
User-agent: scrutiny/4
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: SEOkicks
Disallow: /
User-agent: SEOkicks-Robot
Disallow: /
User-agent: SEOlyticsCrawler
Disallow: /
User-agent: SEOlyticsCrawler/3.0
Disallow: /
User-agent: SEOstats 2.1.0
Disallow: /
User-agent: Seosys/Nutch-2.3
Disallow: /
User-agent: SetCronJob/1.0
Disallow: /
User-agent: SeznamBot
Disallow: /
User-agent: SheerBoredom.Experimental.Robot
Disallow: /
User-agent: SheerBoredom.Experimental.Robot/0.2
Disallow: /
User-agent: ShowyouBot
Disallow: /
User-agent: Simplecrawler
Disallow: /
User-agent: SISTRIX Crawler
Disallow: /
User-agent: sistrix
Disallow: /
User-agent: SiteBot
Disallow: /
User-agent: SiteBot/0.1
Disallow: /
User-agent: SiteExplorer
Disallow: /
User-agent: SiteExplorer/1.0
Disallow: /
User-agent: SiteExplorer/1.0b
Disallow: /
User-agent: SkimBot
Disallow: /
User-agent: SkimBot/1.0
Disallow: /
User-agent: sky nutch crawler/Nutch-1.9
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: SMTBot/1.0
Disallow: /
User-agent: SNK Screenshot Bot
Disallow: /
User-agent: SNK Screenshot Bot/0.20
Disallow: /
User-agent: Sogou Spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: SpamBayes
Disallow: /
User-agent: SpamBayes/1.1a3+
Disallow: /
User-agent: spbot
Disallow: /
User-agent: spbot/4.4.2
Disallow: /
User-agent: spiderbot
Disallow: /
User-agent: Spiderbot/Nutch-1.7
Disallow: /
User-agent: spray-can
Disallow: /
User-agent: spray-can/1.2.1
Disallow: /
User-agent: SSG/3.0
Disallow: /
User-agent: Statastico
Disallow: /
User-agent: Statastico/4.0
Disallow: /
User-agent: Steeler
Disallow: /
User-agent: Steeler/3.5
Disallow: /
User-agent: Stratagems Kumo
Disallow: /
User-agent: Stratagems
Disallow: /
User-agent: StudioFACA Search
Disallow: /
User-agent: StudioFACA
Disallow: /
User-agent: sukibot
Disallow: /
User-agent: sukibot_heritrix
Disallow: /
User-agent: sukibot_heritrix/3.1.1
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: Synapse
Disallow: /
User-agent: Synthesio Crawler release MonaLisa
Disallow: /
User-Agent: tbot-nutch/Nutch-1.10
Disallow: /
User-Agent: Traackr.com bot
Disallow: /
User-Agent: trendictionbot
Disallow: /
User-Agent: Trendiction-Bot
Disallow: /
User-Agent: TrueBot
Disallow: /
User-Agent: TrueBot/1.0
Disallow: /
User-Agent: TulipChain/5.xx
Disallow: /
User-Agent: Typhoeus
Disallow: /
User-Agent: UCMore Crawler App
Disallow: /
User-Agent: uMBot-LN
Disallow: /
User-Agent: uMBot-LN/1.0
Disallow: /
User-Agent: updown_tester
Disallow: /
User-Agent: URLChecker
Disallow: /
User-agent: V1.0/1.2
Disallow: /
User-agent: w3af.org
Disallow: /
User-agent: WASALive
Disallow: /
User-agent: WASALive-Bot
Disallow: /
User-agent: vBSEO
Disallow: /
User-agent: WBSearchBot
Disallow: /
User-agent: WBSearchBot/1.1
Disallow: /
User-agent: WeAreNotEvil
Disallow: /
User-agent: WebAlta
Disallow: /
User-agent: WebAlta Crawler
Disallow: /
User-agent: Web corpus crawler
Disallow: /
User-agent: WebCookies
Disallow: /
User-agent: WebCookies/1.0
Disallow: /
User-agent: WebCopier vx.xa
Disallow: /
User-agent: WebQL
Disallow: /
User-agent: Webscout
Disallow: /
User-agent: Webscout/1.0
Disallow: /
User-agent: Web-sniffer
Disallow: /
User-agent: Web-sniffer/1.1.0
Disallow: /
User-agent: Webster Pro V3.4
Disallow: /
User-agent: WebTarantula.com Crawler
Disallow: /
User-agent: WeCrawlForThePeace
Disallow: /
User-agent: VegeBot
Disallow: /
User-agent: WeLikeLinks
Disallow: /
User-agent: VeriCiteCrawler
Disallow: /
User-agent: VeriCiteCrawler/Nutch-1.9
Disallow: /
User-agent: WhatWeb
Disallow: /
User-agent: WhatWeb/0.4.8-dev
Disallow: /
User-agent: Voila Robot
Disallow: /
User-agent: voltron
Disallow: /
User-agent: woobot
Disallow: /
User-agent: woobot/1.1
Disallow: /
User-agent: woobot/2.0
Disallow: /
User-agent: Vorboss Web Crawler
Disallow: /
User-agent: Vorboss Web Crawler/Nutch-2.3
Disallow: /
User-agent: WorldBrewBot
Disallow: /
User-agent: WorldBrewBot/2.1
Disallow: /
User-agent: worldwebheritage.org
Disallow: /
User-agent: worldwebheritage.org/1.0
Disallow: /
User-agent: wscheck.com
Disallow: /
User-agent: wscheck.com/1.0.0
Disallow: /
User-agent: www.deadlinkchecker.com
Disallow: /
User-agent: www.petitsage.fr site detector 0.4
Disallow: /
User-agent: WWW-Mechanize
Disallow: /
User-agent: WWW-Mechanize/1.74
Disallow: /
User-agent: Xenu Link Sleuth
Disallow: /
User-agent: Xenu's Link Sleuth
Disallow: /
User-agent: XoviBot
Disallow: /
User-agent: XoviBot/2.0
Disallow: /
User-agent: XSpider
Disallow: /
User-agent: Yetibot
Disallow: /
User-agent: YisouSpider
Disallow: /
User-agent: yoozBot
Disallow: /
User-agent: yoozBot-2.2
Disallow: /
User-agent: zgrab/0.x
Disallow: /
User-agent: zzabmbot
Disallow: /
User-agent: zzabmbot/1.0
Disallow: /
#User-agent: *
#Crawl-delay: 10
User-agent: 360Spider
Disallow: /
User-agent: 404checker
Disallow: /
User-agent: 404enemy
Disallow: /
User-agent: 80legs
Disallow: /
User-agent: ADmantX
Disallow: /
User-agent: AIBOT
Disallow: /
User-agent: ALittle Client
Disallow: /
User-agent: ASPSeek
Disallow: /
User-agent: Abonti
Disallow: /
User-agent: Aboundex
Disallow: /
User-agent: Aboundexbot
Disallow: /
User-agent: Acunetix
Disallow: /
User-agent: AfD-Verbotsverfahren
Disallow: /
User-agent: AhrefsBot
Disallow: /
User-agent: AiHitBot
Disallow: /
User-agent: Aipbot
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: AllSubmitter
Disallow: /
User-agent: Alligator
Disallow: /
User-agent: AlphaBot
Disallow: /
User-agent: Anarchie
Disallow: /
User-agent: Anarchy
Disallow: /
User-agent: Anarchy99
Disallow: /
User-agent: Ankit
Disallow: /
User-agent: Anthill
Disallow: /
User-agent: Apexoo
Disallow: /
User-agent: Aspiegel
Disallow: /
User-agent: Asterias
Disallow: /
User-agent: Atomseobot
Disallow: /
User-agent: Attach
Disallow: /
User-agent: AwarioRssBot
Disallow: /
User-agent: AwarioSmartBot
Disallow: /
User-agent: BBBike
Disallow: /
User-agent: BDCbot
Disallow: /
User-agent: BDFetch
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: BackDoorBot
Disallow: /
User-agent: BackStreet
Disallow: /
User-agent: BackWeb
Disallow: /
User-agent: Backlink-Ceck
Disallow: /
User-agent: BacklinkCrawler
Disallow: /
User-agent: Badass
Disallow: /
User-agent: Bandit
Disallow: /
User-agent: Barkrowler
Disallow: /
User-agent: BatchFTP
Disallow: /
User-agent: Battleztar Bazinga
Disallow: /
User-agent: BetaBot
Disallow: /
User-agent: Bigfoot
Disallow: /
User-agent: Bitacle
Disallow: /
User-agent: Black Hole
Disallow: /
User-agent: BlackWidow
Disallow: /
User-agent: Blackboard
Disallow: /
User-agent: Blow
Disallow: /
User-agent: BlowFish
Disallow: /
User-agent: Boardreader
Disallow: /
User-agent: Bolt
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: Brandprotect
Disallow: /
User-agent: Brandwatch
Disallow: /
User-agent: Buck
Disallow: /
User-agent: Buddy
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: BuiltWith
Disallow: /
User-agent: Bullseye
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: BuzzSumo
Disallow: /
User-agent: CATExplorador
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: CODE87
Disallow: /
User-agent: CSHttp
Disallow: /
User-agent: Calculon
Disallow: /
User-agent: CazoodleBot
Disallow: /
User-agent: Cegbfeieh
Disallow: /
User-agent: CensysInspect
Disallow: /
User-agent: CheTeam
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: ChinaClaw
Disallow: /
User-agent: Chlooe
Disallow: /
User-agent: Citoid
Disallow: /
User-agent: Claritybot
Disallow: /
User-agent: Cliqzbot
Disallow: /
User-agent: Cloud mapping
Disallow: /
User-agent: Cocolyzebot
Disallow: /
User-agent: Cogentbot
Disallow: /
User-agent: Collector
Disallow: /
User-agent: Copier
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Copyscape
Disallow: /
User-agent: Cosmos
Disallow: /
User-agent: Craftbot
Disallow: /
User-agent: Crawling at Home Project
Disallow: /
User-agent: CrazyWebCrawler
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: CrunchBot
Disallow: /
User-agent: Curious
Disallow: /
User-agent: Custo
Disallow: /
User-agent: CyotekWebCopy
Disallow: /
User-agent: DBLBot
Disallow: /
User-agent: DIIbot
Disallow: /
User-agent: DSearch
Disallow: /
User-agent: DTS Agent
Disallow: /
User-agent: DataCha0s
Disallow: /
User-agent: DatabaseDriverMysqli
Disallow: /
User-agent: Demon
Disallow: /
User-agent: Deusu
Disallow: /
User-agent: Devil
Disallow: /
User-agent: Digincore
Disallow: /
User-agent: DigitalPebble
Disallow: /
User-agent: Dirbuster
Disallow: /
User-agent: Disco
Disallow: /
User-agent: Discobot
Disallow: /
User-agent: Discoverybot
Disallow: /
User-agent: Dispatch
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: DnBCrawler-Analytics
Disallow: /
User-agent: DnyzBot
Disallow: /
User-agent: DomCopBot
Disallow: /
User-agent: DomainAppender
Disallow: /
User-agent: DomainCrawler
Disallow: /
User-agent: DomainSigmaCrawler
Disallow: /
User-agent: DomainStatsBot
Disallow: /
User-agent: Domains Project
Disallow: /
User-agent: Dotbot
Disallow: /
User-agent: Download Wonder
Disallow: /
User-agent: Dragonfly
Disallow: /
User-agent: Drip
Disallow: /
User-agent: ECCP/1.0
Disallow: /
User-agent: EMail Siphon
Disallow: /
User-agent: EMail Wolf
Disallow: /
User-agent: EasyDL
Disallow: /
User-agent: Ebingbong
Disallow: /
User-agent: Ecxi
Disallow: /
User-agent: EirGrabber
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: Evil
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: Express WebPictures
Disallow: /
User-agent: ExtLinksBot
Disallow: /
User-agent: Extractor
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: Extreme Picture Finder
Disallow: /
User-agent: EyeNetIE
Disallow: /
User-agent: Ezooms
Disallow: /
User-agent: FDM
Disallow: /
User-agent: FHscan
Disallow: /
User-agent: FemtosearchBot
Disallow: /
User-agent: Fimap
Disallow: /
User-agent: Firefox/7.0
Disallow: /
User-agent: FlashGet
Disallow: /
User-agent: Flunky
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: Freeuploader
Disallow: /
User-agent: FrontPage
Disallow: /
User-agent: Fuzz
Disallow: /
User-agent: FyberSpider
Disallow: /
User-agent: Fyrebot
Disallow: /
User-agent: GalaxyBot
Disallow: /
User-agent: Genieo
Disallow: /
User-agent: GermCrawler
Disallow: /
User-agent: GetRight
Disallow: /
User-agent: GetWeb
Disallow: /
User-agent: Getintent
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Go!Zilla
Disallow: /
User-agent: Go-Ahead-Got-It
Disallow: /
User-agent: GoZilla
Disallow: /
User-agent: Gotit
Disallow: /
User-agent: GrabNet
Disallow: /
User-agent: Grabber
Disallow: /
User-agent: Grafula
Disallow: /
User-agent: GrapeFX
Disallow: /
User-agent: GrapeshotCrawler
Disallow: /
User-agent: GridBot
Disallow: /
User-agent: HEADMasterSEO
Disallow: /
User-agent: HMView
Disallow: /
User-agent: HTMLparser
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Haansoft
Disallow: /
User-agent: HaosouSpider
Disallow: /
User-agent: Harvest
Disallow: /
User-agent: Havij
Disallow: /
User-agent: Heritrix
Disallow: /
User-agent: Hloader
Disallow: /
User-agent: HonoluluBot
Disallow: /
User-agent: Humanlinks
Disallow: /
User-agent: HybridBot
Disallow: /
User-agent: IDBot
Disallow: /
User-agent: IRLbot
Disallow: /
User-agent: Iblog
Disallow: /
User-agent: Id-search
Disallow: /
User-agent: IlseBot
Disallow: /
User-agent: Image Fetch
Disallow: /
User-agent: Image Sucker
Disallow: /
User-agent: IndeedBot
Disallow: /
User-agent: Indy Library
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: InfoTekies
Disallow: /
User-agent: Intelliseek
Disallow: /
User-agent: InterGET
Disallow: /
User-agent: Internet Ninja
Disallow: /
User-agent: InternetSeer
Disallow: /
User-agent: Iria
Disallow: /
User-agent: Iskanie
Disallow: /
User-agent: IstellaBot
Disallow: /
User-agent: JOC Web Spider
Disallow: /
User-agent: JamesBOT
Disallow: /
User-agent: Jbrofuzz
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: JetCar
Disallow: /
User-agent: Jetty
Disallow: /
User-agent: JikeSpider
Disallow: /
User-agent: Joomla
Disallow: /
User-agent: Jorgee
Disallow: /
User-agent: JustView
Disallow: /
User-agent: Jyxobot
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Keyword Density
Disallow: /
User-agent: Kinza
Disallow: /
User-agent: Kozmosbot
Disallow: /
User-agent: LNSpiderguy
Disallow: /
User-agent: LWP::Simple
Disallow: /
User-agent: Lanshanbot
Disallow: /
User-agent: Larbin
Disallow: /
User-agent: Leap
Disallow: /
User-agent: LeechFTP
Disallow: /
User-agent: LeechGet
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: Lftp
Disallow: /
User-agent: LibWeb
Disallow: /
User-agent: Libwhisker
Disallow: /
User-agent: LieBaoFast
Disallow: /
User-agent: Lightspeedsystems
Disallow: /
User-agent: Likse
Disallow: /
User-agent: LinkScan
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: Linkbot
Disallow: /
User-agent: Linkdexbot
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: LinkpadBot
Disallow: /
User-agent: LinksManager
Disallow: /
User-agent: LinqiaMetadataDownloaderBot
Disallow: /
User-agent: LinqiaRSSBot
Disallow: /
User-agent: LinqiaScrapeBot
Disallow: /
User-agent: Lipperhey
Disallow: /
User-agent: Lipperhey Spider
Disallow: /
User-agent: Litemage_walker
Disallow: /
User-agent: Lmspider
Disallow: /
User-agent: Ltx71
Disallow: /
User-agent: MFC_Tear_Sample
Disallow: /
User-agent: MIDown tool
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: MQQBrowser
Disallow: /
User-agent: MSFrontPage
Disallow: /
User-agent: MSIECrawler
Disallow: /
User-agent: MTRobot
Disallow: /
User-agent: Mag-Net
Disallow: /
User-agent: Magnet
Disallow: /
User-agent: Majestic SEO
Disallow: /
User-agent: Majestic-SEO
Disallow: /
User-agent: Majestic12
Disallow: /
User-agent: MarkMonitor
Disallow: /
User-agent: MarkWatch
Disallow: /
User-agent: Mass Downloader
Disallow: /
User-agent: Masscan
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: MauiBot
Disallow: /
User-agent: Mb2345Browser
Disallow: /
User-agent: MeanPath Bot
Disallow: /
User-agent: Meanpathbot
Disallow: /
User-agent: Mediatoolkitbot
Disallow: /
User-agent: Metauri
Disallow: /
User-agent: MicroMessenger
Disallow: /
User-agent: Microsoft Data Access
Disallow: /
User-agent: Microsoft URL Control
Disallow: /
User-agent: Minefield
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: Moblie Safari
Disallow: /
User-agent: Mojeek
Disallow: /
User-agent: Mojolicious
Disallow: /
User-agent: MolokaiBot
Disallow: /
User-agent: Morfeus Fucking Scanner
Disallow: /
User-agent: Mozlila
Disallow: /
User-agent: Msrabot
Disallow: /
User-agent: Musobot
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: NPbot
Disallow: /
User-agent: Name Intelligence
Disallow: /
User-agent: Nameprotect
Disallow: /
User-agent: Navroad
Disallow: /
User-agent: NearSite
Disallow: /
User-agent: Needle
Disallow: /
User-agent: Nessus
Disallow: /
User-agent: Net Vampire
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: NetLyzer
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: NetSpider
Disallow: /
User-agent: NetZIP
Disallow: /
User-agent: Netcraft
Disallow: /
User-agent: Nettrack
Disallow: /
User-agent: Netvibes
Disallow: /
User-agent: NextGenSearchBot
Disallow: /
User-agent: Nibbler
Disallow: /
User-agent: Niki-bot
Disallow: /
User-agent: Nikto
Disallow: /
User-agent: NimbleCrawler
Disallow: /
User-agent: Nimbostratus
Disallow: /
User-agent: Ninja
Disallow: /
User-agent: Nmap
Disallow: /
User-agent: Not
Disallow: /
User-agent: Nuclei
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: Octopus
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Offline Navigator
Disallow: /
User-agent: OnCrawl
Disallow: /
User-agent: OpenLinkProfiler
Disallow: /
User-agent: OpenVAS
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Openvas
Disallow: /
User-agent: OrangeBot
Disallow: /
User-agent: OrangeSpider
Disallow: /
User-agent: OutclicksBot
Disallow: /
User-agent: OutfoxBot
Disallow: /
User-agent: PECL::HTTP
Disallow: /
User-agent: PHPCrawl
Disallow: /
User-agent: POE-Component-Client-HTTP
Disallow: /
User-agent: Page Analyzer
Disallow: /
User-agent: PageAnalyzer
Disallow: /
User-agent: PageGrabber
Disallow: /
User-agent: PageScorer
Disallow: /
User-agent: PageThing.com
Disallow: /
User-agent: Pandalytics
Disallow: /
User-agent: Panscient
Disallow: /
User-agent: Papa Foto
Disallow: /
User-agent: Pavuk
Disallow: /
User-agent: PeoplePal
Disallow: /
User-agent: Petalbot
Disallow: /
User-agent: Pi-Monster
Disallow: /
User-agent: Picscout
Disallow: /
User-agent: Picsearch
Disallow: /
User-agent: PictureFinder
Disallow: /
User-agent: Piepmatz
Disallow: /
User-agent: Pimonster
Disallow: /
User-agent: Pixray
Disallow: /
User-agent: PleaseCrawl
Disallow: /
User-agent: Pockey
Disallow: /
User-agent: ProPowerBot
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: Probethenet
Disallow: /
User-agent: Psbot
Disallow: /
User-agent: Pu_iN
Disallow: /
User-agent: Pump
Disallow: /
User-agent: PxBroker
Disallow: /
User-agent: PyCurl
Disallow: /
User-agent: QueryN Metasearch
Disallow: /
User-agent: Quick-Crawler
Disallow: /
User-agent: RSSingBot
Disallow: /
User-agent: RankActive
Disallow: /
User-agent: RankActiveLinkBot
Disallow: /
User-agent: RankFlex
Disallow: /
User-agent: RankingBot
Disallow: /
User-agent: RankingBot2
Disallow: /
User-agent: Rankivabot
Disallow: /
User-agent: RankurBot
Disallow: /
User-agent: Re-re
Disallow: /
User-agent: ReGet
Disallow: /
User-agent: RealDownload
Disallow: /
User-agent: Reaper
Disallow: /
User-agent: RebelMouse
Disallow: /
User-agent: Recorder
Disallow: /
User-agent: RedesScrapy
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: Ripper
Disallow: /
User-agent: RocketCrawler
Disallow: /
User-agent: Rogerbot
Disallow: /
User-agent: SBIder
Disallow: /
User-agent: SEOkicks
Disallow: /
User-agent: SEOkicks-Robot
Disallow: /
User-agent: SEOlyticsCrawler
Disallow: /
User-agent: SEOprofiler
Disallow: /
User-agent: SEOstats
Disallow: /
User-agent: SISTRIX
Disallow: /
User-agent: SMTBot
Disallow: /
User-agent: SalesIntelligent
Disallow: /
User-agent: ScanAlert
Disallow: /
User-agent: Scanbot
Disallow: /
User-agent: ScoutJet
Disallow: /
User-agent: Scrapy
Disallow: /
User-agent: Screaming
Disallow: /
User-agent: ScreenerBot
Disallow: /
User-agent: ScrepyBot
Disallow: /
User-agent: Searchestate
Disallow: /
User-agent: SearchmetricsBot
Disallow: /
User-agent: Seekport
Disallow: /
User-agent: SemanticJuice
Disallow: /
User-agent: Semrush
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SentiBot
Disallow: /
User-agent: SeoSiteCheckup
Disallow: /
User-agent: SeobilityBot
Disallow: /
User-agent: Seomoz
Disallow: /
User-agent: Shodan
Disallow: /
User-agent: Siphon
Disallow: /
User-agent: Site Sucker
Disallow: /
User-agent: SiteCheckerBotCrawler
Disallow: /
User-agent: SiteExplorer
Disallow: /
User-agent: SiteLockSpider
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: SiteSucker
Disallow: /
User-agent: Sitebeam
Disallow: /
User-agent: Siteimprove
Disallow: /
User-agent: Sitevigil
Disallow: /
User-agent: SlySearch
Disallow: /
User-agent: SmartDownload
Disallow: /
User-agent: Snake
Disallow: /
User-agent: Snapbot
Disallow: /
User-agent: Snoopy
Disallow: /
User-agent: SocialRankIOBot
Disallow: /
User-agent: Sociscraper
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sottopop
Disallow: /
User-agent: SpaceBison
Disallow: /
User-agent: Spammen
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: Spanner
Disallow: /
User-agent: Spbot
Disallow: /
User-agent: Spinn3r
Disallow: /
User-agent: SputnikBot
Disallow: /
User-agent: Sqlmap
Disallow: /
User-agent: Sqlworm
Disallow: /
User-agent: Sqworm
Disallow: /
User-agent: Steeler
Disallow: /
User-agent: Stripper
Disallow: /
User-agent: Sucker
Disallow: /
User-agent: Sucuri
Disallow: /
User-agent: SuperBot
Disallow: /
User-agent: SuperHTTP
Disallow: /
User-agent: Surfbot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: Suzuran
Disallow: /
User-agent: Swiftbot
Disallow: /
User-agent: Szukacz
Disallow: /
User-agent: T0PHackTeam
Disallow: /
User-agent: T8Abot
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: Telesphoreo
Disallow: /
User-agent: Telesphorep
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: Thumbor
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: Titan
Disallow: /
User-agent: Toata
Disallow: /
User-agent: Toweyabot
Disallow: /
User-agent: Tracemyfile
Disallow: /
User-agent: Trendiction
Disallow: /
User-agent: Trendictionbot
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: Turingos
Disallow: /
User-agent: Turnitin
Disallow: /
User-agent: TurnitinBot
Disallow: /
User-agent: TwengaBot
Disallow: /
User-agent: Twice
Disallow: /
User-agent: Typhoeus
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: UnisterBot
Disallow: /
User-agent: Upflow
Disallow: /
User-agent: V-BOT
Disallow: /
User-agent: VB Project
Disallow: /
User-agent: VCI
Disallow: /
User-agent: Vacuum
Disallow: /
User-agent: Vagabondo
Disallow: /
User-agent: VelenPublicWebCrawler
Disallow: /
User-agent: VeriCiteCrawler
Disallow: /
User-agent: VidibleScraper
Disallow: /
User-agent: Virusdie
Disallow: /
User-agent: VoidEYE
Disallow: /
User-agent: Voil
Disallow: /
User-agent: Voltron
Disallow: /
User-agent: WASALive-Bot
Disallow: /
User-agent: WBSearchBot
Disallow: /
User-agent: WEBDAV
Disallow: /
User-agent: WISENutbot
Disallow: /
User-agent: WPScan
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: WWW-Mechanize
Disallow: /
User-agent: WWW::Mechanize
Disallow: /
User-agent: WWWOFFLE
Disallow: /
User-agent: Wallpapers
Disallow: /
User-agent: Wallpapers/3.0
Disallow: /
User-agent: WallpapersHD
Disallow: /
User-agent: WeSEE
Disallow: /
User-agent: Web Auto
Disallow: /
User-agent: Web Collage
Disallow: /
User-agent: Web Enhancer
Disallow: /
User-agent: Web Fetch
Disallow: /
User-agent: Web Fuck
Disallow: /
User-agent: Web Pix
Disallow: /
User-agent: Web Sauger
Disallow: /
User-agent: Web Sucker
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: WebCollage
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: WebFetch
Disallow: /
User-agent: WebFuck
Disallow: /
User-agent: WebGo IS
Disallow: /
User-agent: WebImageCollector
Disallow: /
User-agent: WebLeacher
Disallow: /
User-agent: WebPix
Disallow: /
User-agent: WebReaper
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebSucker
Disallow: /
User-agent: WebWhacker
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: Webalta
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: Webshag
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: WebsiteExtractor
Disallow: /
User-agent: WebsiteQuester
Disallow: /
User-agent: Webster
Disallow: /
User-agent: Whack
Disallow: /
User-agent: Whacker
Disallow: /
User-agent: Whatweb
Disallow: /
User-agent: Widow
Disallow: /
User-agent: WinHTTrack
Disallow: /
User-agent: WiseGuys Robot
Disallow: /
User-agent: Wonderbot
Disallow: /
User-agent: Woobot
Disallow: /
User-agent: Wotbox
Disallow: /
User-agent: Wprecon
Disallow: /
User-agent: Xaldon WebSpider
Disallow: /
User-agent: Xaldon_WebSpider
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: Zade
Disallow: /
User-agent: Zauba
Disallow: /
User-agent: Zermelo
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: Zitebot
Disallow: /
User-agent: ZmEu
Disallow: /
User-agent: ZoomBot
Disallow: /
User-agent: ZoominfoBot
Disallow: /
User-agent: ZumBot
Disallow: /
User-agent: ZyBorg
Disallow: /
User-agent: adscanner
Disallow: /
User-agent: arquivo-web-crawler
Disallow: /
User-agent: arquivo.pt
Disallow: /
User-agent: autoemailspider
Disallow: /
User-agent: backlink-check
Disallow: /
User-agent: clark-crawler
Disallow: /
User-agent: coccocbot-web
Disallow: /
User-agent: cognitiveseo
Disallow: /
User-agent: crawler4j
Disallow: /
User-agent: dataforseo.com
Disallow: /
User-agent: demandbase-bot
Disallow: /
User-agent: domainsproject.org
Disallow: /
User-agent: eCatch
Disallow: /
User-agent: evc-batch
Disallow: /
User-agent: facebookscraper
Disallow: /
User-agent: gopher
Disallow: /
User-agent: heritrix
Disallow: /
User-agent: instabid
Disallow: /
User-agent: internetVista monitor
Disallow: /
User-agent: ips-agent
Disallow: /
User-agent: isitwp.com
Disallow: /
User-agent: iubenda-radar
Disallow: /
User-agent: lwp-request
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: magpie-crawler
Disallow: /
User-agent: meanpathbot
Disallow: /
User-agent: mediawords
Disallow: /
User-agent: muhstik-scan
Disallow: /
User-agent: netEstate NE Crawler
Disallow: /
User-agent: oBot
Disallow: /
User-agent: page scorer
Disallow: /
User-agent: pcBrowser
Disallow: /
User-agent: plumanalytics
Disallow: /
User-agent: polaris version
Disallow: /
User-agent: probe-image-size
Disallow: /
User-agent: ripz
Disallow: /
User-agent: satoristudio.net
Disallow: /
User-agent: scalaj-http
Disallow: /
User-agent: seobility
Disallow: /
User-agent: seocompany.store
Disallow: /
User-agent: seoscanners
Disallow: /
User-agent: seostar
Disallow: /
User-agent: serpstatbot
Disallow: /
User-agent: sexsearcher
Disallow: /
User-agent: sitechecker.pro
Disallow: /
User-agent: siteripz
Disallow: /
User-agent: sogouspider
Disallow: /
User-agent: sp_auditbot
Disallow: /
User-agent: spyfu
Disallow: /
User-agent: sysscan
Disallow: /
User-agent: tAkeOut
Disallow: /
User-agent: trendiction.com
Disallow: /
User-agent: trendiction.de
Disallow: /
User-agent: ubermetrics-technologies.com
Disallow: /
User-agent: webgains-bot
Disallow: /
User-agent: webmeup-crawler
Disallow: /
User-agent: webpros.com
Disallow: /
User-agent: webprosbot
Disallow: /
User-agent: x09Mozilla
Disallow: /
User-agent: x22Mozilla
Disallow: /
User-agent: zgrab
Disallow: /
Sitemap
Кол-во: 1
XML-карта сайта для поисковиков
?
Sitemap.xml помогает поисковику быстрее находить и индексировать страницы. Особенно важен для крупных сайтов и новых страниц, на которые ещё нет входящих ссылок.
Robots.txt содержит карту сайта. Это прекрасно!
Robots.txt не содержит ошибок в карте сайта.
Показать карту сайта
| Url | Статус |
|---|---|
| https://www.doconcadebarbera.com/sitemap_index.xml |
|
Внутренние ссылки
Кол-во: 32
Ссылки на другие страницы своего сайта
?
Внутренние ссылки распределяют ссылочный вес между страницами и помогают поисковику обходить сайт. Пустые анкоры и ссылки на запрещённые robots.txt страницы — типичные ошибки.
На странице присутствуют внутренние ссылки с пустым анкором: 4!
Внутренних ссылок на странице 32 оптимально.
Внутренние ссылки не запрещены к индексации в robots.txt.
На странице присутствуют изображения 8.
Показать внутренние ссылки
| Url | Анкор | Состояние | Анализировать |
|---|---|---|---|
| / |
<span class="avia-bullet"></span><span class="avia-menu-text">INICI</span><span class="avia-menu-fx"><span class="avia-arrow-wrap"><span class="avia-arrow"></span></span></span>
|
|
Анализировать url |
| /consellregulador/ |
<span class="avia-bullet"></span><span class="avia-menu-text">D.O. CONCA DE BARBERÀ</span><span class="avia-menu-fx"><span class="avia-arrow-wrap"><span class="avia-arrow"></span></span></span>
|
|
Анализировать url |
| /la-d-o-en-la-historia/ |
<span class="avia-bullet"></span><span class="avia-menu-text">La D.O. en la història</span>
|
|
Анализировать url |
| /coneix-la-nostra-comarca/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Coneix la nostra comarca</span>
|
|
Анализировать url |
| /d-o-conca-de-barbera/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Consell Regulador D.O.</span>
|
|
Анализировать url |
| /consell-regulador/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Organigrama</span>
|
|
Анализировать url |
| /premis-sigillum/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Els Premis de la D.O.</span>
|
|
Анализировать url |
| /cellers-de-la-d-o-conca-de-barbera/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Cellers de la D.O.</span>
|
|
Анализировать url |
| /varietats-raim/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Varietats de raïm</span>
|
|
Анализировать url |
| /varietats-raim/varietats-de-raim-blanc/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Varietats de raïm blanc</span>
|
|
Анализировать url |
| /varietats-raim/varietats-de-raim-negre/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Varietats de raïm negre</span>
|
|
Анализировать url |
| /el-trepat/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Varietat autòctona: El Trepat</span>
|
|
Анализировать url |
| /escapat-a-la-conca/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Escapa’t a la Conca</span>
|
|
Анализировать url |
| /gastronomia-allotjament-i-rutes/ |
<span class="avia-bullet"></span><span class="avia-menu-text">Gastronomia, allotjament i rutes</span>
|
|
Анализировать url |
| /actualitat/ |
<span class="avia-bullet"></span><span class="avia-menu-text">ACTUALITAT</span><span class="avia-menu-fx"><span class="avia-arrow-wrap"><span class="avia-arrow"></span></span></span>
|
|
Анализировать url |
| /contact/ |
<span class="avia-bullet"></span><span class="avia-menu-text">CONTACTE</span><span class="avia-menu-fx"><span class="avia-arrow-wrap"><span class="avia-arrow"></span></span></span>
|
|
Анализировать url |
| /el-trepat/ |
DESCOBREIX MÉS
|
|
Анализировать url |
| /cellers-de-la-d-o-conca-de-barbera/ |
Пустой анкор
|
|
Анализировать url |
| /cellers-de-la-d-o-conca-de-barbera/ |
CELLERS DE LA D.O.
|
|
Анализировать url |
| /gastronomia-allotjament-i-rutes/ |
Пустой анкор
|
|
Анализировать url |
| /gastronomia-allotjament-i-rutes/ |
ENOTURISME
|
|
Анализировать url |
| /portfolio/ |
Пустой анкор
|
|
Анализировать url |
| /portfolio/ |
VARIETATS
|
|
Анализировать url |
| /premis-sigillum/ |
Пустой анкор
|
|
Анализировать url |
| /premis-sigillum/ |
PREMIS SIGILLUM
|
|
Анализировать url |
| /politica-de-privacitat/ |
AVÍS LEGAL I POLÍTICA DE PRIVACITAT
|
|
Анализировать url |
| /lespluga-de-francoli-i-la-do-conca-de-barbera-clouen-la53a-festa-de-la-verema-amb-una-participacio-record/ |
L’Espluga de Francolí i la DO Conca de Barberà clouen la53a Festa de la Verema amb una participació rècord
|
|
Анализировать url |
| /la-do-conca-de-barbera-viura-una-reduccio-de-la-verema-pero-amb-una-qualitat-excellent/ |
La DO Conca de Barberà viurà una reducció de la verema, però amb una qualitat excel·lent
|
|
Анализировать url |
| /premis-sigillum-als-millors-vins-do-conca-de-barbera/ |
Premis Sigillum, als millors vins DO Conca de Barberà
|
|
Анализировать url |
| /el-consell-regulador-de-la-denominacio-dorigen-conca-de-barbera-renova-el-nom-i-la-imatge-del-concurs-de-vins/ |
El Consell Regulador de la Denominació d’Origen Conca de Barberà renova el nom i la imatge del Concurs de Vins
|
|
Анализировать url |
| /politica-de-cookies/ |
POLÍTICA DE COOKIES
|
|
Анализировать url |
| /politica-de-privacitat/ |
AQUÍ
|
|
Анализировать url |
Внешние ссылки
Кол-во: 5
Ссылки на сторонние сайты
?
Исходящие внешние ссылки передают часть ссылочного веса на чужие сайты. Ссылки на авторитетные ресурсы безопасны; ссылки на мусорные сайты могут навредить репутации страницы.
Внешних ссылок на странице 5 оптимально.
На странице ссылки с атрибутом rel='nofollow' 1.
Показать внешние ссылки
| Url | Анкор | Анализировать |
|---|---|---|
| facebook.com |
<span class='avia_hidden_link_text'>Facebook</span>
|
|
| instagram.com |
<span class='avia_hidden_link_text'>Instagram</span>
|
|
| twitter.com |
<span class='avia_hidden_link_text'>Twitter</span>
|
|
| rutadeltrepat.cat |
<span class="avia-bullet"></span><span class="avia-menu-text">Ruta del Trepat</span>
|
Анализировать url |
| rutadeltrepat.cat |
RUTA DEL TREPAT
|
Анализировать url |
Конкуренты Готовность: 0%
Конкуренты в Яндексе
Кол-во: 0
Топ сайтов-конкурентов в Яндексе
?
Сайты, чаще всего появляющиеся в ТОПе Яндекса по запросам из семантического ядра этой страницы.
Мы не нашли у вас конкурентов в Яндексе. Сайт или очень молодой или плохо продвигается.
Конкурентов в ТОП-10 Яндекса не нашлось.
Конкуренты в Google
Кол-во: 0
Топ сайтов-конкурентов в Google
?
Сайты, чаще всего появляющиеся в ТОПе Google по запросам из семантического ядра этой страницы.
Конкуренты в Google тоже не найдены. Займитесь продвижением сайта!
Конкурентов в ТОП-10 Google не нашлось.
ЗоЗПП: права потребителей Готовность: 100%
Нарушения
Не выявлены
Признаков дистанционной продажи товаров (интернет-магазина) не обнаружено — требования ЗоЗПП о раскрытии информации продавца к сайту не применяются. Нарушений нет.
ФЗ-149: рекомендательные технологии Готовность: 100%
Нарушения
Не выявлены
Рекомендательные блоки («с этим покупают», «похожие товары» и т.п.) на сайте не обнаружены — требования ст. 10.7 ФЗ-149 к сайту не применяются. Нарушений нет.
ФЗ-38: реклама Готовность: 100%
Нарушения
Не выявлены
Рекламных тематик с обязательными оговорками (медицина, БАД, кредиты и займы, новостройки) на сайте не обнаружено. Нарушений нет.
ФЗ-436: защита детей Готовность: 100%
Нарушения
Не выявлены
Признаков информационной продукции (новости, видео, книги, игры, курсы) не обнаружено — обязательная возрастная маркировка по ФЗ-436 сайту не требуется. Нарушений нет.
Вердикт
Анализ сайта doconcadebarbera.com, слабо оптимизирован на 60%. Для хорошей оптимизации и выхода на первые места в поиске требуется:
Постарайтесь исправить общие ошибки.
Исправьте ошибки в мета-тегах.
Поделитесь с друзьями: