Найден корректный robots.txt
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Robots.txt настроен корректно. Размер файла: 11312 байт. Загружен за: 0сек.
Проверяемая страница не запрещена в robots.txt.
Цепочка редиректов для файла robots.txt:
https://neopoisk.ru/robots.txt
302 Found
https://neopoisk.ru/login/?next=/robots.txt
200 OK
Показать содержимое robots.txt
<!DOCTYPE html>
<html>
<head>
<meta charset="utf-8" />
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta
name="viewport"
content="width=device-width, initial-scale=1, shrink-to-fit=no"
/>
<title> Вход в систему </title>
<link href="/static/style.css?v=1.11.6" rel="stylesheet" />
<!-- FAVICON -->
<link rel="shortcut icon" href="/static/favicon.ico">
<link rel="apple-touch-icon" sizes="180x180" href="/static/apple-touch-icon.png">
<link rel="icon" type="image/png" sizes="32x32" href="/static/favicon-32x32.png">
<link rel="icon" type="image/png" sizes="16x16" href="/static/favicon-16x16.png">
<!-- Google fonts -->
<link rel="preconnect" href="https://fonts.googleapis.com" />
<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin />
<link
href="https://fonts.googleapis.com/css2?family=Roboto:ital,wght@0,300;0,400;0,500;1,300&display=swap"
rel="stylesheet"/>
<!-- Bootstrap icons-->
<link
rel="stylesheet"
href="https://cdn.jsdelivr.net/npm/bootstrap-icons@1.10.5/font/bootstrap-icons.css"
/>
<script
type="text/javascript"
src="https://code.jquery.com/jquery-3.7.0.min.js"
></script>
<script type="text/javascript" src="/static/script.js?v=1.11.6"></script>
<!-- JQuery UI -->
<link rel=stylesheet href="https://code.jquery.com/ui/1.13.2/themes/base/jquery-ui.css" />
<script type="text/javascript" src="https://code.jquery.com/ui/1.13.2/jquery-ui.min.js"></script>
<!-- Select2 -->
<script src="https://cdn.jsdelivr.net/npm/select2@4.1.0-rc.0/dist/js/select2.min.js"></script>
<link href="https://cdn.jsdelivr.net/npm/select2@4.1.0-rc.0/dist/css/select2.min.css" rel="stylesheet">
<script src="https://cdn.jsdelivr.net/npm/@cap.js/widget"></script>
<script type="text/javascript">
//$(window).bind("pageshow", function(){
// hideLoader()
//})
window.addEventListener('pagehide',()=>hideLoader())
</script>
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();
for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }}
k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
ym(93848705, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/93848705" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
<!-- Yandex.Metrika counter -->
<script type="text/javascript" >
(function(m,e,t,r,i,k,a){m[i]=m[i]||function(){(m[i].a=m[i].a||[]).push(arguments)};
m[i].l=1*new Date();
for (var j = 0; j < document.scripts.length; j++) {if (document.scripts[j].src === r) { return; }}
k=e.createElement(t),a=e.getElementsByTagName(t)[0],k.async=1,k.src=r,a.parentNode.insertBefore(k,a)})
(window, document, "script", "https://mc.yandex.ru/metrika/tag.js", "ym");
ym(98862741, "init", {
clickmap:true,
trackLinks:true,
accurateTrackBounce:true,
webvisor:true
});
</script>
<noscript><div><img src="https://mc.yandex.ru/watch/98862741" style="position:absolute; left:-9999px;" alt="" /></div></noscript>
<!-- /Yandex.Metrika counter -->
</head>
<body>
<header>
<nav class="nav">
<a href="/" class="main_logo">
<img src="/static/logo.png" />
</a>
<a class="nav-link small-link" href="https://promo.neopoisk.ru/about" target="_blank">О сервисе</a>
<a class="nav-link small-link" href="/catalogue/" >Каталог</a>
<a href="/login/" class="nav-link small-link">Войти</a>
<a href="https://promo.neopoisk.ru/help" class="bi-question-circle help_link nav-link" target="_blank"></a>
</nav>
</header>
<main>
<div class="auth-block">
<h3>Вход</h3>
<p>
Для использования сервиса, пожалуйста, авторизуйтесь или <a href="/register/">зарегистрируйтесь</a>
</p>
<form class="auth_form login-form" method="POST" >
<div class="form">
<input type="hidden" name="csrfmiddlewaretoken" value="QQiyl9fozlg5YCDqnKoW2eCCJTtwSTM6C9JVog46IJdTVADxcnPdvY3cMDW2A83U">
<div class="form-control">
<label>Адрес электронной почты</label>
<input class="input" type="email" name="username" required/>
</div>
<div class="form-control">
<label>Пароль</label>
<div class="password_with_eye">
<input class="input" type="password" name="password" required>
<span class="show_password_btn bi bi-eye-slash-fill btn-show"></span>
<span class="show_password_btn bi bi-eye-fill btn-hide" style="display:none;"></span>
</div>
</div>
</div>
<p>
<button class="btn btn-default btn-big">Войти</button>
</p>
<p>
<a class="link link-default" href="/passwordreset/">Забыли пароль?</a>
</p>
</form>
<div class="sso_links">
<a id="sso_links_open" class="link" href="javascript:void(0);">Другие способы авторизации</a>
<div class="sso_links_list">
<a class="link" href="/oidc/auth/itmo/">ИТМО ID</a>
<a class="link" href="/shibboleth/">ФЕДУРУС</a>
<a class="link" href="/sso/auth/rudn/">РУДН ID</a>
</div>
</div>
</div>
<script type="text/javascript">
$(function(){
$(".show_password_btn.btn-show").click(function(){
$(this).prev().attr('type','text')
$(this).hide()
$('.show_password_btn.btn-hide').show()
})
$(".show_password_btn.btn-hide").click(function(){
$(this).parent().find('input').attr('type','password')
$(this).hide()
$('.show_password_btn.btn-show').show()
})
document.getElementById('sso_links_open').addEventListener('click', function(){
this.nextElementSibling.style.display = 'flex'
})
})
</script>
</main>
<footer>
<div class="footer_block">
<div>
<a href="/" class="main_logo">
<img src="/static/logo.png" />
</a>
</div>
<div class="copyright">© 2023-2026</div>
</div>
<div class="footer_block">
<ul>
<li><a href="https://promo.neopoisk.ru/about" target="_blank">О сервисе</a></li>
<li><a href="https://promo.neopoisk.ru/contacts" target="_blank">Контакты</a></li>
<li><a href="/static/policy.pdf" target="_blank">Политика обработки персональных данных</a></li>
</ul>
</div>
<div class="footer_block">
<ul>
<li><a href="https://promo.neopoisk.ru/partners" target="_blank">Партнёрство</a></li>
<li><a href="https://promo.neopoisk.ru/help" target="_blank">Справка</a></li>
</ul>
</div>
<div class="footer_block">
<ul>
<li>Мы в социальных сетях</li>
<li class="social_networks">
<a href="https://vk.com/neodiscovery" target="_blank">
<svg width="40" height="40" viewBox="0 0 101 100" fill="none" xmlns="http://www.w3.org/2000/svg">
<g clip-path="url(#clip0_2_2)">
<path fill-rule="evenodd" clip-rule="evenodd" d="M7.52944 7.02944C0.5 14.0589 0.5 25.3726 0.5 48V52C0.5 74.6274 0.5 85.9411 7.52944 92.9706C14.5589 100 25.8726 100 48.5 100H52.5C75.1274 100 86.4411 100 93.4706 92.9706C100.5 85.9411 100.5 74.6274 100.5 52V48C100.5 25.3726 100.5 14.0589 93.4706 7.02944C86.4411 0 75.1274 0 52.5 0H48.5C25.8726 0 14.5589 0 7.52944 7.02944ZM17.3752 30.4169C17.9168 56.4169 30.9167 72.0418 53.7084 72.0418H55.0003V57.1668C63.3753 58.0001 69.7082 64.1252 72.2498 72.0418H84.0835C80.8335 60.2085 72.2914 53.6668 66.9581 51.1668C72.2914 48.0835 79.7915 40.5835 81.5831 30.4169H70.8328C68.4995 38.6669 61.5836 46.1668 55.0003 46.8751V30.4169H44.2499V59.2501C37.5833 57.5835 29.1668 49.5002 28.7918 30.4169H17.3752Z" fill="white"/>
</g>
<defs>
<clipPath id="clip0_2_2">
<rect width="100" height="100" fill="white" transform="translate(0.5)"/>
</clipPath>
</defs>
</svg>
</a>
<a href="https://t.me/neopoisk" target="_blank">
<img src="/static/telegram_logo.svg" width="40" height="40">
</a>
<a href="https://www.youtube.com/@neopoisk" target="_blank">
<img src="/static/youtube_logo.svg" width="40" height="40">
</a>
</li>
</ul>
</div>
</footer>
<div class="shadow" id="main_shadow">
</div>
<div class="loader main_loader" id="main_loader">
</div>
</body>
<script type="text/javascript">
$(function(){
$(".tab_list a:not(.disabled)").click(function(){
showLoader()
})
$("form").not('[method=dialog]').submit(function(){
showLoader()
})
/*
$(".collapser").click(function(){
let t = $(this).attr('data-toggle')
$(t).toggleClass('collapse')
})
*/
$(".tooltip-click").click(function(){
let target = $(this).attr("tooltip-target")
$(target).show()
})
$(".tooltip-window .close_btn").click(function(e){
e.stopPropagation()
$(this).parent().hide()
})
})
</script>
<script type="text/javascript">
$(function(){
$("input[type=file]").each(function(){
this.update_label = function(){
if (this.files.item(0)){
$(this).next().text(this.files.item(0).name)
$(this).next().addClass("selected_file")
}
else{
$(this).next().text('Выберите документ для загрузки')
$(this).next().removeClass("selected_file")
}
}
})
$("input[type=file]").change(function(e){
this.update_label()
})
document.ondragover = function(e){
e.preventDefault()
}
document.ondrop = function(e){
e.preventDefault()
}
$(".dropzone").on('dragenter',function(e){
e.stopPropagation()
e.preventDefault()
$('label',this).addClass("dragenter")
})
$(".dropzone").on('dragleave',function(e){
e.stopPropagation()
e.preventDefault()
$('label', this).removeClass("dragenter")
})
let dropzone = document.querySelector('.dropzone')
if (dropzone)
dropzone.addEventListener('drop', (event)=>{
event.preventDefault()
event.stopPropagation()
const target = event.target
const fileInput = document.querySelector('input[type=file]')
fileInput.files = event.dataTransfer.files
$(fileInput).change()
$(target).removeClass('dragenter')
})
})
</script>
</html>
PrestaShop