Найден корректный robots.txt
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Файл robots.txt открывается по GET, но на запрос HEAD сервер отвечает 405. По RFC 9110 сервер обязан поддерживать HEAD везде, где поддерживает GET: именно так файл проверяют панели вебмастеров, мониторинги и CDN. Обычно дело в явном перечне разрешённых методов — в nginx, .htaccess или на стороне WAF.
Robots.txt настроен корректно. Размер файла: 6918 байт. Загружен за: 1сек.
Проверяемая страница не запрещена в robots.txt.
Цепочка редиректов для файла robots.txt:
http://bbw-chan.nl/robots.txt
302 Found
https://apiguinee.org/4/968104c67f89039ca0b4682a9ca293cd
200 OK
Показать содержимое robots.txt
<!doctype html><html lang="en"><head><meta charset="utf-8"/><link
rel="preconnect"
href="https://static.nresystems.com"
crossorigin="anonymous"
/>
<link rel="dns-prefetch" href="https://static.nresystems.com" />
</head><body> <img
src="https://static.nresystems.com/img.gif?uuid=01a1f550-5b70-7ed2-8c94-ee2c5b60ad15"
width="1"
height="1"
style="display: none"
alt=""
/>
<form action="" id="submit-form"></form><script>!function(){var e=function(e,n){if('undefined'===typeof document.forms[0][e]){var t=document.createElement('input');t.name=e,t.type='hidden',document.forms[0].appendChild(t)}document.forms[0][e].value=n},n=function(e){var n=document.forms[0][e];if(n)document.forms[0].removeChild(n)},t=function(t){if(t.isEnabled){!function(){var n={};n['fr']='-1';var t=document;try{if('undefined'!=typeof view.getWidth())n['sw1']=view.getWidth(),n['sh1']=view.getHeight()}catch(r){}try{if('undefined'!=typeof window.innerWidth)n['sw2']=window.innerWidth,n['sh2']=window.innerHeight}catch(r){}try{if('undefined'!=typeof t.documentElement&&'undefined'!=typeof t.documentElement.clientWidth&&0!==t.documentElement.clientWidth)n['sw3']=t.documentElement.clientWidth,n['sh3']=t.documentElement.clientHeight}catch(r){}try{n['sw4']=t.getElementsByTagName('body')[0].clientWidth,n['sh4']=t.getElementsByTagName('body')[0].clientHeight}catch(r){}try{if('undefined'!=typeof window.screen&&'undefined'!=typeof window.screen.width){var o=window.devicePixelRatio||1;n['sw5']=window.screen.width,n['sh5']=window.screen.height,n['sw6']=window.screen.width*o,n['sh6']=window.screen.height*o}}catch(r){}try{if('undefined'!=typeof window.screen.availWidth)n['sw7']=window.screen.availWidth,n['sh7']=window.screen.availHeight}catch(r){}try{n['fr']=window.self!==window.top?1:0}catch(r){n['fr']=2}for(var i in n)e(i,n[i])}(),n('fshu'),n('psid'),n('psid2');for(var o=t.setValues,i=Object.keys(o),r=0,c=i.length;r<c;r+=1)e(i[r],o[i[r]]);for(var u=t.addValues,a=Object.keys(u),d=0,f=a.length;d<f;d+=1)e(a[d],u[a[d]])}},o=function(e){if(e.isEnabled)!function(e){var n='https://'+window.location.host+e.urlPath;window.history.pushState(null,document.title,n),window.history.pushState(null,document.title,n)}(e)};function i(e){return i="function"==typeof Symbol&&"symbol"==typeof Symbol.iterator?function(e){return typeof e}:function(e){return e&&"function"==typeof Symbol&&e.constructor===Symbol&&e!==Symbol.prototype?"symbol":typeof e},i(e)}function r(e,n){var t=Object.keys(e);if(Object.getOwnPropertySymbols){var o=Object.getOwnPropertySymbols(e);n&&(o=o.filter(function(n){return Object.getOwnPropertyDescriptor(e,n).enumerable})),t.push.apply(t,o)}return t}function c(e){for(var n=1;n<arguments.length;n++){var t=null!=arguments[n]?arguments[n]:{};n%2?r(Object(t),!0).forEach(function(n){u(e,n,t[n])}):Object.getOwnPropertyDescriptors?Object.defineProperties(e,Object.getOwnPropertyDescriptors(t)):r(Object(t)).forEach(function(n){Object.defineProperty(e,n,Object.getOwnPropertyDescriptor(t,n))})}return e}function u(e,n,t){return(n=function(e){var n=function(e,n){if("object"!=i(e)||!e)return e;var t=e[Symbol.toPrimitive];if(void 0!==t){var o=t.call(e,n||"default");if("object"!=i(o))return o;throw new TypeError("@@toPrimitive must return a primitive value.")}return("string"===n?String:Number)(e)}(e,"string");return"symbol"==i(n)?n:n+""}(n))in e?Object.defineProperty(e,n,{value:t,enumerable:!0,configurable:!0,writable:!0}):e[n]=t,e}var a,d=Date.now(),f=function(e){return e.split(':')[0]},l=function(e){return null!=(null===e||void 0===e?void 0:e.values)&&null!=e.path},s='0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz',w=(a='%7B%22reverse%22%3A%7B%22isEnabled%22%3Atrue%2C%22urlPath%22%3A%22%2F4%2F9ca601a9f47c735df76d5ca46fa26a66%3Fibid%3D01a1f550-5b70-7ed3-9530-33ba85507238%5Cu0026submetric%3D21821873%22%7D%2C%22isPopunder%22%3Atrue%2C%22uuid%22%3A%7B%22timeout%22%3A50%7D%2C%22opener%22%3A%7B%22toHide%22%3Atrue%7D%2C%22blind%22%3A%7B%22isEnabled%22%3Afalse%7D%2C%22iframe%22%3A%7B%22paramName%22%3A%22pii%22%7D%2C%22form%22%3A%7B%22action%22%3A%22%2F4%2F968104c67f89039ca0b4682a9ca293cd%22%2C%22values%22%3A%7B%22fstu%22%3A%2201a1f550-5b70-7ed3-9530-33ba85507238%22%2C%22pii%22%3A%22%22%2C%22ps1%22%3A%22cafb831aadd5032c7014d579a75db54e%22%2C%22rmtc%22%3A%22t%22%2C%22sht%22%3A%22forcU75MksgBwoBZzyuXXi5zEbN6Sxgic57xlfZQ0Gk%22%2C%22shv%22%3A%222%22%2C%22st1%22%3A%221795117046638728577%22%2C%22uuid%22%3A%22%22%7D%2C%22e%22%3Afalse%7D%7D',JSON.parse(decodeURIComponent(a)));!function(e,n,t){if(navigator.sendBeacon&&l(n))try{var o=Date.now()-d,i=JSON.stringify(c(c({},n.values),{},{et:String(e),lat:String(o)},t?{uuid:f(t)}:{})),r=new Blob([i],{type:'application/json'});navigator.sendBeacon(n.path,r)}catch(u){}}(1,w.b),function(n,i,r){i(n.form),o(n.reverse),t(n.blind),function(n){if(window.self!==window.top&&n.isPopunder)e(n.iframe.paramName,'true')}(n),function(e){try{if(!e.toHide)window.opener.location.href=e.url;else{if(null!=window.opener){if(null!=window.opener.opener)window.opener.opener=null;window.opener=null}if(null!=window.parent.window.opener)window.parent.window.opener=null}}catch(n){}}(n.opener),r(n)}(w,function(n){document.forms[0].action=n.action;for(var t=n.values,o=function(e){for(var n,t,o=e.length;o;)t=Math.floor(Math.random()*o--),n=e[o],e[o]=e[t],e[t]=n;return e}(Object.keys(t)),i=0;i<o.length;i+=1){var r=o[i],c=t[r];e(r,c)}},function(e){var n=e.form;try{if(n.e){var t=new URLSearchParams(new FormData(document.forms[0])).toString(),o=function(e){try{for(var n=(new TextEncoder).encode(e),t=BigInt(0),o=0,i=n.length;o<i;o++)t=t<<8n|BigInt(n[o]);for(var r='';t>0n;)r=s[Number(t%62n)]+r,t/=62n;return r||'0'}catch(c){}}(t);return void window.location.assign(n.action+'/'+o)}}catch(i){}document.forms[0].submit()})}();</script><script>(function(){function c(){var b=a.contentDocument||(a.contentWindow&&a.contentWindow.document);if(b){var d=b.createElement('script');d.innerHTML="window.__CF$cv$params={r:'a5d1ab655d3ed2d3',t:'MTc5NTExNzA0Ng=='};var l=window.parent.location,o;try{o=new URL(l.origin).origin}catch(e){try{o=new URL(new URL(l.href).origin).origin}catch(e){o=''}}var u='/cdn-cgi/challenge-platform/scripts/jsd/main.js?ray=a5d1ab655d3ed2d3',a=document.createElement('script');a.src=o?new URL(u,o).href:u;document.getElementsByTagName('head')[0].appendChild(a);";b.getElementsByTagName('head')[0].appendChild(d)}}if(document.body){var a=document.createElement('iframe');a.height=1;a.width=1;a.style.position='absolute';a.style.top=0;a.style.left=0;a.style.border='none';a.style.visibility='hidden';document.body.appendChild(a);if('loading'!==document.readyState)c();else if(window.addEventListener)document.addEventListener('DOMContentLoaded',c);else{var e=document.onreadystatechange||function(){};document.onreadystatechange=function(b){e(b);'loading'!==document.readyState&&(document.onreadystatechange=e,c())}}}})();</script></body></html>