Найден корректный robots.txt
Файл управления сканированием сайта роботами
?
Robots.txt указывает поисковым роботам, какие страницы сканировать, а какие — нет. Ошибки в файле могут случайно закрыть важные разделы от индексации.
Robots.txt настроен корректно. Размер файла: 12718 байт. Загружен за: 0сек.
Проверяемая страница не запрещена в robots.txt.
Цепочка редиректов для файла robots.txt:
http://i.insider.com/robots.txt
301 MovedPermanently
https://www.businessinsider.com/public/assets/logos/placeholder.png
200 OK
Показать содержимое robots.txt
�PNG
IHDR�8�<�`tEXtSoftwareAdobe ImageReadyq�e<)iTXtXML:com.adobe.xmp<?xpacket begin="" id="W5M0MpCehiHzreSzNTczkc9d"?> <x:xmpmeta xmlns:x="adobe:ns:meta/" x:xmptk="Adobe XMP Core 9.1-c001 79.1462899777, 2023/06/25-23:57:14 "> <rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"> <rdf:Description rdf:about="" xmlns:xmp="http://ns.adobe.com/xap/1.0/" xmlns:xmpMM="http://ns.adobe.com/xap/1.0/mm/" xmlns:stRef="http://ns.adobe.com/xap/1.0/sType/ResourceRef#" xmp:CreatorTool="Adobe Photoshop 25.0 (Macintosh)" xmpMM:InstanceID="xmp.iid:53E25852783411EE9246ACCA3A324357" xmpMM:DocumentID="xmp.did:53E25853783411EE9246ACCA3A324357"> <xmpMM:DerivedFrom stRef:instanceID="xmp.iid:1FA90D09783011EE9246ACCA3A324357" stRef:documentID="xmp.did:1FA90D0A783011EE9246ACCA3A324357"/> </rdf:Description> </rdf:RDF> </x:xmpmeta> <?xpacket end="r"?>{��0PLTE��������������������������������������������������ۆ0IDATx���킚H�Q�[r�w���d��֖*
��s�쟝h[��*V�Ty�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@��h@�h@�h�@�h�@��h�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@��h@�h@�h�@�h�@��h�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@��h@�h@�h�@�h�@��h�h@�h@�h�@��C �4�@ �
�@ �
�@4
�@4
�4�@ �4�@ �
�@ �
�@4
�4
�4�@ �4�@ �
�@4
�@4
�4
�4�@ �4�@ �
�@4
�@4
�4
�4�@ �
�@ �
�@4
�@4
�4�@ �4�@ �
�@ �
�@4
�@4
�4�@ �4�@ �
�@ �
�@4'5��U��a�{w��ca���W,�����j���
O�D� �H]54��3us�:��x;���������p�����{��>�H�5MeKta��G��7�?2ݟ���@w}ջ�k�=K�n1t
���6�Al�B�M5�&�*ă��W���KI�mt����gj.��0/��?<\;�>��-���_s��P�?^��A��[_G=T�vT�o�_��!d�G>������'hP����E�cnx�I�z��<�D��@G�����*�o�@'Z�S�n�oy��@�|�ާ�z�ǥ��'=�zlz��}��f�kZ�Wx�������6���1�faLjRVu�mwh�����;j����_�Q�K��g���®r���?�h�N�d)+�]��0�f������>x�=v�@�>�s�,%zJ�';y�@�ө=5-�וw�u-�3�,:�Yֿ����́�naW=}�����;�=N���<B���;o�7\ؿ�7� �@��M��*';:|�q�@o��[lB��'х��ߎ��!�1��®���@t���@�Ʒ�:xc"�/�>�u`h�NyrVD����:t�q�@o��럸�@'��%z�m�Q�߆�z�]��Y�:� ��@�+n��v?Y��_�
�,���:�@�kvդ����n��@',t��^�l'�@�]��@ﱰ[�>�����rH�
tХ�K���-����ʻ)�@�9
�.��dE�:�3'�@��>R~�r��}�C�&��c�ǩ�@���rt����@�o;z�3w�蔧gyz�ݔ]��9��N���C�:�s'�@������!GɁ�ka���Z����:��z����@ﵰA�@�֪���n�0�s���@ﶰ뿧!���}¢=�3������vo-���)tƁ��<+�@ϼ4t���oa����ꬁ����
�n�ɑA�:��'�@ק
��KC���vh��<��bݽ�6г��z���Z�3�XL��z�./6л-�6G��ϟ|]�9�3��z��Z��tUH��9��5�3��z���Z��tSH�����}^j�w[�ۛ@t�� ts�@��A���V-����-#�rP7?�cɁ~yդR����o��Z��v/"�Q��q��?�?mw�@��jR���Z�:��ƌ�Ǧ��q�ӭ���(��);�4͘b����ףc�tk���Ty�~qi�B�va��v�x�=�3M]�l� ���4�Sw�8+��k�.~1�����b�Qh���z��ݼ�
>u��ջ��h��>�]�{.C����9_���_wT�~�Qh�w[�{�}���>�-��>P���\]/��B�rց�vȱi��j�{���6�}�z��w�(���S�>`���..�����IOց����i��Ug�����O�-Ћ
]F�S~��Wy�����@����ӅRϣ��{u<Z�î�;�����}��f�Qf��[�f�#����@t��x���֠��7� �ta����_�h��:8��Ӡ#�@?��:fa�
�ޏD�@/�n��:���Z����ȷG�®=��}lh�^���x���{���}���N��A�n�o�h��:w���ݏ�1��*��.
}�@�\�f�C�E�z���G ��pB�8�O�Xf��[��5Qh�N�ŀ��_Jt�E)����~<�8��?.űS�߮���#�B~Q%�*PC{�@?r��6��\�J�:Q���~�@�Ltn�~�dz:��F���Dt�,6�[-�@G%n��GC�B���ޣx��Yl���\�ru�1Џ��z��m#ox���@/���衐@w�-Kp��_���pd��^���e�<��pS�z,�����($�ӂ�->��0�_��@ﷰK�1���,���7�r
t�O|�zE�a���\���oa�eGȡe���b�?V���m��7�=�� ��maoKo�8Z�ó���_��lݥ8�迿��i��H}�!�煍�ɸ��k�h���T5���2t����4�@�=�(�Gc�u:���4�P���@������%�@_5"�'�@�ux-6л-l�膍�z��
�o������?ׯ�@ﷰM���F��o3���)�a���!G���oa��7<�-�)�s)+�]ҿ������!��@'^��셝ƴ\'���<�gZ?7T[z�?��U���oaSﻦh�N���O�ݥ�E[x��Cz��M|
}�D�}�:��ϴ>e��U�
�
;�S��M{�.���ݮ�HTE���RɁ�ka�84�4[��u��w��y����@��VBɁ�ka��q�c�@��g��yz�uzUL��r�v�!�9���we�^���Eg�ߏSف�ga�r��$Z�S=u�}�9�@��P����e���s��ez��}�+��:'��W�zٻ۹z����$�u������ea�<y�s�.���I��Nvm���������vG��K��
�7�蠧��O����R���g�@�OE9�����s�+-�a��
��y�@���n����h�����ڋ�gy�@G��~�@��^�>*�@��&��7�ցr��!�_�o�Bt�~��2}��z�}�"�1C�Cz���Y��
=�Z�ӝN���ӐE�#��1���~6]��m-�s7ha���+��"�C����L.�&g�@t��z1�~F�s��e��!�x�@o��ۜ�_Z�����@�t�`Z�C����W���na�n�q�C�@��1GI�^�\��"�+]ħ�@����
�$����ez�S�6�@�u��"���+$z�*��F[M�:�iSZ��8�i���C����nu�>N-�I��..�k��.�@�8�(!�[,�f��
�@'y���;��#��
9����Y�Op
-�+�C�}'�YvYz�!G)�~_�jͅ�68�ʏ�@t�)E��N���yz�!G9�^wa�wK���Z�7٪��cC��l��=��s�Q��Ʉ��@�%�c���4���!GɁNx�U��~���@���3tC��d#�g �7Y��?��C:�IO�I�Wr��uv˃�$��vYw�@�u��Rx�@�3�(1�k,�����FW-��N��S�=��̰g����]&�^g�Qh��/lH��~Nhh��
J��j��]GwZv�s�%Ы9���$�6rʅ���P�@G���v�2Зeo�7�z�!��@�{}�%g��ެ[rphZ��u�?�rk����'t�gM�� �C���la�����]�:*�U��E��������;�z�!G��N��q���N���ir�:D�Ӱ�^ؿ�lf����|=�����N'�qgу@��L.���H�@�^��������|::K��/�džF�:n�u�c��O���=�#��5�@_����n�e��1�[�*�"0�!��]6R�`�)Щ�� �
ݶ�-��w�{���{����ׂ7����)Щ�9z����zh���ҟb4~hi��.p��w�zYnE:�#�@/]�6va�����tM+�����s
��o�K?�4�C����¾o�zQ3;��MfПc�t���G���u/�O��?,�@�rd�}�cӍ��2
�@o�)��O����s�%��y���k�e:�#�@ﲰ�6ݒx-��:r�����)t��!��=�}�}���C���VW[/l���Xg-����[P�Y�����g�|��
t�!G���~a��t��g���kj��J~w}&��݊��U�N8��2�[/�M�D�=��xh��}��������7ߝ��}�s�)>���:.���@���m�#�/�������V��}|5�8���x9����@&�N7��6�[.�_�.�,:�x9
�@���C���-x���}�6�r���y����/��g�dC�����~�t�����p�$��(�X��ǫ�*�A�9o��U��6��r����]$��}�M�IG�.h���@El�vY����{�����0'�O�y�����.�@�r������'[Mk/l��g����U�O詻F��]�|}i���?r���s��;*���S��N4��?гR�la��7��<z�#�Y%���X=�_�#��������`j�Ղ�l/����_��Ϸ�������5�Ez��n���E���:�>G��k��7'/������ݪaL�d�4C�R��¾z�����C[]c���$�u�=�]x���4õ�0͒��*�@'r��ߵL����n��nx���F�:�ķٹϏ"Uo{~d�C�����n��-Б�u>+���u�}�g&�
t��9o���6]'������yبm��q�9��a�Mw��
��/���?�������C����ד�h�N��k�����kl���:��,�ˇ�
��ۦ�Z��M��C�/��>���!�i=��?��C�7=��x
����6��]�^:�8m���6� ��a�������y��9��z�M�
�@'=��;ݝg��w<F��C����k��-B���ؾ�g�o�����e��I]��:���ñ!����>�J�M�.솛�'���pl�� �v�@ח��9s�@m�N�:�V����ݹ_�tUF��<"�t�צ.-�q[eZ퍨ć���qs)$�7�^���m�V�z��^�֟�/�-%��5�t�צ�/-�k<u�m��u�A�=$�:�19c���6]}h�^穳��Un���\
�M�,�F�nlZ�ӟ�nǪ����ے�<���sxZ�@/��o��}���G�|�������@t�K�۬�6���m�qu),Б��.��^����@���~���F���7Б��-��^��ۏ�
�@?��f߹!�>o���Ky��;~�,��^��n/-�k?s����>�/%:j�q�@�{m�3�Y��NƦ��ޜ��w<H��!ǩ���N4����*��7o�R�x��:�1C�3��k�
��@�1~��m�m��{������Rl�#�9z����{h�/��
N�U`�s�3� ��~z1,�;�C�����~{�oW����E�z��]��Ǻ��Q�'i7t��#�@�/����{Z��=o�\9�M�l�'�p��)��D�rd��v�D���"������C�gs��"�N����<��-��,�^���>�&!ڴ����a�|3e��!G~��Xؤ�ڝ�;��rh���5ճ&U�/�tj�f�?ЁC�}�L�/�o]�����rh�z�\��S$z��|7l�����wq�@�\�q�<�;�7�ͳ@G>c�U���/�24 ��T5�#
tؐ#�@<��N�n�e<�pC�c�-�{�ok}�iA�M[��ĸ�^*!�AC�����øO$�k��Y�@��>$��Uu���di�u�����g1;jB�R���P�����d���،���X؇����~S����.d�
;����Ǎ�}/��}g�
���ުa�3���'k%�eo�zX����͋;2~�|,Xi'�N;u���
U'����wu\u�eS��k�4��i_7��W7�A����ux_��υ�V+?��[W��O��nޟQw�(�.j�?����<��"4
�@4
�4�@ �4�@ �
�@ ��YM������/��:�7���N�W�e�DZ@��#γ�ԏ��@o�!���T �?y�]�^w���4�.�����[m,S
����K��������5�.FP��g�!�}�r
���wu�Ƿ��e��>�qޡ�'�o���4)�ձi�~{[���}�f�j�f������IZ�����Wi����"�@O�'ϟo�j�t���a4�B���!G�@'��OC[L��(�Q����\Z�:vȑ<�ls?Ot���;>?Y���@�O��7�� �-�&��<�q[�V���F������>��~���
����c!����~���^ac��z�i�q�~�h�>w��i�@'�>���p�5��
}�@�]w�u�M]f�cct�@����F�����i��]j��}�@�պ"�'t�#Q���M��k{�@���s-Ч
t�#M���M�S�/� �o�I�@�6СC�$�^����@�9��Q[���r���}.=Ё'ѧt�'��#:pȑ"�Û@':�>I�Z�O��Ɓ����;� ����>�I=N���&��NOh��:��Ћ��=cI&�^�y#� ��4��@���cz�g�Nhsh�>k�.
�4�՛@ϻ7�^�f }�@9z��q�6�:�<�>R��9z��&г�T���M��@�>9r݁=���
�1�@�4гON�z贅>Y��n2!Ч��!Ǣ@�o�vU�hC�>i�����:�-�>�!�'
���^�M2w�@�zs�t��uB���y_�Z�J�#�4 t�(�>Z�g]zI�k�N=v=_��B�Y=����M��o_ٜ/Ц�}�@�r,t%��_ٜ0�>�!�g
�!ǂ@7����:�������#>�ӛ@'?i<c�]wT����O��@w���g�(}�@�|���_��f�wסi��~:�8c��8���~5�t�vn����4u��iN�C�SڌC�O�Wo��z�'c��`1uՓ��c��Y�)�s}�@���it�C�#_?�nUs�@?yes�@�Mb!Ч
��W�t�{�3�o����ɥ��h���:�w�����5����zl��N���qZ�{�Ȳ@7�Ch��5NP��=°��}�S����5��B�:������˛�*����ݐ#:���;���
����}�ӟB�_c�� �OB���]�}]>p�^�d�_A��B���>Q����3��!Gt��4���,:�@>�Os
]z��ژ�+� ���|ȑs��/�@/Itu�@G}�Tl�ԁ~ޘm=�>��}���3����B�O�[`�@��C�6�@ǽ��C:���Ep���~�%�5m�r~hg��>�)�1�ch>g'�g����K�4;З.f���m�h��0״�����=t�/mL���:�[�~9V�O���y��z�<�n��B7G
t'�-� �с�E܁d��1ЗvH��zZ�z��c�ˍ�{�7�1?V4Ё��@�@?������o]�G
t�\��?}�@_Z�z��#>��.n�
t��ǣ�h���C��@WK�G�:|� �@�@��.�ݲ{R��:�����A�@?�jD|�/��;?��6�K�C'����]�zѼ��݉kt��=��<�c�Z?�a_4u-���Z�.��G���S�6�A/x��F��w�>]��6U���8~��}{�@���� t�q��Z��fI���w�~�@~���%Ё�3��B���9ے@O)�U]M�thc�C:���B��ѐcI�/M��U_�#z�u���G��@����(�]�{6�jJ9:t�10Ё�q�@?r,
�
=�w�s�C_W�8^����GZ�?
9���߷�/=Ё����gE+-�omY�]���ۅe��������EB��D[ta��O8w�u���<@���WUW�h�~��ӥ�^a�1�$:�@~�g8T��&���@��ۛ�z�!�˓���3f���yA�Z�}�@���+:�3��ڭ�@���]�~dGi�����Od�D�^g����;��S����6u����>~��3�kȑ �S�mG�t����B�l��}�@�qC���bo���w�+��C)����
9Rz�Bד@<�>-��tܐ#I�כr�}�@߄B����!G�*Ы}��ɔC��hh�>K�#��d�Ny����r�>j�}�C�O��6��}��4�����c�}�@G9�:�[�s"���cv��R��1�S�u�>��*���@�*Ы��;�*���A�
8Z�z�����֘Dwe��UW��@�uq��é�`'���]p����.����
s���@�������g�>a��r��=y���-8��(оB(�g�zC���D�NtUP�O_!���j�,�C�mҷ�����8e��E��赆��*�����@��ߦz�3�}�@�5���W;�:���{`�.�tm�,�'�J;-�{��4wf�J t`c������܁^g�{�6ɨ�+$С��~=]����A�O�u��l���G�B���O�QX��^e�-��X�p]�п�ǹ�o�@�2�X|m�e����@��@�K��6δW��>�@�5�Hp��%���t���, t���h�g���v[���G�F_Kt������g�����~����6:�A��hyh���k��]/��\����sZ�Z�W�o)@.���:��j���@�e�
��
?�nst�k��$g�w9h�^w���]��.��}�8 �' ����@�������uY���P��tL���ˇ}���
�@�;��;�K/z:���tL��.�q?�a-����K�^v=��u���c�t�@���@��{�A��]Z�9L��k�#:\
t�{.2*����Q�]]�z�@wu��ʂ݆^M�Z��K;V��3����<}~x�J
t��3Ih�^x���Wꑉ���=�@O}�@���Z��H�z�c]Go�l� ���ST������ �@�5��&�o�5<��[ၞ�]�/>���"��l�Q�����ݝ�W���_� ������1NUh�^i�Q�:��|ܸ�詽ݫk��!�/�:�}��-Ы9^���R���y��A���_�}���'t�����Z��r��GGg5�
�,ЏWl��� ��WX��o��U�����/^�F}��z�@?�vkq�j �@�C�ف���6ճ��Ž�v?T���:���ʣ-�k9B��L����wتk���G
�p9J���1�@�
C��@�w6�K�� ��@�~���~�ch���C��@��)�O���@G<��@t�!Ǿ����r�@G���1�@t�!Ǿ�n��o��Wd��_��ʷ@t�!Ǯ�n.� �7_,2��Ό�Z�9v
tu�@���:�g!\yT�:�c�@�� ��/��t�o_C�@�r���r�@�)�B}i���z�c�@wG �+5�m��C`Z�S9vt}9H�_��/5��M2�h�N:��1��A��r��:���+�-� ����$�/�BWl�c����-����:H�_�R���x��Z�:ݐc�@7�Cz�1t-8����,��TC���"г~���@�<!��Z�S
9�
t9B��Y��(9�1C�A&Z��9v
t}9B�����@�<�dF�:͐c�@?��pq��g���g��|�@�r���R~����Sv�#.�d-���[A��/����a����p�Q��?�������t�����-�K�ڎ�~����@�A��(=�1�6�h�N0��>�O�����k過zqVk�@t�}�~��4��@7�Wl+>�Q�@C�@/rl�f���:|踏ٻ�@��!�Ɓ2yh�?[�G|���@G�Oh-��t���]lIu):�Qy>D�c�'t�Q��C�/w��Gw)9Бy>D��^Z�z!��h���.��J�h�K��n����!Nch��Eg:�>
�ʜc���І����"�Q��ʷ@���s\5}�g|t8�@7ղ�"�q��2�h�^�vγ��C�Y���g�qi�蘋&�ʷ@��!�7_���-�c��k��5�1�L?�%��%��F�-�i��/���z�R}�� ���0�1�@�!ǫK&܇qI/B>��M���ܥ��Q�C�@G��qM�.�<z�\���f�\�{��%БW�����<x�����������h�&4����-�?��w]�R��o�Z���x�3��K4����f���u@�ٺ�}ӌ�}*m����f/ӭ{�<4������W��4�@4
�4
�4�@ �4�@ �
�@ �
�@4
�4
�4�@ �4�@ �
�@4
�@4
�4
�4�@ �
�@ �
�@4
�@4
�4
�4�@ �
�@ �
�@4
�@4
�4�@ �4�@ �
�@ �
�@4
�4
�4�@ �4�@ �
�@ �
�@4
�4
�4�@ �4�@ �
�@4
�@4
�4
�4�@ �
�@ �
�@4
�@4
�4�@{�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@��h@�h@�h�@�h�@��h�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@��h@�h@�h�@�h�@��h�h@�h@�h�@�h�@��h�h@�h@�h�@��@��h�h@�h�@�h�@��@��h�h@�h�@�h�@��@���?P��d6��IEND�B`�