Xenu – это сокращенное название программы Xenu’s Link Sleuth, предназначенной для внутреннего аудита сайта и поиска битых ссылок.

При изменении структуры сайта или URL-адресов на других страницах могут оставаться неактуальные ссылки, ведущие на старые несуществующие адреса. Именно поиск таких ссылок и является основной задачей Xenu. Программа является бесплатной, потому она очень популярна во всем мире. Это простой софт, позволяющий в короткие сроки проанализировать сайт на наличие битых ссылок и не только.

Возможности Xenu

Помимо поиска неработающих и битых ссылок, программа умеет:

• искать изображения, фреймы, скрипты, плагины, стили и др.;
• искать страницы с большим временем отклика;
• искать страницы с большим весом;
• искать страницы с большим уровнем вложенности;
• проводить анализ внутренней перелинковки;
• искать одинаковые заголовки Title;
• искать изображения без атрибута alt;
• составлять карту сайта;
• проверять защищенные сайты по протоколу SSL (https://).

Xenu способна анализировать как весь сайт, так и его отдельные страницы. Также есть возможность проанализировать локальные документы на ПК.

В процессе анализа в основном окне будут отображаться результаты. В дальнейшем их можно будет экспортировать, допустим, в Excel.

Как работает программа

Чтобы начать анализ сайта в Xenu, необходимо запустить софт и нажать на вкладку File. Далее выбрать первый пункт Check URL.

Указываем адрес сайта, отдельных страниц или путь к документу на ПК.

После запуска в основном окне программы будут отображаться результаты анализа. Анализироваться будут как URL-адреса страниц, так и ссылки на различные файлы.

С помощью различных табуляторов вы сможете отсортировать ссылки по разным параметрам: Status (битая или нет), Type (формат файла), Size (размер страницы), Title (заголовок) и Level (уровень вложенности).

Программа выводит список проверенных ссылок с сортировкой по различным параметрам. Также она позволяет создавать отчет с результатами проверки. В отчёт будет включены неисправные ссылки и все страницы на которых есть ссылки с нерабочей ссылкой, карта страниц и т.д.

Поддерживает SSL веб-сайтов ("https://"), частичное тестирование Gopher, FTP и почтовых адресов.

Xenu определяет перенаправления (редирект) URL-адресов. И немаловажный момент в работе с программой: с помощью нее можно легко составить карту сайта.

Возможности Xenu Link Sleuth:
- Возможность повторной проверки битых ссылок (пригодится при временной недоступности проверяемого сайта).
- Простой формат отчета.
- Размер исполняемого файла программы меньше 1Мб.
- Функция проверки защищенных сайтов по протоколу SSL ("https://").
- Определение и вывод редиректов (т.е. пересылок на другие страницы).
- Составление карты проверяемого сайта.

Внимание!
Для работы программы требуется библиотека WININET.DLL, входящая в состав Internet Explorer.

Как пользоваться Xenu можно подсмотреть на .

Xenu Link Sleuth это один из наиболее полезных инструментов в поисковой оптимизации. Хотя эта программа изначально предназначалась для поиска битых ссылок на сайте, с помощью неё можно решать ряд других задач, проводя аудит внутренней структуры сайта и находя в нем слабые места:

- Искать битые (неработающие) ссылки на заданном ресурсе.
Вы написали сотню статей, во многих были ссылки на другие ресурсы или какие-нибудь документы, изображения, но уследить за работоспособностью всех этих ссылок вручную невозможно. В данном случае очень удобно использовать Xenu Link Sleuth , как свободный софт, простой в настройке и использовании.

- Составлять карту сайта.
Для динамических сайтов составить карту не составляет проблемы, однако, для статических HTML ресурсов создавать карту сайта вручную весьма долго и трудоемко. Xenu решает эту задачу за несколько минут в зависимости от размера сайта и скорости Интернет-соединения.

- Искать страницы с большим временем отдачи.
Зная, какие страницы на вашем сайте отдаются с большой задержкой, можно проанализировать причину подобного поведения и оптимизировать время отдачи, что положительно скажется как на посетителях, так и на поисковых системах.

- Найти неуникальные тайтлы.
Каждый тайтл на странице должен быть уникален, тогда ни одна из них не будет находиться в дополнительных результатах поиска и фильтроваться, как дублированный контент. Поэтому важно знать, на каких страницах сайта тайтлы повторяются.

- Найти страницы с большим уровнем вложенности.
Все страницы на сайте по возможности должны находиться не далее, чем в двух-трех кликах от главной. Чем дальше находится страница, тем сложнее до неё добраться как пользователям, так и поисковым системам. Если у вас нашлись подобные страницы, являющиеся важными, но находящиеся далее, чем в 3-х кликах от главной, стоить принять какие-либо меры для улучшения навигации. Возможно, некоторые из дальних страниц вам уже не нужны, xenu легко позволяет их найти.

- Искать страницы с максимальным количеством исходящих ссылок.
Как упоминалось раннее, все исходящие ссылки на сайте должны тщательно модерироваться, так как от них зависит заслуженное доверие от поисковых систем (по принципу: “Скажи мне кто твой друг и я скажу кто ты!”) а также присвоение сайту различного рода фильтров. Если вы заметили резкое падение позиций в поисковике, тогда первым делом необходимо проверить все исходящие ссылки, так как возможно, если виноваты не вы, то хакеры, разместившие на вашем ресурсе свои спам-ссылки.

- Посмотреть какие из страниц имеют наибольшее и наименьшее количество внутренних ссылок на себя.
Проверьте вашу внутреннюю перелинковку в численном виде. Какие из страниц заслужили больше внимания, а какие меньше (исходя из внутренних ссылок)?

- Найти картинки с отсутствующим атрибутом alt.
Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям .

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth , чтобы её пользователей не пугал английский интерфейс.

Ксену является свободным продуктом и эту программу можно скачать по этой ссылке . При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL ”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя:
Broken links, ordered by link — Битые ссылки, отсортированные по адресу;
Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;
Broken local links — Битые внутренние ссылки;
Redirected URL s — Адреса с 301/302 редиректом;
Ftp and gopher URL s — ФТП и другие не HTTP адреса;
Valid text URL s — Список рабочих текстовых ссылок;
Site Map — Карта сайта;
Statistics — Статистика;

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.

Сразу же после окончания проверки ссылок сайта, в главном окне появится детальная таблица, где данные можно отсортировать по каждому из столбцов: адрес ссылки, возвращаемый статус, mime-тип, размер, заголовок, уровень вложенности, кол-во внешних и внутренних ссылок, время отдачи страницы. Вот эту таблицу вам и надо использовать. Если что-то будет не понятно по работе или использованию программы, можете спрашивать в комментариях, постараюсь ответить.

Здравствуйте, уважаемые читатели! Сегодняшней статьей о программе Xenu"s Link Sleuth я начинаю цикл постов по проверке правильно выполненной внутренней оптимизации (seo аудит сайта ). Многие используют ее только для поиска битых ссылок, но функционал этой программы значительно шире.

Есть несколько способов провести seo анализ сайта: при помощи онлайн сервисов, при помощи и , посредством специальных плагинов (например, и их удаление с помощью ), а также программ для seo аудита сайта. Причем я предлагаю вам пока только те способы, которые не требуют больших затрат, а выполняются самим администратором ресурса. Кстати, в этом смысле очень неплох .

Сегодня как раз рассмотрим одну из таких программ - Xenu"s Link Sleuth. Главное ее достоинство - она совершенно бесплатна, что немаловажно, особенно начинающим веб-мастерам. Кроме того, она достаточно функциональна, выполняет комплексный отчет по целому ряду позиций. Очень непросто найти качественный бесплатный софт, выполняющий seo аудит, это как раз подходящий случай.

Настройки программы Xenu"s Link Sleuth

Итак, сначала необходимо скачать программу Xenu"s Link Sleuth , затем установить на свой компьютер. Да, чуть не забыл, программа создана только для операционной системы Windows. Установка производится обычным образом, никаких сложностей возникнуть не должно. После запуска программы выбираете из меню «File»→«Check URL»:

В открывшемся окне вводим необходимую информацию, чтобы провести seo аудита сайта:

Сначала надо указать адрес страницы сайта, которая подвергнется проверке. Это может быть как главная, так и любая другая, например: / или /dvizhok-wordpress/wordpress-vidzhet/.

Внимание! Адрес страницы должен обязательно заканчиваться символом слеш «/». Будьте внимательны!

Теперь небольшое отступление. Как видите, настройки имеют такую замечательную функцию как «e-mail». Если я правильно разобрался, она предназначена для того, чтобы сообщить результаты аудита сайта другому лицу (например, своему другу об анализе его сайта). Для этого нажимаем эту кнопку и получаем:

Если ставим флажок e-mail only if there are broken links (отправить e-mail только, если обнаружены битые ссылки), то лицо, аудит сайта которого вы проводили, получит отчет только тогда, когда на его ресурсе будут найдены битые ссылки. SMTP-сервер поддерживает отправку электронной почты. В диалоговом окне указываете адреса отправителя, получателя, а также тему послания (subject).

Насколько понимаю, это бесплатная услуга. Какой сервис выбрать? Вот тут я теряюсь, поскольку еще не пользовался данной опцией. На скриншоте указан один из них, его я обнаружил в сети. Также некоторые провайдеры предоставляют данную услугу, но, к сожалению, более ничего сказать по этому поводу не могу. Надеюсь, кому-нибудь пригодится данная опция. Далее, необходимые пояснения для начала проведения seo анализа:

• Local file - эта опция используется в том случае, если необходимо проанализировать ссылки в локальном файле, расположенном на вашем компьютере:

Находим соответствующий HTML-документ, потом нажимаем «Открыть». Адрес этого файла может быть такого вида: file://C:/document.html/.

• Check external links - если вы хотите проверить наряду с внутренними ссылками также внешние, то ставьте здесь галочку.
• Consider URL"s beginning with this as ′internal′ - сюда можно добавить ссылки, которые необходимо считать внутренними; после добавления очередной ссылки надо нажать «Add». Скажем, вы делаете аудит главной страницы сайта; тогда определяем внутренние страницы, которые имеют отношение к сайту, но имеют адрес, отличный от url главной страницы, например: http://forum.yoursite.ru (главная страница http://yoursite.ru).
• Do not check any URL"s beginning with this - сюда добавляем ссылки, которые не подлежат проверке программой Xenu"s Link Sleuth. Здесь могут быть адреса счетчиков (http://top100.rambler.ru), баннеров и т.д.

«Basic» (базовые настройки):
Apply to all jobs (применить для всех проектов) - опция позволяет сохранять настройки ко всем вашим ресурсам.

Parallel Treads (параллельные нити) - с помощью ползунка можно настроить число потоков, то есть количество одновременно проверяемых ссылок (например, current: 4). Здесь необходимо иметь ввиду, что чем больше это число,тем сильнее нагрузка на сервер. Поэтому необходимо оптимизировать эту опцию: если подлежащий seo аудиту ресурс является крупным многостраничным сайтом, то число одновременно проверяемых ссылок может быть больше, если у вас нагрузка минимизирована при помощи соответствующих инструментов.

В случае небольшого блога, если к тому же у вас действует самый дешевый пакет хостинга, необходимо ставить значение 2-4. Когда я выполняю seo аудит своего блога, я устанавливаю значение 4. Естественно, если нагрузка на хостинг оптимизирована, то можно ставить больше (говорят, среднее оптимальное значение 10).

Maximum depth - максимальная глубина поиска. Обычно небольшие сайты или блоги имеют небольшую глубину просмотра, а крупные порталы, конечно, имеют множество подрубрик, но не настолько, чтобы максимальная цифра (999) оказалась востребованной.

Ask for password or certificate when needed (запрашивать пароль или сертификат, когда необходимо). По ходу проведения seo аудита сайта под проверку могут попасть страницы, для которых используется защищенное соединение (протокол https). Тогда происходит запрос вышеуказанных данных.

Теперь посмотрим,что можно включить в рапорт(report), который будет представлен по итогам аудита сайта:

1. Broken links, ordered by links - битые ссылки, отсортированные по адресам
2. Broken links, ordered by page - битые ссылки, которые будут упорядочены по страницам
3. Broken local links - найденные неправильные внутренние ссылки
4. Redirected URL"s - адреса с редиректом 301/302
5. FTP and gopher URL"s - FTP, а также другие не HTTP адреса. Программа Xenu не проверяет их работоспособность, но имея полный список, пользователь может проверить их самостоятельно.
6. Valid text URL"s - рабочие текстовые ссылки
7. Site map - карта сайта. Программа Xenu Link Sleuth может построить HTML- карту сайта для вашего ресурса, которая будет отображена в отчете.
8. Statistics - статистические данные
9. Orphan files (дословно: файлы-сироты). Бывает такое, что страница удалена, а относящиеся к ней файлы нет. Проблема несущественная, но кому нужен лишний мусор? Тогда Xenu Link Sleuth проанализирует, существуют ли файлы, на которые не ссылается ни одна страница сайта.

На скриншоте выше флажками (галочками) отмечены те пункты, которые я использую при проведении аудита сайта. Вы можете отметить все опции, но надо ли это? Рапорт будет очень объемным, не исключена серьезная нагрузка на сервер. Конечно, при необходимости получения разовой дополнительной информации возможно включение других функций, например, если вам необходимо создать карту сайта.

Итак, я подробно описал все возможные настройки Xenu"s Link Sleuth, даже, может быть слишком подробно, поэтому пост получается громоздким. Но при анализе данных о Xenu"s Link Seulth я не нашел полностью материала о всех ее настройках, поэтому для удобства читателей счел необходимым представить их вам. Надеюсь, вы оцените мой шаг.

Аудит сайта с помощью программы Xenu"s Link Sleuth

Переходим непосредственно к аудиту сайта. После всех этих манипуляций нажимаем «ОК» и Xenu"s Link Sleuth начнет работу. Процесс может занять от нескольких минут до нескольких часов. Это зависит от многих причин, включая число страниц сайта, загруженность сервера и т.д. В результате программа начнет анализировать все внутренние, внешние (ведущие с вашего сайта на другие ресурсы) ссылки. В окне программы есть возможность сортировки результатов по табуляторам:

• Status - табулятор, который позволяет сконцентрировать битые ссылки вместе. Чтобы осуществить данную опцию, надо кликнуть по этому табулятору, результатом чего все неправильные ссылки окажутся в одном месте (битые ссылки выделены красным цветом, все правильные - зеленым):

В табуляторе «Status» дается пояснение касательно состояния данных битых ссылок, то есть практически причин их возникновения: no connection (нет соединения с сервером; в этом случае программу можно запустить еще раз, возможно, это временный сбой из-за перегруженности сервера), not found (страница не создана; это некорректная ссылка).

Возможны другие варианты; но согласитесь, очень удобный функционал, вы знаете причину возникновения битой ссылки. Более того, получите информацию, на какой именно странице ее искать. Для этого кликните правой клавишей вашей мышки по соответствующей ссылке в окне программы Xenu"s Link Sleuth и выберите из контекстного меню вариант «URL properties»:

В самом низу дан список адресов,где обнаружена данная битая ссылка. Идете туда, затем удаляете ее. Подсказкой служит текст этой ссылки (исходя из данного примера Title or link text: подтверждение ). Для этого копируем адреса страниц, заходим в визуальный редактор админ-панели wordpress, в разделе «Записи»→«Все записи» выбираем необходимую, кликаем «Изменить». Покажу пример своей статьи, где была проставлена неправильная ссылка:

С помощью мышки выделяем слово или словосочетание, содержащее неправильную ссылку, нажимаем на инструмент удаления ссылки. Все, задача решена.

• С помощью табулятора «Type» есть возможность отсортировать ссылки на файлы с различным расширением, например, файлы изображения (расширения.png, .jpeg, .gif):

Также «Type» позволяет проанализировать эти ссылки. Скажем, можно проверить имеют ли изображения атрибут alt , который, как известно, имеет решающее значение при поиске по изображениям в поисковых системах.

• Табулятор «Syze» дает возможность распределить ссылки на страницы и файлы по их размеру (например, нажав на табулятор вверху, получим размер по возрастанию вниз). Таким образом, можно выяснить, какие страницы имеют наибольший вес, а, следовательно, будут долго загружаться. Имея аналитические данные, можно предпринять определенные шаги по оптимизации.
• Используя табулятор «Title» сортируете страницы, имеющие заголовок (Title). Это имеет огромное значение, потому что можно определить повторяющиеся заголовки (которые будут отображаться рядом), а также страницы, которые не имеют заголовка Title.
• «Level» позволяет отсортировать страницы по уровню вложенности: 0(главная страница), 1, 2, 3 и т.д. Для улучшения внутренней оптимизации уровень не должен быть выше 3 с целью облегчения навигации сайта.

Еще некоторые важные табуляторы, которые отображены программой Xenu"s Link Sleuth, они появляются после получения результатов seo аудита сайта:

• «Out Links» - табулятор, позволяющий сделать сортировку по количеству внешних ссылок, ведущих со страниц ресурса (по возрастанию или убыванию). Кликнув правой кнопкой мышки по ссылке, из контекстного меню можно получить данные, позволяющие понять, на какую именно страницу ведет ссылка
• С помощью «In Links» распределяем также входящие ссылки, а из контекстного меню узнаем адреса ресурсов, ссылающихся на этот документ
• «Duration» - сортировать ссылки страниц по возрастанию или убыванию времени их загрузки (). По этой информации можно внести необходимые коррективы в оптимизацию данных страниц.

После окончания seo аудита ресурса программа Xenu"s Link Sleuth предложит сохранить отчет об анализе (Окончание seo аудита программой Xenu"s Link Sleuth):

Нажимаем «Да», затем получаем отчет Xenu"s Link Sleuth о проведенном seo аудите вашего блога, где наверху расположено меню полученных результатов:

Ну вот, пожалуй, все. Я постарался подробно описать все возможности Xenu"s Link Sleuth при самостоятельном проведении аудита сайта, потому что материалы в интернете не дают полного описания функционала. Надеюсь, вы почерпнули максимум информации, дорогие читатели, которой воспользуетесь с пользой.

Сегодня хочу рассмотреть вопрос, о технической составляющей наших сайтов, и предлагаю каждому заглянуть под "капот" своего сайта или блога. Действительно ли с вашим сайтом все в порядке, как это кажется на первый взгляд? Поговорим о программе Xenu, которая поможет найти битые, исходящие и другие непригодные ссылки на вашем ресурсе.

Программа Xenu - проводим технический аудит на сайте

Приветствую, совсем я пропал и перестал заниматься своим блогом. Все больше ухожу в работу с коммерческими сайтами. Воспользуюсь небольшим перерывом и поделюсь полезной программой Xenu для Веб-мастеров, которая уже ни раз меня выручала. Работаю с ней уже довольно давно и постоянно применяю на практике.

Используя программу Xenu вы можете найти все исходящие и битые ссылки на своем сайте.

Коротко расскажу один интересный случай, который случился несколько месяцев назад. На одном из сайтов, над которым я работаю, в частности интернет-магазин произошел взлом. Моя коллега, большое ей спасибо, заметила в нескольких карточках с товаром, подозрительные ссылки на другие сайты. Данные ссылки никак не могут присутствовать на нашем ресурсе, так как мы его используем для клиентов. Сразу же запустили Xenu, на этом сайте довольно много страниц, поэтому проверка занимает примерно 1-2 часа.

В конце проверки мы обнаружили порядка 20 исходящих ссылок, в том числе, на сайты 18+ и интернет-казино. Так же удалось вычислить злоумышленника, так как он оставил исходящую ссылку и на себя. Да, существует такая биржа в интернете, которая продает ссылки со взломанных сайтов, возможно кое-кто о ней слышал.

В результате мы все почистили, так же нашли пару интересных скриптов и заменили пароли. Последствия были не сильно ощутимы, но потеряли немного трафик в Google, так как отреагировали примерно спустя неделю... Перейдем к практике.

Проверка исходящих и внешних ссылок

Основываясь на истории, которую я вам рассказал, если вы заподозрили, что с вашим ресурсом что-то не так (к примеру потеря позиций или трафика), советую периодически прогонять свой сайт или блог с помощью данной программы. Вы даже можете это сделать сейчас, в целях профилактики, вместе со мной.

Первое, что мы с вами посмотрим, это как обнаружить внешние ссылки. Xenu вы можете скачать по ссылке программа для проверки внешних ссылок .

1. Запускаем программу, вводим адрес нашего сайта и нажимаем ОК.

Ждём пока робот, пробежит по всем нашим страничкам. В зависимости от того, на сколько много у вас страниц, сканирование длится от нескольких минут до нескольких часов.

2. Как только робот обошел все страницы, мы видим список различных ссылок, которые присутствуют на нашем ресурсе. Для того, что бы было проще увидеть и найти исходящие ссылки с вашего сайта, сортируем ссылки по полю "Address". Смотрим на начало списка и конец, и вот наши внешние ссылки.

3. Для того, что бы быстро найти страницы откуда проставлена внешняя ссылка, необходимо при нажатии, правой кнопкой мыши по "плохой" ссылке выбрать "URL properties".

Ищем битые ссылки на сайте с Xenu

Теперь давайте проверим, есть ли на сайте битые ссылки, которые отдают 404 код и как их найти. Основная причина появления таких ссылок, это то, что адрес (URL) страницы, на которую ведет ссылка поменялся или страница удалена, а ссылка осталась. Так же есть и другие причины.

При такой сортировке, вы так же сможете найти и ссылки по которым происходит редирект, что тоже очень полезно.

Я рассказал вам основные два моменты по поиску внешних и битых ссылок на сайте с помощью Xenu. Программа является бесплатной и на сколько я знаю, уже довольно старая и не обновляется, но для нас главное, что работает.

Так же я использую данную программу, при "первом знакомстве" с сайтом, которым начинаю заниматься.

На этом все, если у вас есть другой интересный софт на данную тему, делитесь в комментариях!