Alex Wise

Андрей, спасибо, что написали!) 

В Netpeak Spider нет возможности отключить учёт сквозных ссылок, так как эта информация является крайне неподтверждённой. В новой версии мы стараемся внедрять только то, в чём уверены и не вводить в заблуждение наших пользователей.

Текущая версия расчёта внутреннего PageRank учитывает беcчисленное количество нюансов и, даже без учёта сквозных ссылок, может очень круто помочь с оптимизацией ваших проектов.

P.s. если вы убеждены, что влияние сквозных ссылок необходимо учитывать и сможете привести информацию, которая сможет развеять все сомнения, то мы всегда будем рады помочь вам и поработать в этом направлении!

Спасибо за отзыв!) Пользуйтесь и пишите, как вам!

Спасибо за приятные слова!)

Скоро будет отдельный пост, посвящённый тому, как именно использовать фишки Netpeak Spider на практике :) 

А пока лишь могу кратко сказать: избавьтесь от всех «висячих узлов» и перераспределите вес с неважных страниц на важные путём самой обычной простановки атрибута rel nofollow на ссылки. Ссылки с таким атрибутом не передают PageRank и позволяют аккумулировать ссылочный вес на нужных страницах, если вы правильно организуете внутреннюю перелинковку.

А что это за программа?

Если серьёзно, то, разумеется, смотрим: как же мы можем не смотреть? Просто между нами есть небольшая разница → нам 4 месяца, а им 7 лет. Потому мы не всё сразу можем внедрить и сразу их обогнать. Хотя такие планы, определённо имеются, ибо наша цель → сделать самый крутой в мире десктопный SEO-краулер. И мы понемногу к этой цели идём... бежим, я бы даже сказал!

Вот главное мнение экспертов, на которое можно положиться → https://support.google.com/webmasters/answer/96569?hl=ru

Специально для вас:
http://img.netpeaksoftware.com/wise/UBKSDI.png

Владимир, несколько заметок:
1. Я привёл ссылку на рекомендации Google и склонен больше верить именно их интерпретации своих же алгоритмов.

2. Атрибут rel nofollow используется именно для того, чтобы не позволять перейти по ссылке → только столкнувшись с теми же проблемами, с которыми сталкивался в своё время Google, мы поняли, как именно происходит расчёт. Грубо говоря, только когда начинаешь думать, как Google (или другая поисковая система) и при определённой технической подкованности можно понять некоторые инсайты, о которых другие могут только выдвигать гипотезы, ну, или же, как вы приводите ссылку, делать эксперименты, которые со временем, разумеется, теряют свою актуальность.

В итоге, мы влезли в шкуру поисковых систем и на основании множества лет опыта и смекалки сделали данный алгоритм, с которым можно и нужно спорить, но только аргументированно: желательно с заявлениями разработчиков поисковых систем.

1. Да, в предыдущей версии было отключение, но вы уверены, что хотите верить в какое-то "эфимерное отключение сквозных ссылок" по алгоритму, который нельзя назвать самым изящным? Мы считали сквозными ссылками те ссылки, которые встречаются на более чем 50% всех страниц. Вы считаете, что поисковые системы так же "чётко" делают? :)

2. Насчёт авторизации и копирования коммента → скоро будем использовать другую систему и вообще запустим свой блог, где таких проблем уже быть не должно. Пока что сами мучаемся, так как система "Community", в которой мы переписываемся, не является нашей разработкой. Спасибо, что сообщили!

1. Распределение ссылочного веса влияет для всех сайтов без исключения. Это вроде как логично!) 
2. Кейсов и исследований по результатам работы нашей программы пока что нет. Мы только запустили данную функцию, которая уже поможет работать со ссылочным весов внутри сайта, потому такие кейсы должны будут появляться со временем.

Владимир, в итоге вынужден признать, что вы были полностью правы. Всё-таки рекомендации Google (как обычно) можно и нужно воспринимать не как полный ответ на вопрос (так как они действительно не передают PageRank). Однако подробно было описано, что с донора он «уходит», а акцептор не получает только после того, как оптимизаторы начали «управлять» весом с помощью атрибута rel nofollow.

Так что остаётся только один вариант «управлять» ссылочным весом → не ставить ссылки вовсе. Ну и тут нужно не перемудрить, потому что, если убрать со всех страниц ссылку на "Контакты" → это может неплохо ударить по бизнес-показателям :(

В итоге, в следующем релизе мы сделаем несколько доработок алгоритма, чтобы более чётко учитывать атрибут rel nofollow → сейчас же ссылки с таким атрибутом просто игнорируются.

Спасибо!)

1. Хорошо. Подумаем, как это можно сделать более логично, чем присутствие на 50% страниц всего сайта.

Спасибо за вопрос! 
1. С изображениями типа jpg, png всё просто → рекомендуется их встраивать в страницы, а не давать на них прямые ссылки. А встроенное изображение уже показывать разными удобными для пользователей способами. Просто стараться избегать конструкции a href="IMAGE URL". 
При этом должна быть карта сайта изображений (Image Sitemap), где будут перечислены все страницы и картинки, которые на них есть. 
2. С другими форматами файлов типа pdf, doc, xls всё несколько сложнее → по сути, их также можно встраивать (не забывайте про возможности Google Docs) и размещать в карте сайта, чтобы поисковые системы их смогли проиндексировать. Однако сами поисковые системы умеют индексировать эти файлы как обычные HTML-файлы, а это значит, что, если внутри PDF-файла есть ссылка, например, на главную страницу вашего сайта, значит это уже не висячий узел, а обычная страница. К сожалению, Netpeak Spider пока что не индексирует полноценно файлы с форматом не-HTML. 
Возможно, чтобы не путать вас, мы уберём из алгоритма расчёта внутреннего PageRank другие форматы файлов, ссылки в которых мы ещё не умеем парсить. Спасибо, что навели на правильные мысли!)

Всё очень просто: под встраиванием в страницы я имею в виду использование img src="IMAGE URL". В этом случае при любом режиме сканирования в Netpeak Spider мы не будем считать изображение «висячим узлом».

Если же вы используете конструкцию a href="IMAGE URL", вот тогда это становится настоящим «висячим узлом», так как это прямая ссылка на какой-то узел, на котором нет исходящих ссылок, т.е. вес дальше не передаётся.

Я ответил на ваш вопрос? Не стесняйтесь спрашивать ещё → если я смогу помочь, обязательно это сделаю! :)

Разве что с помощью JS выводить просмотр увеличенного файла на текущей странице, который уже будет обращаться к «большой версии» файла, однако в исходном коде её не будет.

Да, 100% будет. Мы планировали выпустить релиз с генерацией XML и HTML-карт сайта уже на этой неделе, но вынуждены его задержать примерно на 2 недели. Так что уже совсем скоро ждите новую фичу!

Дмитрий, здравствуйте!

Само понятие "Висячего узла" – это критическая ошибка, но если висячим узлом является картинка, то советую вам уделить время другим критическим и важным ошибкам. А когда они все будут исправлены, вот тогда уже можно будет задуматься о том, как убрать прямые ссылки на картинки. 

Главное – понимать, что исправление одной этой проблемы не принесёт моментально огромнейший результат в плане увеличения трафика / продаж и т.д. Однако, если все остальные моменты во внутренней оптимизации исправлены и отлажены, тогда можно задуматься об исправлении данной проблемы.

Насчёт плагина Photo Gallery не могу точно ответить, но уверен, что в исходном коде не должно остаться самой конструкции:
<a href="IMAGE URL"></a>

Отлично: спасибо, что написали!) Будем рекомендовать использовать этот плагин в случае подобных ситуаций :)

Виталий, даже это в планах у нас есть, но не в самых приоритетных. Перегонять хоть и не слишком удобно, но всё же возможно, потому мы и не пытаемся сломя голову делать эту фичу.

А в принципе насчёт Google Docs с вами полностью согласен – я сам уже давно не пользуюсь ничем другим.

Alex Krivoshein, кстати, только вчера выкатили новый релиз, где внедрена выгрузка XML и HTML карт сайта. Смотрите подробнее здесь — https://netpeaksoftware.com/ru/blog/netpeak-spider-2-1-1-3-generatsiya-sitemap

Дмитрий, спасибо за то, что описали плагин и за приятные слова в наш адрес!) 

Пользуйтесь и советуйте нам, что можно ещё улучшить – вместе сделаем программу лидером рынка!)

Максим, спасибо за отзыв! Мы очень старались :)

А теперь пришло время немного принести счастья этому миру... с помощью улучшенного Netpeak Checker, разумеется.)

Спасибо за приятные слова! Новый Netpeak Checker будет уже очень скоро :)

Денис, привет!) 

Я уже выше немного писал по этому поводу → сама ошибка "Висячий узел" крайне опасна. Но если там только изображения, то это не очень опасно, так что смело можете пропускать и заниматься более важными ошибками по внутреннему SEO-аудиту :)

Не без твоей помощи, Богдан ;)

Привет!)



Что означает для вас "скрыл меню скриптами"? SEO-hide? Google понемногу учится работать с JS и заверяет о том, что понимает ссылки, которые организованы через него, потому лучше в принципе избавляться от ссылок, не забывая о юзерах и юзабилити.

Я понял вас!) Googlebot может рендерить JavaScript, Netpeak Spider пока что не умеет этого делать. Мы только в процессе разработки этой фичи.

Я вам как раз пытался объяснить в прошлом сообщении, что Google понимает ссылки, реализованные через JS, потому лучше пытаться не закрывать их скриптами, а реально убирать. Но если ссылки нужны бизнесу сайта и полезны для юзабилити, тогда нужно искать компромиссы.

Google очень не рекомендует этого делать – это же и есть SEO-hide. Очень советую всё-таки постараться как-то иначе, более просто (с технической точки зрения) и более сложно (с моральной) решить проблему.

Спасибо за приятные слова – мы стараемся! =)

И прошу извинения, что подводим с рендерингом JavaScript → это временно. Уже есть задумки, как сделать это оптимально!

1. Мы серьёзно. 
2. Если у вас есть копия нашего продукта, написанная на Python – вы большой молодец. Но я сомневаюсь, что у вас именно копия, так как мы работаем над текущим продуктом уже около 2-х лет, потратив огромное количество времени разработчиков, тестировщиков, project-менеджеров и менеджеров по работе с клиентами на улучшение продуктов. Это очень кропотливый труд и его очень сложно скопировать, даже если сильно захотеть :) 
3. По поводу работы с большими проектами: 

– На Windows – у нас дела получше: и в текущей версии всё кастомизируемо (можно работать с сайтами по 5 млн страниц без проблем); и в новой версии Netpeak Spider 3.0, которую мы сейчас разрабатываем – будет всё ещё лучше: там не нужно будет париться с отключением каких-то параметров, всё по умолчанию будет оптимизировано и это будет первый прецедент на рынке.
– На Mac OS – здесь немного сложнее с большими сайтами, и эта версия немного отстаёт от версии на Windows. Потому после запуска Netpeak Spider 3.0 на Windows мы уже будем думать о переделывании текущей версии Спайдера на Mac OS под новую архитектуру. Пока что на Mac OS могу посоветовать пробивать сайт частями, либо с использованием правил сканирования, обязательно с отключением параметра "Входящие ссылки" (пока что он жрёт больше всего оперативной памяти).
Дмитрий, могу ли я чем-нибудь ещё вам помочь? ;)

А как я жду, Богдан! ;) Спасибо за поддержку.

Спасибо за статью, Николай! Всё по делу ;)

Единственный вопрос интересует → как вы замеряли, что поднялся трафик именно от сокращения URL: точно ли никаких других движений с сайтом не делали (я про чистоту эксперимента)?

Понял, спасибо за подробный ответ ;) Удачи вам в раскрутке вашего блога!

Айк, просто райский бальзам для глаз ;)

Александра ещё кучу постов про оптимизацию сайта на WordPress написала, зацените → https://netpeaksoftware.com/ru/blog/user/7bf5f9d3#posts

Олег, привет: лично от меня и команды Netpeak Software! ;) Извиняюсь за такой долгий ответ — попросил своих ребят дать мне ответить, а тут ещё и выходные, потому немного затянулось.

Как я писал в статье, для сравнения краулеров мы приводили настройки программ к максимально похожим (насколько это позволяют сделать сами программы) и сканировали одинаковые сайты. Чуть подробнее опишу ниже:

1. Одинаковые настройки → область обхода сайта, количество потоков, типы сканируемого контента, учёт правил индексации, User Agent, IP-адрес.

2. Одинаковое железо → Windows Server 64-bit, процессор i7 2.67 GHz, оперативная память 24 GB, обычный жёсткий диск (не SSD).

3. Одинаковый домен → замеры проводились на сайте opera.com, который имеет достаточно много страниц и очень хорошую скорость ответа сервера, позволяющую «разогнать» сканирование до 70 URL/сек.

4. Одинаковый полный доступ к программам → купленные лицензии Screaming Frog SEO Spider, WebSite Auditor (тариф «Enterprise») и Sitebulb.

5. Перед каждым запуском проверялись 1000 страниц с помощью Netpeak Spider на соответствие эталонным показателям типа скорости сканирования и качества получения результатов (у нас они почти не меняются при сканировании сайта вглубь). Если всё стандартно, то сканирование начиналось следующим продуктом. Это необходимо, чтобы убрать фактор в стиле «Конечно же, вы просканировали своим продуктом 100K и после него Opera блокирует наш продукт и потому мы такие медленные!».

6. Каждый тест проведён несколько раз (некоторые продукты — очень много раз, так как не все смогли даже нагрузку в 100K выдержать). Результаты получились примерно одинаковые, то есть достаточно репрезентативные.

Отдельно хочу поблагодарить за приятные слова насчёт развития Netpeak Spider. Мы стараемся! Вы тоже большие молодцы, у вас хороший продукт :)

Олег, я могу ещё чем-то помочь?

Олег, хоть Вика и ответила выше, но по таким точечным вопросам очень советую обращаться к нашим ребятам в техподдержку — они любят такие задачки ;)

Было бы неплохо при загрузке Netpeak Spider / Checker просить подсоединить датчик и загружать прямо в голову эту информацию каждому нашему пользователю — уж очень часто меня спрашивают, почему страницы не индексируются или вообще не сканируются ;)

Привет!)

1. Да, появился. Хотя нет, всегда был, если брать связку Netpeak Checker с Netpeak Spider — некоторые функции серьёзно пересекаются, но далеко не все.

2. Не в разы дороже.

3. Да, с платной антикапчей. В будущем, возможно, решим эту проблему, добавив решение капчи в отдельный тариф.

4. Насчёт визуализации — это вы про какой именно инструмент? Если про новый Netpeak Checker, то там никакой визуализации и не было предусмотрено, так как это всё-таки не трекер позиций. Если вы про Netpeak Spider, то это совсем другая история и у нас есть много функций, с помощью которых мы можем хорошо "поконкурировать" ;)

5. Если вы не видите смысла заранее в инструменте, то наша команда может вам помочь разобраться и увидеть этот смысл. Если и после этого не подойдёт, то вы хотя бы точно это будете знать!)

Кайф в том, что я собираюсь тут канальчик сделать публичный и сам заюзаю этот мануал! Вика, премного благодарен! ;)

Дима, спасибо за статью! Уже давненько не читал ничего так же легко и чётко написанного → я доволен! ;)

Мне самому интересно! ;) Попросил ребят — скоро ответят)))

Уже исправили в ответах — Андрей, спасибо за наводку! ;)

Первый пост о major-релизе, который писали всей командой (а не я бессонными ночами) → я доволен, теперь можно на покой! ;)

Ну нам пришлось повозиться, чтобы сделать максимально качественно: это занимает много времени :)

Андрей, спасибо за приятные слова! ;) 

P.s. честно говоря, я думал уйти «на покой», но никак не всю компанию туда отправить))))))

А почему «надоесть»? :(

Виталий, думаю, ты очень много пользовался этой функцией, просто не знал, что она так называется))))

Спасибо, Александр — нам мега-приятно ;) А вам желаю скорейшего развития и чтобы маркетинг был без ограничений!))

Павел, данные из Google Analytics или Search Console, которые вы анализируете в Netpeak Spider, полностью приватны: на этом мы специально сделали акцент в описании в настройках программы → https://img.netpeaksoftware.com/wise/15PY29M.png

Если бы вы попросили предоставить пруфы того, что мы что-то дополнительно собираем, мы бы смогли вам отправить кусочки кода, который это делает — но мы не можем вам отправлять пустоту, так как мы ничего не собираем ;)

Кстати, когда мы проходили валидацию приложения у самого Google, то, разумеется, они так же спрашивали про хранение данных и в иной ситуации, возможно, даже не предоставили бы нам возможность сделать такую интеграцию.

Потому предлагаю вам «поверить на слово», ибо репутация компании для меня не самый последний приоритет)))

Ждём, когда пользователи попросят ;) Пока что, честно говоря, немногие просят. Видимо, всё же GA стоит у большего количества проектов.

P.s. если вы не против, добавлю вас в список наших пользователей, которые ожидают эту фичу.

Есть ещё один отчёт, который поможет вам, Дмитрий — вы найдёте его здесь: Экспорт → Специальные отчёты по ошибкам → Редиректы: входящие ссылки и конечные URL https://img.netpeaksoftware.com/wise/1E5IHCS.png

Этот отчёт был специально создан нами для того, чтобы смотреть, откуда стоят ссылки на страницы с редиректами, чтобы изменить эти ссылки на конечные и избавиться тем самым от цепочек.

Евгений, благодарю за дельные советы и позитивную критику — сейчас редко увидишь такое! ;)

В Битрикс 24 смысл в огромном наборе инструментов и взаимодополняемости этих инструментов. Вы использовали просто отдельно конструктор лендингов или вместе с CRM и таск-менеджером?

1. Целевая аудитория этой статьи — наши пользователи. И им сочувствующие)))

2. Спасибо за комментарий и советы.)

3. Никто из нас не идеален и не знает всех нюансов в любом деле в мире — и вы тоже. Но мы стараемся каждый день становиться лучше: думаю, что подобные комментарии помогут нам в этом!)

Фотосессию с совой-помощницей видел — команда в восторге! Спасибо за историю и кучу приятных эмоций ;)

Это не очень смешно, даже грустно стало ;( 

Мы разберёмся, спасибо!)

Да, мы так и поняли — из-за этой функции AdBlock блокирует наши плашки https://img.netpeaksoftware.com/yuki/SJN0OI.png