Социальные сети и форумы

Собирать информацию можно не только через различные поисковики, но и посредством общения в сети. Возможно ISQ уже и устарела, но Skype используется очень активно, по-прежнему популярны различные интернет-форумы, социальные сети.

Интернет позволяет постоянно мониторить, отслеживать ситуацию. Можно не проводить никаких активных действий в сети, просто посещать сайты, форумы, социальные сети, приходить на них, смотреть, наблюдать, читать, накапливать информацию, а затем анализировать информацию и на основе этих наблюдений принимать решения, доводить информацию до руководства.

Выбор поисковика

У Яндекса есть такой слоган: «Найдется все». Если ввести запрос в поисковике, то по запросу ссылок можно получить десятки и даже сотни миллионов. Просмотреть такое количество ссылок физически невозможно. Но просматривать абсолютно все ссылки не имеет смысла. Нужно уметь быстро и качественно находить необходимую информацию для решения конкретной задачи. Этого можно добиться, конкретизируя запросы, увеличивая количество поисковых слов. Иногда полезно посмотреть информацию из кэша. Это «сохраненная копия» в Google и «копия» в Яндексе. Иногда случается, что негативные высказывания по интересующей теме могут быстро удалить с сайта, но следует учесть, что в поисковике, в сохраненных копиях она может остаться. А из этих высказываний иногда тоже можно почерпнуть полезную информацию.

Поисковиков множество. Каким поисковиком пользоваться? При одних и тех же запросах поисковая выдача в различных поисковых системах может отличаться, и довольно сильно. Это происходит потому, что поисковые машины имеют различные алгоритмы поиска, свои алгоритмы ранжирования, в соответствии с которыми формируются рейтинги поисковых систем. Кроме этого, поисковые системы отличаются объемом проиндексированных страниц и периодом обновления своего индекса. Поэтому наибольший эффект дает использование нескольких поисковиков. В Беларуси наиболее популярными являются Google, Яндекс, Search.Mail.ru, tut.by, Bing, Rambler. Чем большее количество поисковиков используется, тем разнообразнее и богаче будет результат. Не следует забывать и национальные, белорусские поисковики. Например, gogo.by. При поиске информации по Беларуси, их выдача может быть интересной. Довольно большой список поисковых систем можно найти, например, по ссылке http://www.promo-webcom.by/content_80.html.

Выбор браузера

Каким браузером лучше пользоваться дело вкуса, у каждого из них есть свои плюсы и минусы. Постепенно по возможностям браузеры выравниваются, набор расширений к ним тоже приблизительно одинаков. В последнее время стремительно растет популярность Google Chrome как одного из самых быстрых браузеров, но, следует учесть, что этот поисковик также собирает о пользователях наибольшее число информации. Google объясняет это тем, что это необходимо для того, чтобы подобрать для каждого пользователя наиболее релевантную рекламу. Не всех устраивает такой контроль, поэтому наиболее демократично использовать не разработки больших корпораций, а продукты коллективной разработки, имеющие открытый код. Если коды программы выложены в открытом доступе, то вероятность того, что такие программы имеют какие-либо бэкдоры, минимальна.

Бэкдор, backdoor (от англ. back door, чёрный ход) — программы, которые устанавливает взломщик на взломанном им компьютере после получения первоначального доступа с целью повторного получения доступа к системе. (Информация из Википедии).

В этом плане Mozilla Firefox имеет преимущество перед остальными браузерами.

«Невидимый» Интернет

Поисковики могут находить информацию только в так называемом «видимом» Интернете, т. е. в той части Интернета, которая проиндексирована поисковиками. Кроме этого существует так называемый «невидимый» Интернет, к которому относятся ресурсы, которые размещены в сети, но обратиться к которым можно только по прямому доступу, если известен адрес ресурса. С помощью поисковых машин найти содержимое ресурсов «невидимого» Интернета нельзя. По мнению разных авторов к «невидимому» Интернету относится до 80% содержимого сети. Таким образом, можно утверждать, что «невидимый» Интернет – это основная часть ресурсов, доступных онлайн.

Причины существования «невидимого» Интернета различны. Некоторые ресурсы не могут быть проиндексированы поисковыми машинами с технической точки зрения, по той причине, что эти сайты имеют большое количество ошибок, или имеют такой формат, который пока не поддерживается поисковыми машинами. Некоторые ресурсы попросту еще не успели проиндексировать, некоторые попали под фильтр и были выброшены поисковой системой из выдачи. Часть сайтов в Интернете имеет правильный формат, качественно созданы, поисковик о них знает, но тем не менее информацию с них не индексирует. Это происходит потому, что некоторые виды контента не индексируются поисковыми машинами в принципе. Поисковые «пауки» сознательно настроены таким образом, чтобы игнорировать те или инее ресурсы. Это может происходить по нескольким причинам. Например, по причине стоимости или потому, что данные настолько короткоживущие, что индексировать их просто не имеет смысла. Например, прогноз погоды, точное время прибытия конкретного самолета, совершившего посадку в аэропорту и т.п. К другим ресурсам доступ могут ограничить владельцы сайтов. Это может произойти случайно или по незнанию, когда неграмотно составлен файл robots.txt. Доступ к сайту может быть ограничен и сознательно. Это может иметь место когда, например, сайт создавался только для ограниченной группы лиц и доступ к нему осуществляется только по регистрации. Некоторые компании делают себе такие дополнительные сайты в «невидимом» Интернете для внутреннего использования своих сотрудников. Иногда не проиндексированными, закрытыми могут быть не целые сайты, а только его отдельные страницы или разделы. Попасть в «невидимую» часть Интернета могут и архивные разделы сайтов. Есть организации, которые обязаны выкладывать в открытый доступ, некоторые свои документы. Например, банки, обязаны выкладывать свои отчеты по итогам года, для того, чтобы показать результаты своим акционерам и клиентам. Иногда бывает, что банки, или подобные организации, выкладывают в открытый доступ только последний отчет, а прошлогоднего или, скажем, позапрошлогоднего отчета на сайте не видно. Если такая информация нужна, то, как правило, архивные документы в папке физически есть, их просто забывают удалить, но ссылки на них нет. Поисковики эту информацию в свое время проиндексировали, а затем она ушла в архив, и даже в кэше поисковиков ее уже нет.

Программа СайтСпутник

Есть удобная программа для допроса интернета FileForFiles & SiteSputnik (СайтСпутник) http://sitesputnik.ru/. Разработчик ее Алексей Мыльников, программист из Волгограда.

Программа СайтСпутник предназначена для поиска, сбора, мониторинга и анализа информации, размещенной в интернете. Программа позволяет, затратив значительно меньше времени, получить значительно больше информации, которая будет значительно точнее. При этом поиск и сбор информации ведется как в «видимом» (базовая версия), так и в «невидимом» интернете (версия SiteSputnik Invisible).

Программа имеет несколько версий. Есть бесплатная версия. Она самая простая, но обладает хорошими возможностями. Более сложные, продвинутые версии уже платные. Версия Pro стоит порядка 5500 росийских рублей, корпоративные версии стоят еще дороже. Но бесплатный вариант программы работает добротно. Программа проста в использовании и нетребовательна к ресурсам. Поиск информации в Интернете ведется по 10 источникам: семи поисковикам (Google, Яндекс, Yahoo, Rambler, MSN, Aport, Mail) и дополнительно еще по трем источникам (Yandex.Комментарии, Yandex.Блоги, Google.Блоги). В программе есть возможность по своему усмотрению добавлять любой поисковик, любой сайт как поисковый источник.

Эта программа автоматизирует поиск. Не надо вручную открывать все десять поисковиков и делать в них запрос. Программа удаляет ссылки-дубли. Если СайтСпутник нашла одну и ту же ссылку в нескольких поисковиках, то программа оставляет только ссылку в том поисковике, в котором ссылка обнаружилась первой. Остальные ссылки-дубли не сохраняются. Это помогает не потонуть в море информации.

Программа составляет краткий отчет о работе с источниками информации, по которому можно судить, где найдено наибольшее количество информации, а какие сайты можно исключить из поиска.

После сбора информация сохраняется в базе данных программы. Ее можно структурировать по папкам. По умолчанию глубина поиска на сайтах составляет четыре страницы, но ее можно изменить. В программе есть возможность создавать поисковые пакеты. Есть несколько стандартных пакетов. Например, пакеты поиска по номеру телефона, поиска по email, поиска по фамилии, имени, отчеству. В стандартных пакетах есть определенная форма, которую просто надо заполнить. Например, пакет по поиску телефона насчитывает 36 вариантов написания телефонного номера.

Поиск по сайту: