Wyszukiwarka internetowa
Z Wikipedii
Wyszukiwarka internetowa (ang. search engine) to program lub strona internetowa, której zadaniem jest ułatwienie użytkownikom znalezienie informacji w sieci.
Określenie wyszukiwarka stosujemy do:
- Stron internetowych serwisów wyszukujących - czyli implementacji oprogramowania wyszukującego działającego z interfejsem WWW ogólnodostępnym dla internautów
- Oprogramowania przeznaczonego do indeksowania i wyszukiwania informacji w sieciach komputerowych: internecie, intranecie.
Gromadzą w sposób automatyczny informacje o dokumentach tekstowych oraz plikach zgromadzonych w sieci (obszarze wyznaczonym dla wyszukiwarki do indeksowania).
Spis treści |
[edytuj] Historia wyszukiwarek
[edytuj] Historia wyszukiwarek na świecie
- 1990 Archie
- 1991 Veronica
- 1991 JugHead
- 1992 WWW Wanderer
- 1994 WebCrawler
- 1995 AltaVista
- 1995 MetaCrawler
- 1996 Google na Uniwersytecie Stanforda (pod adresem: http://google.stanford.edu)
- 1996 HotBot
- 1997 Yandex
- 1998 Google Google.com - jako niezależna firma
- 2000 Baidu
- 2000 Vivísimo
- 2004 hakia
- 2005 MSN Search
- 2007 Windows Live Search
- 2008 Wikia Search
- 2008 Cuil
[edytuj] Historia wyszukiwarek w Polsce
- 1991 Emulti
- 1994 Polski Archie
- 1995 Polski Infoseek ICM
- 1996 NEToskop
- 1996 Sieciowid
- 1996 Infoseek Onet
- 1996 polska AltaVista
- 1997 Sieciowid kończy działalność
- 2000 Arena.pl przejmuje zasoby Polskiego Infoseeka
- 2001 NetSprint
- 2002 polska wersja Google'a
- 2003 Szukacz
- 2003 Polski Yandex
- 2004 Szook
- 2004 Gooru
- 2005 koniec NEToskopu
- 2005 koniec polskiej wersji wyszukiwarki Yandex
- 2006 Wyszukiwarka Giga
- 2006 Wyszukiwarka Hm?
- 2006 Wyszukiwarka Hidee.org
- 2006 NetSeek.pl
- 2007 Wyszukiwarka video - viFinder.com, Wyszukiwarka filterfind.org
- 2007 LuckyAsk - pierwsza polska wyszukiwarka z nagrodami
- 2008 Charytatywna.com - pierwsze polska wyszukiwarka charytatywna
- 2008 Minigogle.pl - pierwsza polska wyszukiwarka zawierająca treści bezpieczne dla dzieci
- 2008 szukaj-numer.pl - Nowość w internecie, wyszukiwarka numerów GSM
- 2008 Szukaj.xol-live.pl - Xenera Projekt polskiej wyszukiwarki przeszukująca najcenniejsze polskie serwisy i serwisy partnerskie
- 2008 Wyszukiwarka calapraca.pl - Wyszukiwarka ofert pracy
[edytuj] Podział wyszukiwarek
[edytuj] Wyszukiwarki oparte na analizie treści strony
Ponieważ Internet rośnie znacznie szybciej niż jakakolwiek grupa ludzi może go katalogować, oraz z powodu wad katalogów (np. pod danym hasłem może znajdować się tysiące stron), powstały wyszukiwarki, które przeszukują Internet analizując zawartość stron. Kiedy użytkownik poda wyszukiwarce zapytanie, ona odpowie mu łączami do stron, które uzna, w zależności od użytego algorytmu, za najbardziej odpowiednie.
Wyszukiwarki oparte na tej zasadzie mogą objąć znacznie większą część sieci niż katalogi. Niestety są one bardzo podatne na nadużycia, przez co użytkownik zamiast użytecznych informacji dostaje linki na strony nie mające nic wspólnego z jego zapytaniem. Szczególnie wyspecjalizowały się w tym strony pornograficzne.
[edytuj] Wyszukiwarki oparte na analizie topologii sieci
Żeby przeciwdziałać temu, wyszukiwarki zaczęły stosować analizę topologii sieci. Tak więc stronę uważa się za odpowiadającą zapytaniu "britney spears", jeśli wiele stron na temat "britney spears" do niej linkuje. Strona porno z nagimi zdjęciami Britney, niezależnie od własnej treści, i niezależnie od całkowitej liczby linków (głównie z innych stron porno) na nią, nie będzie w ten sposób uznana za związaną z tematem. Natomiast jeśli zada się zapytanie "britney spears nude", strona ta zostanie uznana za istotną, ponieważ linkuje na nią wiele stron o tematyce "nude".
Początkową istotność na podstawie prostej heurystyki, po czym zwykle używa się algorytmu losowego skakania po linkach.
Pierwszą wyszukiwarką, która zastosowała zaawansowane algorytmy analizy topologii sieci był Google.
Wyszukiwarki oparte na analizie topologicznej są często uważane za bardzo odporne na nadużycia. W rzeczywistości stosunkowo czestym atakiem są spam-systemy automatycznej wymiany linków. Inną formą ataku jest stworzenie dużej ilości gęsto linkowanych stron, z czego wszystkie na ten sam temat. Jest to jednak zadanie trudne i wymagające dużego nakładu pracy, a modyfikując heurystykę wartości początkowych można znacznie ograniczyć ten proceder, którego skala na razie jest minimalna.
[edytuj] Wyszukiwarki oparte na zasadzie aukcji miejsc
Osobnym pomysłem jest wprowadzony przez Overture (http://overture.com/ ) system, gdzie strony płacą wyszukiwarce kilka centów za każde kliknięcie, przy czym miejsca są licytowane - strona która daje więcej za kliknięcie znajdzie się wyżej na liście rezultatów. Pozycje płatne są oznaczone jako takie, razem z ceną. System ten jest korzystny dla właścicieli stron - płacą oni tylko za wejścia nie za wyświetlenia.
Twórcy twierdzą, że jest on również korzystny dla użytkownika, gdyż tylko strony, które oferują coś użytecznego z danej dziedziny mogą sobie pozwolić na taką reklamę. Z drugiej jednak strony wiele użytecznych stron jest niekomercyjnych, a nawet przy stronach komercyjnych wyniki będą często nieoptymalne - np. na taką reklamę nie mogą sobie pozwolić strony, które mają niskie marże i oferują produkty po niskich cenach, a jedynie te, które mają wysokie marże i oferują produkty drożej.
[edytuj] Reklamy w wyszukiwarkach
Wyszukiwarki stanowią wymarzony cel reklamodawców, ponieważ mają oni praktycznie pełną gwarancję, że osoba wyszukująca dane hasło jest nim zainteresowana. Tak więc większość wyszukiwarek oferuje reklamy zależne od treści zapytań (np. AdWords oferowany przez Google). Nie zawsze są one właściwie oddzielone od wyników poszukiwań, co stało się źródłem protestów grup ochrony praw konsumentów oraz kilku do dziś nierozstrzygniętych spraw sądowych. Ze względu na szeroką krytykę procederu nieoddzielania reklam od wyników, większość wyszukiwarek z niego zrezygnowała i wyraźnie zaznacza teraz reklamy.
[edytuj] Oprogramowanie wyszukiwarek
Oprogramowanie wyszukiwarek to zestaw programów, modułów, z których każdy ma oddzielne zadanie. W skład zestawu wchodzą takie elementy jak:
- Crawler, Robot, Pająk, Spider, Bot - modułów pobierających dokumenty z sieci
- Indeksera , Programów analizujących i oceniających
- Searcher'a - interfejsu wyszukującego wyszukiwarki/podsystem odpowiadający na zapytania/analizator zapytań + moduł prezentacji wyników
Oraz dochodzą do tego:
- programy konwersji dokumentów
- programy archiwizujące repozytorium [Google używa archwizera Z]
- programy analizy technik zabronionych [spam]
- moduły administracyjne
[edytuj] Algorytmy stosowane w wyszukiwarkach
algorytmy oceny relewancji dokumentu względem szukanej frazy - algorytmy oceny zawartości strony
- Binarne
- Ważenie częstością słów TF - częstość wystąpień słowa
- Częstość słów - odwrotna częstość w dokumentach TFIDF - model wektorowy
- PageRank
- In-degree
- Metoda Robertsona i Sparcka-Jonesa (1997)
- Okapi BM-25 TF - Metoda Robertsona (1994)
- KL-Dir Model Markova
- Metoda bazowa B
- Liczba wizyt (klikohit)
- HITS
- PHITS
- PLSA
- PLSA/PHITS
[edytuj] Poprawa relewancji wyników wyszukiwania
- grupowanie (clustering)
- personalizacja
- stop-words - stop listy
- tezaurus, podpowiedzi, weryfikacja pisowni
[edytuj] Pozycjonowanie stron w wyszukiwarkach
- Cloaking
- Dorway pages Jump Pages, Portal Pages
- keyword stuffing (meta tag stuffing)
- spamdexing
- invisible text Niewidzialny Tekst
- link farm Farmy linków
- biasing
- client pull (odświeżanie)
[edytuj] Zobacz też
| J. Kaczyński: Polacy zostaną ciężko ograbieni |
- Polityka liberalizmu PO będzie nas drogo kosztowała. Polacy zostaną ciężko ograbieni, gdyż ceny wzrosną, a pensje nie - mówił prezes PiS podczas wizyty na Mazurach i Suwalszczyźnie. Jarosław Kaczyński przekonywał mieszkańców Ełku i Suwałk, że wprowadzenie euro będzie niekorzystne dla Polaków. |
| Prezydent zawetował kolejne ustawy |
Prezydent Lech Kaczyński zawetował kolejne ustawy. Są to: nowelizacja ustawy o zwalczaniu nieuczciwej konkurencji, zmiana w przepisach dotyczących emerytur i rent z FUS oraz ustawa upoważniająca prezydenta do ratyfikacji Konwencji ds. kontaktów z dziećmi. Po raz drugi zawetował ustawę likwidującą tzw. poziomy awans sędziów. Politycy PO, PSL oraz Lewicy uważają, że kolejne weta prezydenta Lecha Kaczyńskiego są podyktowane pobudkami politycznymi. |
| IPN sprawdzi, czy Józef Światło naprawdę nie żyje |
Pion śledczy katowickiego IPN chce zbadać losy podpułkownika Józefa Światły, który w 1953 roku uciekł z Polski na Zachód - poinformował serwis tvp.info. W chwili obecnej prokuratorzy nie mają nawet pewności czy były wicedyrektor Departamentu X Ministerstwa Bezpieczeństwa faktycznie nie żyje. |
| Paweł Machcewicz dyrektorem Muzeum II Wojny Światowej |
Minister Kultury i Dziedzictwa Narodowego Bogdan Zdrojewski powołał Pawła Machcewicza na stanowisko dyrektora Muzeum II Wojny Światowej w Gdańsku - poinformował dział prasowy ministerstwa. |
| Kaczyński: Sikorski szefem NATO? To dobre dla Polski |
Według prezesa PiS Jarosława Kaczyńskiego "byłoby dobrze dla Polski", gdyby Radosław Sikorski lub Aleksander Kwaśniewski objęli stanowisko sekretarza generalnego NATO - bo to wzmacnia pozycję Polski. Zaznaczył, że "bliżej" mu do Sikorskiego. |
| Boże Narodzenie w Opoce |
Rekolekcje on-line, przegląd tradycji adwentowych i świątecznych oraz konkurs MMS na zdjęcie szopki to nowe atrakcje portalu Opoka. |
| IPN ujawnił protokół przesłuchania Graczyka |
IPN opublikował na swych stronach w internecie protokół przesłuchania b. oficera SB Edwarda Graczyka, jako świadka w śledztwie IPN w sprawie fałszowania przez SB akt mających dowodzić, że Lech Wałęsa był agentem o pseudonimie "Bolek". |
| Sąd: Informacja, że Graczyk nie żyje pochodziła z UOP |
To z Urzędu Ochrony Państwa Sąd Lustracyjny dostał informację, że nie żyje b. oficer SB Edward Graczyk, który w 1970 r. miał rzekomo zwerbować Lecha Wałęsę - podała rzeczniczka Sądu Apelacyjnego w Warszawie. |
| Zaproszenia na wykład Dalajlamy jak świeże bułeczki |
Planowany na 11 grudnia wykład Dalajlamy w Hali Torwar w Warszawie cieszy się bardzo dużym zainteresowaniem. Wszystkie zaproszenia zostały rozdane w ciągu godziny. |
| PiSzę do Ciebie - przypadek czy propaganda? |
"PiSzę do Ciebie" - taki zapis hasła adwentowego wymyśliły "Gość Niedzielny" i "Mały Gość Niedzielny". Propaganda czy czysty przypadek? Kilka dni temu prezes PiS zapowiedział powrót do władzy dzięki parafiom. - Nie posunęlibyśmy się do czegoś takiego - komentuje hasło tygodników Mariusz Kamiński z PiS. - Doszukiwanie się w tym zapisie aluzji do PiS-u to paranoja - uważa ks. Tomasz Jaklewicz z redakcji "Małego Gościa Niedzielnego". |
