Cyfroteka.pl

klikaj i czytaj online

Cyfro
Czytomierz
00456 014121 11053930 na godz. na dobę w sumie
100 sposobów na tworzenie robotów sieciowych - książka
100 sposobów na tworzenie robotów sieciowych - książka
Autor: , Liczba stron: 384
Wydawca: Helion Język publikacji: polski
ISBN: 83-7361-452-4 Data wydania:
Lektor:
Kategoria: ebooki >> komputery i informatyka >> webmasterstwo >> inne
Porównaj ceny (książka, ebook, audiobook).

Internet to niewyczerpane źródło informacji. Zwykle jednak znalezienie w gąszczu witryn i danych tego, co jest naprawdę potrzebne, jest zadaniem niezwykle trudnym. Wyszukiwarki internetowe, nawet te najpopularniejsze i najbardziej efektywne w działaniu, nie zawsze są odpowiednim rozwiązaniem. W takich przypadkach trzeba poszukać innego sposobu, a nawet opracować własną metodę przeszukiwania sieci.

Książka '100 sposobów na tworzenie robotów sieciowych' może służyć pomocą w wielu takich właśnie przypadkach. Przedstawia sposoby tworzenia i wykorzystywania 'pająków' przeszukujących sieć pod kątem określonych zasobów. W książce poruszono następujące zagadnienia:

W książce przedstawiono techniki tworzenia kompletnych programów przeszukujących sieć (pająków), umożliwiających odnalezienie wszystkich potrzebnych danych.

Znajdź podobne książki Ostatnio czytane w tej kategorii

Darmowy fragment publikacji:

100 sposobów na tworzenie robotów sieciowych Autorzy: Kevin Hemenway, Tara Calishain T³umaczenie: Tomasz ¯mijewski ISBN: 83-7361-452-4 Tytu³ orygina³u: Spidering Hacks 100 Industrial-Strength Tips Tools Format: B5, stron: 384 Internet to niewyczerpane ĥród³o informacji. Zwykle jednak znalezienie w g¹szczu witryn i danych tego, co jest naprawdê potrzebne, jest zadaniem niezwykle trudnym. Wyszukiwarki internetowe, nawet te najpopularniejsze i najbardziej efektywne w dzia³aniu, nie zawsze s¹ odpowiednim rozwi¹zaniem. W takich przypadkach trzeba poszukaæ innego sposobu, a nawet opracowaæ w³asn¹ metodê przeszukiwania sieci. Ksi¹¿ka „100 sposobów na tworzenie robotów sieciowych” mo¿e s³u¿yæ pomoc¹ w wielu takich w³aġnie przypadkach. Przedstawia sposoby tworzenia i wykorzystywania „paj¹ków” przeszukuj¹cych sieæ pod k¹tem okreġlonych zasobów. W ksi¹¿ce poruszono nastêpuj¹ce zagadnienia: • Uwarunkowania prawne dotycz¹ce korzystania z programów przeszukuj¹cych sieæ • Narzêdzia do tworzenia robotów oraz wyszukiwania danych • Sposoby wyszukiwania i pobierania plików multimedialnych • Przeszukiwanie sieciowych baz danych • Metody zapisywania zbiorów danych i aktualizowania ich • Tworzenie zbiorów danych ³atwych do przeszukiwania przez innych W ksi¹¿ce przedstawiono techniki tworzenia kompletnych programów przeszukuj¹cych sieæ (paj¹ków), umo¿liwiaj¹cych odnalezienie wszystkich potrzebnych danych. IDZ DO IDZ DO PRZYK£ADOWY ROZDZIA£ PRZYK£ADOWY ROZDZIA£ SPIS TREĎCI SPIS TREĎCI KATALOG KSI¥¯EK KATALOG KSI¥¯EK KATALOG ONLINE KATALOG ONLINE ZAMÓW DRUKOWANY KATALOG ZAMÓW DRUKOWANY KATALOG TWÓJ KOSZYK TWÓJ KOSZYK DODAJ DO KOSZYKA DODAJ DO KOSZYKA CENNIK I INFORMACJE CENNIK I INFORMACJE ZAMÓW INFORMACJE ZAMÓW INFORMACJE O NOWOĎCIACH O NOWOĎCIACH ZAMÓW CENNIK ZAMÓW CENNIK CZYTELNIA CZYTELNIA FRAGMENTY KSI¥¯EK ONLINE FRAGMENTY KSI¥¯EK ONLINE Wydawnictwo Helion ul. Chopina 6 44-100 Gliwice tel. (32)230-98-63 e-mail: helion@helion.pl Spis treści O Autorach...................................................h...................................................h............... .................. 7 Wstęp..............................................h...................................................h......................... .................... 13 Rozdział 1. Łagodne wprowadzenie ...................................................h......................................... 17 1. Pająki i zbieranie danych: kurs na zderzenie............................................................... 17 2. Zasady obowiązujące pająka i jego użytkownika ....................................................... 19 3. Anatomia strony HTML .................................................................................................. 23 4. Rejestrowanie pająka........................................................................................................ 26 5. Przedstawiamy się............................................................................................................ 28 6. Ostrożnie z użyciem pająka ............................................................................................ 30 7. Szukanie wzorców w identyfikatorach......................................................................... 33 Rozdział 2. Zestaw narzędzi ...................................................h...................................................... 37 8. Instalowanie modułów Perla.......................................................................................... 40 9. Po prostu pobieranie za pomocą LWP::Simple ........................................................... 42 10. Bardziej złożone żądania — LWP::UserAgent ............................................................ 44 11. Dodawanie do żądania nagłówków HTTP .................................................................. 45 12. Wysyłanie danych przez LWP ....................................................................................... 47 13. Uwierzytelnianie, ciasteczka i serwery proxy ............................................................. 49 14. Obsługa względnych i bezwzględnych adresów URL............................................... 53 15. Dostęp do zabezpieczonych zasobów i atrybuty przeglądarki .................................. 55 16. Ograniczanie zajmowanego pasma ............................................................................... 56 17. Poszanowanie dla pliku robots.txt................................................................................. 60 18. Dodawanie w skryptach pasków postępu ................................................................... 61 19. Pobieranie danych za pomocą HTML::TreeBuilder.................................................... 66 20. Analizowanie kodu za pomocą HTML::TokeParser................................................... 69 21. WWW::Mechanize 101 ..................................................................................................... 72 22. Pobieranie danych za pomocą WWW::Mechanize ..................................................... 75 Spis treści | 3 23. Pochwała wyrażeń regularnych..................................................................................... 79 24. Template::Extract: bezproblemowe RSS ....................................................................... 82 25. Wprowadzenie do XPath ................................................................................................ 85 26. Pobieranie zasobów za pomocą curl i wget ................................................................. 90 27. wget dla zaawansowanych ............................................................................................. 91 28. Łączenie poleceń potokami............................................................................................. 93 29. Jednoczesne uruchamianie wielu narzędzi.................................................................. 98 30. Użycie Web Scraping Proxy.......................................................................................... 100 31. Zawczasu unikaj kłopotów ........................................................................................... 104 32. Liczenie się ze zmiennością witryny ........................................................................... 107 Rozdział 3. Zbieranie plików multimedialnych ...................................................h...................... 109 33. Sprawa dla detektywa: Newgrounds.......................................................................... 109 34. Sprawa dla detektywa: iFilm ........................................................................................ 114 35. Pobieranie filmów z Biblioteki Kongresu USA ......................................................... 117 36. Pobieranie obrazów z Webshots .................................................................................. 120 37. Pobieranie komiksów — dailystrips............................................................................ 124 38. Kolekcjonowanie kadrów z kamer sieciowych.......................................................... 126 39. News Wallpaper dla naszej witryny ........................................................................... 130 40. Zapisywanie samych załączników wiadomości POP3............................................. 133 41. Pobieranie plików MP3 z listy odtwarzania .............................................................. 139 42. Pobieranie danych z Usenetu za pomocą nget.......................................................... 144 Rozdział 4. Zbieranie danych z baz danych ...................................................h........................... 147 43. Użycie yahoo2mbox do pobierania wiadomości z grup Yahoo! .............................. 147 44. Archiwizacja wiadomości z grup Yahoo! za pomocą WWW::Yahoo::Groups ........149 45. Zbieranie Buzz z Yahoo!................................................................................................ 153 46. Pająki w katalogu Yahoo!.............................................................................................. 155 47. Śledzenie nowości Yahoo!............................................................................................. 162 48. Szukanie rozproszone w Yahoo! i Google.................................................................. 164 49. Idea mindshare i katalog Yahoo! w Google............................................................... 168 50. Wyniki z Google bez dzienników sieciowych........................................................... 172 51. Pająki, Google a wiele domen ...................................................................................... 174 52. Pobieranie recenzji z Amazon.com.............................................................................. 178 53. Pobieranie drogą pocztową nowo dodanych na Amazon.com recenzji ............... 180 54. Pobieranie zaleceń dla klienta Amazon.com ............................................................. 183 55. Publikowanie statystyk Amazon.com Associates ..................................................... 185 56. Sortowanie Amazon.com według ocen klientów...................................................... 187 57. Alexa i produkty podobne na Amazon.com.............................................................. 190 4 | Spis treści 58. Użycie Javy do pobierania danych z Alexy ............................................................... 194 59. Znajdowanie danych o albumie za pomocą FreeDB i Amazon.com ..................... 196 60. Poszerzanie swoich horyzontów muzycznych.......................................................... 203 61. Horoskop na co dzień .................................................................................................... 207 62. Graficzna prezentacja danych: RRDTOOL................................................................. 209 63. Zbieranie notowań giełdowych.................................................................................... 213 64. Wszystko o autorze ........................................................................................................ 216 65. Bestsellery wydawnictwa O’Reilly a zainteresowanie w bibliotece ...................... 230 66. Listy książek z All Consuming..................................................................................... 233 67. Śledzenie paczek FedEx................................................................................................. 238 68. Szukanie nowych komentarzy w dziennikach sieciowych ..................................... 240 69. Agregowanie RSS i przesyłanie zmian ....................................................................... 244 70. Użycie Link Cosmos na Technorati............................................................................. 251 71. Szukanie powiązanych pakietów RSS......................................................................... 254 72. Automatyczne znajdowanie interesujących nas dzienników sieciowych............. 264 73. Pobieranie zapowiedzi programu telewizyjnego...................................................... 267 74. Jaka jest pogoda u Twojego gościa? ............................................................................ 271 75. Określanie trendów według lokalizacji ...................................................................... 274 76. Znajdowanie najlepszych połączeń kolejowych........................................................ 279 77. Palcem po mapie............................................................................................................. 282 78. Angielski słowniczek ..................................................................................................... 287 79. Związki słów w Lexical Freenet................................................................................... 291 80. Zmiana formatowania raportów Bugtraq .................................................................. 294 81. Zakładki w sieci via e-mail ........................................................................................... 298 82. Publikacja w swojej witrynie zakładki Ulubione ...................................................... 304 83. Analiza cen gier w GameStop.com.............................................................................. 311 84. Na zakupy z PHP ........................................................................................................... 313 85. Łączenie wyników z różnych wyszukiwarek............................................................ 319 86. Robot Karaoke................................................................................................................. 323 87. Przeszukiwanie Biur na Rzecz Poprawy Jakości Usług........................................... 326 88. Szukanie ocen sanitarnych............................................................................................ 329 89. Nieprzyzwoitości mówimy nie! ................................................................................... 332 Rozdział 5. W trosce o własny stan posiadania ...................................................h.................... 335 90. Użycie crona do automatyzacji zadań ........................................................................ 335 91. Terminowe wykonywanie zadań bez crona .............................................................. 337 92. Tworzenie kopii witryn za pomocą wget i rsync...................................................... 341 93. Gromadzenie wyników poszukiwań .......................................................................... 344 Spis treści | 5 Rozdział 6. Teraz my dla innych........................h...................................................h..................... . 349 94. Użycie XML::RSS do przekształcania danych ........................................................... 350 95. Umieszczanie w witrynie nagłówków RSS................................................................ 353 96. Udostępniamy naszą witrynę dla wyrażeń regularnych......................................... 356 97. Udostępnianie naszych zasobów dla automatów za pomocą interfejsu REST .......362 98. Udostępnianie zasobów przy użyciu XML-RPC....................................................... 365 99. Tworzenie interfejsu IM ................................................................................................ 369 100. Co dalej? ........................................................................................................................... 372 Skorowidz ...................................................h...................................................h................ .............. 375 6 | Spis treści 1. R O Z D Z I A Ł P I E R W S Z Y Łagodne wprowadzenie Sposoby 1. – 7. W sieci są obecnie ponad trzy miliardy stron, więc każdy żeglarz cyberprzestrzeni wcze- śniej czy później musi zadać sobie dwa pytania: gdzie znaleźć coś wartościowego i co można z tym zrobić? Każdy ma własne pojęcie o tym, co jest wartościowe, większość ludzi ma też różne dobre pomysły o tym, jak takie rzeczy wykorzystać. Są takie zakątki sieci, w których przekształcanie danych do innych celów prowadzi do nagłych olśnień, a to z kolei staje się początkiem nagłej eksplozji nowych danych. Z punktu widzenia sieci dopiero niedawno pojawiły się pierwsze narzędzia ułatwiające korzystanie z powszechnie dostępnych danych. Kiedy serwis Google udostępnił swoje serwisy wyszukiwawcze za pośrednictwem interfejsów API (zajrzyj do książki Google Hacks), podobny krok szybko zrobił Amazon.com (zajrzyj do Amazon Hacks); w jednym i drugim wypadku owocem tych decyzji było pojawienie się nowych narzędzi. W tym krótkim i przyjemnym rozdziale przedstawimy Czytelnikom elegancką sztukę zbierania danych i używania pająków: czym ona jest, a czym nie jest, co jest zwykle dozwolone, a co niesie ze sobą ryzyko. Powiemy, jak szukać alternatywnych metod dostępu do inte- resujących danych i jak pozyskać sobie przychylność autorów witryn (a tak naprawdę to przekazać im pewną wiedzę), którzy na naszą automatynzację patrzą niechętnie. S P O S Ó B 1. Pająki i zbieranie danych: kurs na zderzenie Odpowiemy tu na pytania: dlaczego i w jakim celu in staluje się pająki i zbiera dane. Istnieje mnóstwo rozmaitych programów służących do zbierania i odsiewania informacji, łączenia ze sobą zasobów oraz porównywania danych — liczba tych programów stale rośnie. Ludzie to tylko część znacznie większego i zautomatyzowanego równania. Jednak mimo takiej obfitości istniejących programów, podstawowe zasady ich działania pozostają niezmienne. Pająki to programy wędrujące po sieci, służące do zbierania informacji. W dziennikach witryn sieciowych można znaleźć programy User-Agent, takie jak Googlebot, Scooter czy MSNbot. Są to właśnie pająki lub, jak wolą je nazywać z anginelska niektórzy, boty. W książce tej będziemy stale mówić o pająkach i programach zbierających — czym różnią się jedne od drugich? Ogólnie rzecz biorąc, jedne i drugie wędrują po internecie i zbierają różne dane. Na potrzeby tej książki najlepiej traktować pająki jako programy pobierające Łagodne wprowadzenie | 17 SPOSÓB 1. Pająki i zbieranie danych: kurs na zderzenie całe strony, pliki lub ich zbiory, zaś programy zbierające jako programy służące do pobie- rania wybranych fragmentów danych z całych plików. Przykładowo, jeden z pająków [Sposób 44.], omawianych w tej książce, przeznaczony jest do pobierania całych pakietów (kolekcji) wiadomości z Yahoo! Group, a następnie do przekształcania ich w pliki poczty elektronicznej, tak aby można było odczytywać je w programie pocztowym. Z kolei jeden z programów zbierających [Sposób 76.] służy do pobierania ze stron danych o rozkładzie jazdy pociągów. Pająki poruszają się po hiperłączach, zbierając dane, natomiast progra- my zbierające wybierają ze stron informacje. Jedne i drugie są zwykle używane łącznie: można używać programu wykorzystującego pająka do poruszania się po łączach, by potem za pomocą programu zbierającego wybierać jedynie innteresujące dane. Czemu pająki? Poznając jakąkolwiek technologię czy sposób użycia technologii, zawsze dobrze jest zadać sobie ważne pytanie: dlaczego? Dlaczego trudzić się pająkami? Po co marnować czas na pisanie pająka, testowanie go, uzyskiwanie zezwolenia od właściciela strony na jego użycie, udostępnianie go innym i opiekę nad jego kodem? Otóż warto: kiedy raz zacznie się sto- sować pająki, potem trudno wyobrazić sobie, jak możnna było się dotąd bez nich obejść. Uzyskiwanie automatycznego dostępu do zasobów Oczywiście, można codziennie odwiedzać każdą interesnującą nas stronę, ale czy nie prościej byłoby napisać odpowiedni program, który wynbrałby jedynie interesujące nas dane? Jeśli pająk zwróci wyniki najczęściej wykonnywanego poszukiwania w Google, można zaoszczędzić mnóstwo czasu, energii ni uniknąć wielokrotnego powtarzania tej samej pracy. Im bardziej prace będą nzautomatyzowane, tym więcej czasu można będzie poświęcić używaniu tych danych. Zbieranie informacji i prezentowanie ich w formacie aslternatywnym Wyniki badań marketingowych, zbierane w formie wynikónw, zwracane przez wyszukiwarkę, można zaimportować do arkusza Microsoft Excel w celu późnkiejszej ich prezentacji czy analizowania [Sposób 93.] Można skopiować swoje ulubione archiwa Yahoo! Groups w takiej postaci, którą program pocztowy będzie w stanie odczytać, tak jak odczytuje każdy inny folder pocztowy [Sposób 43.] Można na bieżąco śledzić zawartość najciekawszych witryn bez konieczności płacenia za kolejne wizyty [Sposób 81.] Kiedy już mamy w ręku interesujące nas danne, można je przekształcać, zmieniać ich układ, formatować wnedle woli. Agregowanie osobnych źródeł danych Żadna witryna nie jest samotną wyspą, choć nie jest tno tak oczywiste, jeśli wziąć pod uwagę trudność ręcznego integrowania danych z różnycnh witryn. Użycie pająków automatyzuje to żmudne zadanie — na przykład pomaga analizować zmieniające się stopniowo wyniki Google [Sposób 93.] czy łączyć uzupełniające się dane [Sposób 69.] z różnych dzienników w pojedynczy pakiet RSS. nPająki można przystosować do zbierania danych zarówno z różnych źrnódeł, jak i z jednego źródła w różnych okresach. 18 | Łagodne wprowadzenie Zasady obowiązujące pająka i jego użytkownika SPOSÓB 2. Łączenie możliwości różnych witryn Wiele osób ma swoje ulubione wyszukiwarki, które jendnak nie posiadają wszystkich potrzebnych funkcji. Braki te może uzupełnić inna wyszunkiwarka, która z kolei może nie spełniać innych wymagań. Pająk może powiązać możliwości obu takich programów [Sposób 48.] przez zadanie zapytania jednej przeglądarcne i przekazanie uzyskanych odpowiedzi drugiej. Znajdowanie i zbieranie informacji określonego typu Być może najpierw trzeba będzie przeszukać wyniki wysnzukiwania; w naszym imieniu pająk może wykonywać zapytanie przez wypełnianie formularzy i odsiewanie potrzebnych wyników [Sposób 51.] Wykonywanie typowych zadań administratora witryny Codziennymi, rutynowymi zadaniami administratora monże zająć się pająk. To on może służyć do sprawdzania kodu HTML, aby zapewnić jego zgodność ze standardami, do sprawdzania czystości kodu (http://tidy.sourceforge.net/), poprawności hiperłączy, a także braku łączy do zakazannych treści. Więcej informacji o pająkach, robotach, pełzaczach oi programach zbierających dane znaleźć można w witrynie Web Robot FAQ (często zaodawane pytania na temat sieciowych robotów) dostępnej pod adresem http://www.robotstxt. org/wc/faq.html. S P O S Ó B 2. Zasady obowiązujące pająka i jego użytkownika Wybrane zasady dotyczące pisania własnych dobrze ułoż onych pająków. Aby tworzony pająk był skuteczny i tak przydatny, jak tylko to możliwe, trzeba podczas jego tworzenia pamiętać o kilku zasadniczych kwestianch. Nie bądźmy zbyt wybredni Użycie pająka oznacza pobieranie informacji z witryny. Aby pobrać informacje, trzeba przebić się przez mieszaninę różnych znaczników: HTML, XML, zwykły tekst lub jeszcze inne formaty danych. Delikatnie mówiąc, nie jest to nauka ścisła. Jeśli zmieni się choć jeden znacznik czy zmieni się cokolwiek w pliku formatującym, pająk prawdopodobnie przestanie działać i będzie wymagał zrobienia w nim poprawek. Na szczęście większość witryn nie jest gruntownie przebudowywana co sześć miesięcy, jak to kiedyś bywało, ale i tak witryny zmieniają się na tyle często, aby trzneba było to brać pod uwagę. Aby zredukować wrażliwość naszych narzędzi na wszelkie zmiany, podczas zbierania danych ze strony należy używać możliwie mało danych brzegowych. Dane brzegowe to otoczka interesujących nas treści: znaczniki, nadmiarowe informacje, spacje, znaki nowego wiersza i tak dalej. Na przykład tytuł każdej witryny nwygląda mniej więcej tak: title To jest tytuł /title Jeśli właśnie tytuł nas interesuje, to danymi brzegownymi są znaczniki title i /title . Łagodne wprowadzenie | 19 SPOSÓB 2. Zasady obowiązujące pająka i jego użytkownika Regularnie należy sprawdzać wyniki uzyskiwane od pająka, aby upewnić się, że są one zgodne z oczekiwaniami [Sposób 31.]. Możliwie szybko należy uwzględniać wszelkie zmiany, aby się nie pogubić, poza tym, projektując pająka, należy uczynić go możliwie elastycznym [Sposób 32.] Nie ograniczajmy swoich zbiorów danych To, że pracujemy ze stronami sieciowymi, nie oznacza, że musimy się ograniczać do analizowania dokumentów HTML. Ograniczenie się jedynie do stron sieciowych oznacza od razu ograniczenie dostępnego zbioru danych; w sieci są przecież także obrazy, dźwięki, filmy, pliki PDF, pliki tekstowe — wszystkie one warte są tego, aby rozważyć dołączenie ich do swojej kolekcji. Nie wyważajmy otwartych drzwi Chętnie myślimy, że to, co robimy, jest jedyne w swoim rodzaju i niepowtarzalne, ale niewykluczone, że wcześniej ktoś już tworzył podobne pająki i pobierał dane z tych sa- mych lub podobnych witryn, zostawiając swoje ślady w postaci kodu, czystych danych czy instrukcji. CPAN (http://www.cpan.org) — Comprehensive Perl Archive Network (ang. Największa sieć z archiwalnymi zasobami Perla) — to prawdziwa skarbnica modułów Perla pozwalają- cych programować w internecie, przeglądać tekst w poszukiwaniu danych, przekształcać zebrane zbiory danych — wszystko to może być wykorzystane przy tworzeniu własnych pająków. Moduły te są dostępne za darmo: wystarczy je pobrać, a następnie używać, modyfikować i udoskonalać. Kto wie, być może, kończąc tworzenie naszego pająka, będziemy mieli w swoim dorobku kilka nowych modułów, które będziemy mogli udo- stępnić komuś innemu. Przed rozpoczęciem kodowania należy przejrzeć podaną witrynę, aby się upewnić, że nie poświęcamy mnóstwa czasu i wysiłku w stworzenie czegoś, co już jest gotowe. Jeśli co rano chcemy mieć w skrzynce pocztowej prognozę pogody, warto sprawdzić witrynę lokalnej gazety czy jakąś witrynę poświęconą pogodzie (jak http://www.weather.com); praw- dopodobnie jest tam potrzebna usługa. Jeśli potrzebna jest zawartość witryny w formie pakietu RSS, natomiast w witrynie tej nie widać pomarańczowego przycisku „XML”, warto tej zawartości poszukać w Google (rss site:example.com ( filetype:rss | filetype:xml | filetype:rdf )) lub w witrynie Syndic8 (http://www.syndic8.com). Następnie można się oczywiście skontaktować z właścicielem witryny, pytając, czy do- stępna jest dana usługa czy format danych. Być może to właśnie pytanie przekona właści- ciela, że posiadanie pakietu RSS lub sieciowej usługi API z treścią witryny jest dobrym pomysłem. W podrozdziale „Co dalej?” [Sposób 100.] podana została większa ilość adresów miejsc poświęconych pobieraniu zasobów. 20 | Łagodne wprowadzenie Zasady obowiązujące pająka i jego użytkownika SPOSÓB 2. Wskazówki dla użytkownika Tak jak ważne jest przestrzeganie pewnych zasad podczas programowania pająka, tak ważne jest przestrzeganie zasad podczas jego projekntowania. Wybieranie najbardziej strukturalnej postaci danych. Pliki HTML są w niewielkim stopniu ustrukturyzowane, gdyż koncentrują się na formie danych, a nie na ich treści. Często witryny występują w różnych postaciach; warto spytać o wersję XHTML czy XML, która jest czystsza i ma ściślej określoną strukturę. Uproszczona postać XML, RSS występuje wszędzie. Analiza HTML, jeśli jest konieczna, powinna być możliwie prosta. Jeśli potrzebne infor- macje są dostępne jedynie w formie HTML, warto poszukać wersji tekstowej lub wersji do wydruku; wersje te zwykle mają prostszy kod HTML, wyższy wskaźnik proporcji treści do prezentacji i w mniejszym stopniu podlegają zmiannie podczas reorganizacji strony. Niezależnie od tego, jakie będzie ostatecznie źródło danych, należy analizować możliwie mało kodu HTML — tylko tyle, ile jest niezbędne do zlokalizowania odpowiednich danych. Im mniej kodu HTML, tym mniej wrażliwy będzie pająk. Więcej informacji na ten temat podano w „Anatomii strony HTML” [Sposób 3.] Dobór właściwych narzędzi. Czy stronę należy analizować za pomocą wyrażeń regu- larnych? A może lepiej zastosować bardziej uniwersalne narzędzie jak WWW::Mechanize [Sposób 22.] czy HTML::TokeParser [Sposób 20.]? W dużym stopniu zależy to od intere- sujących nas danych oraz od konstrukcji kodu HTML. Czy jest on pisany ręcznie i nie zachowuje ustalonych konwencji, czy jest generowany przez jakieś narzędzie i przez to zawiera powtarzające się wzory? Należy wybrać najprostszą i najmniej podatną na awarię metodę, która jest dostępna; zresztą odporność na awarie jest z tych dwóch rzeczy ważniejsza. Nie wchodź w szkodę. Stworzony przez nas skrypt może być wyjątkowo wyrafinowany, ale nie ma to żadnego znaczenia, jeśli witryna, w której chcemy go uruchamiać, na to nie pozwoli. Przed zabrnięciem w taką sytuację trzeba sprawdzić, czy w interesującej nas witrynie możliwe jest korzystanie z pająków i dążyć do jak najmniejszego zużycia pasma i zasobów [Sposób 16.] Więcej informacji na te tematy, z uwzględnieniem kwestii praw- nych, Czytelnik znajdzie w podrozdziałach „Ostrożnie z użyciem pająka” [Sposób 6.] oraz „Poszanowanie dla pliku robots.txt” [Sposób 17.] Dobór właściwego identyfikatora. Zapisując identyfikator dla swojego pająka, trzeba wybrać taki, który jasno określi możliwości pająka: jakie informacje ma zbierać i do czego jest używany. Nie trzeba pisać powieści: wystarczy jedno zdanie. Identyfikatory takie nazy- wane są agentami użytkownika (User-Agents) i ustawianiem ich zajmiemy się w podroz- dziale „Dodawanie do żądania nagłówków HTTP” [Sposób 11.] Cokolwiek się robi, nie należy podszywać się pod istniejące pająki, jak Googlebot, ani nadawać identyfikatora, który łatwo jest pomylić z istniejącym pająkiem. Nie dość, że pająk będzie od razu traktowany jako podejrzany, to łatwo o kłopoty ze strony Google Łagodne wprowadzenie | 21 SPOSÓB 2. Zasady obowiązujące pająka i jego użytkownika czy innej firmy, pod którą się podszywamy. Ewentualne konsekwencje takiego postępo- wania omówimy w podrozdziale „Ostrożnie z użyciem pająka” [Sposób 6.] Udostępnianie informacji o pająku. Warto przygotować stronę internetową z informa- cjami o stworzonym pająku oraz z danymi kontaktowymi. Strona ta powinna być oczy- wiście widoczna w ulubionej przeglądarce. W podrozdziale „Rejestrowanie pająka” [Sposób 4.] omówione zostaną sposoby informowania innycnh o istnieniu pająka. Nie wymagaj zbyt wiele. Stworzenie nawet najdoskonalszej aplikacji od chwili pojawienia się w Google programu PageRank niewiele znaczy, ponieważ to i tak administrator strony decyduje o prawach dostępu do niej czy do jej poszczególnych obszarów. Należy uprzej- mie prosić o taki dostęp, nie zaś kategorycznie go żądać. Dzielmy się swoimi doświad- czeniami: być może warto nawet przedstawić stworzony kod! W końcu przecież chcemy pobierać z ich strony informacje. Udostępnienie programu w zamian za informacje jest uczciwym postawieniem sprawy. Wskazówki dla pająka Pisząc pająka, trzeba pamiętać o pewnych zasadach. Poszanowanie dla pliku robots.txt. Plik robots.txt znajduje się w katalogu głównym witryny; stanowi on informację dla pająków o tym, do czego na danym serwerze mogą mieć dostęp. Plik ten może nawet spowodować, że niektóre pająki będą musiały opuścić stronę bez zaglądania gdziekolwiek. Wielu administratorów witryn wykorzystuje spo- sób traktowania tego pliku przez pająka jako papierek lakmusowy: jeśli pająk ignoruje robots.txt, zwykle jest wyrzucany ze strony. Szczegółowe porady na ten temat znajdują się w podrozdziale „Poszanowanie dla pliku robots.txt” [Sposób 17.]. Poza plikiem robots.txt istnieje jeszcze znacznik META Robots (http://www.robotstxt.og/wc/exclusion.htmlk#meta), który podaje instrukcje dla pająków dotyczące indeksowania dla poszczególnych ostron. Protokół znacznika META Robots nie jest nawet w przybliżeniu tak ouniwersalny jak plik robots.txt i jest znacznie rzadziej uwzględniany przez pająki. Ograniczanie obciążenia. Nawet jeśli zawartość witryny jest doskonała i chcielibyśmy dla naszej aplikacji pozyskać jak najwięcej danych, nie warto być zachłannym. Jeśli pająk próbuje w krótkim czasie pobrać zbyt wiele danych — dziesiątki czy nawet setki stron na sekundę — może to się w widoczny sposób odbić na dopuszczalnej przepustowości strony oraz na możliwości dostępu do tej strony przez innych użytkowników. Można wtedy usłyszeć „Ten kretyński pająk zapchał mi cały serwer i wszystko działało kosz- marnie wolno!” Nie ma jakichś określonych norm, jak szybko pająk może pobierać strony, aby nie być uznanym za uciążliwego intruza. Uczestnicy forum WebmasterWorld.com najczęściej mówili o jednym, dwóch żądaniach na sekundę. 22 | Łagodne wprowadzenie Anatomia strony HTML SPOSÓB 3. WebmasterWorld.com (http://www.webmasterworld.com) to działające w internecie forum miłośników wyszukiwarek i administratorów witryn zo całego świata. Odbywa się tam wiele dyskusji na istotne tematy. Co najwaożniejsze, głos zabierają przedstawiciele niektórych wyszukiwarek i lioczących się witryn. Niestety, wydaje się, że łatwiej jest powiedzieć, czego nie można zaakceptować, niż podać jakiś rozsądny limit. Dla osób cierpliwych jedno czy dwa żądania na sekundę wystarczą; intensywniejsze pobieranie danych może spowodować furię właściciela strony. Zrobić można wszystko, byle był na to czas; jeśli dane nie są potrzebne natychmiast, stopnio- wym ich pobieraniem może zająć się pająk. Więcej szczegółów na ten temat znajduje się w podrozdziale „Ograniczanie zajmowanego pasma” [Sposób 16.] Tyle, ile trzeba i wtedy, kiedy trzeba. Nadmierne pobieranie to po prostu branie więcej danych niż trzeba i przez to zajmowanie szerszego pasma niż jest to niezbędne. Jeśli po- trzebna jest strona, należy pobrać stronę. Nie wolno wtedy pobierać całego katalogu ani (niech Bóg broni!) całej witryny. To samo dotyczy czasu. Nie należy pobierać strony częściej niż jest to konieczne. Jeśli pro- gram z danymi z takiej strony będzie uruchamiany raz dziennie, wystarczy te dane raz dziennie pobrać. Nie zaleca się pobierania danych częściej niż raz na godzinę, jeśli nie jest to absolutnie niezbędne (choć i tak wymagana jest wtedy zgoda właściciela strony). S P O S Ó B 3. Anatomia strony HTML Aby umieć pobierać dane, nie wystarczy umieć programo wać; trzeba jeszcze znać HTML i znać różne rodzaje plików związanych z witrynami si eciowymi. Dla osób dopiero zapoznających się ze światem pająków internetowych podjęcie decyzji, co należy pobrać i dlaczego, nie jest łatwe. Zdarza się pobierać zbyt dużo danych, zbyt mało lub pobierane są dane, które zmieniają się częściej niż powinny. Znajomość budowy plików HTML ułatwia wybieranie tylko tych danych, o którne chodzi. Pliki HTML to zwykłe pliki tekstowe, tyle że specjalnie sformatowane. Z takimi właśnie plikami zwykle mamy do czynienia, zajmując się pająkami: zarówno w tej książce, jak i w codziennej praktyce. Wprawdzie będziemy dalej zajmować się szukaniem i pobiera- niem plików multimedialnych: obrazków, filmów, plików dźwiękowych, ale nie będziemy ich analizować ani wydobywać z nich żadnych danych. Anatomia strony HTML Stronę HTML można sformatować na niemalże tyle sposobów, ile stron jest w internecie. Jeśli mamy nakazać pająkowi wyszukiwać na stronie HTML interesujące nas dane, musimy wiedzieć, jak takie strony są zbudowane i jak mogą nbyć ułożone w nich informacje. Zasadniczo strona HTML wygląda tak: html head Łagodne wprowadzenie | 23 SPOSÓB 3. Anatomia strony HTML title Tytuł strony /title /head body Treść strony /body /html I to tyle. Taki jest ogólny zarys 99 stron HTML znajdujących się w sieci. Strony te mogą być o wiele bardziej rozbudowane, ale ogólna zasada jest właśnie taka. Co to oznacza dla naszych pająków? Oznacza to, że tylko jeden fragment informacji jest wyraźnie oznako- wany: tytuł strony. Jeśli potrzebny był nam tylko tytuł, znaleźliśmy to, o co nam chodziło. Jeśli jednak potrzebne są nam dane z treści strony, na przykład nagłówek czy data, jeszcze sporo pracy przed nami. Niejednokrotnie treść strony zawiera kilka tabel, kod JavaScript i inne fragmenty kodu utrudniające dotarcie do tego, co nas interesuje; wszystkie te nie- dogodności w znacznie większym stopniu wiążą się z formatowaniem, a nie z organizacją danych. Z drugiej jednak strony język HTML zawiera pewne standardowe metody orga- nizowania danych. Niektóre z nich powodują powiększenie pewnych informacji na ekranie jako nagłówków. Inne służą do zestawiania danych w listy. Zrozumienie sposobu dzia- łania tych metod ułatwi wybieranie informacji ukrytej ngłęboko w strukturze strony. Treści nagłówkowe w znacznikach H Istotne informacje na stronie (nagłówki, podtytuły, uwagi i tak dalej) są zwykle ujmowane znacznikami Hx , gdzie x to cyfra od 1 do 6. Standardowo treść znacznika H1 jest na ekranie największa, gdyż jest to nagłówek stojący wn hierarchii najwyżej. Czasami pobranie nagłówków pozwala zorientować się w zawartości tej strony, choć zależy to od jej konstrukcji. Jeśli na przykład pobieramy dane ze strony z najświeższymi wiadomościami i wiemy, że nagłówki zawsze są ujmowane znacznikami H2 , zaś pod- tytuły znacznikami H4 , można pobrać odpowiednie znaczniki i pobrać krótki spis treści artykułów bez konieczności analizy całego oznakowania. Tak naprawdę, jeśli wiadomo, że strona zawsze jest oznakowana w opisany sposób, można określić treść całej witryny na podstawie wymienionych znaczników, bez koniecznonści analizowania reszty stron. Specjalne znaczniki HTML obsługujące listy Nie każdy projektant witryny używa list do organizowania danych; niektórzy korzystają po prostu z kolejnych, numerowanych akapitów. Jednak listy zwykle tworzy się za pomocą specjalnych znaczników. Listy uporządkowane (których pozycje są automatycznie numerowane) ograniczone są znacznikami ol i /ol , natomiast każdy element listy ograniczony jest znacznikami li i /li . W przypadku używania wyrażeń regularnych do pobierania informacji, 24 | Łagodne wprowadzenie można wybrać całą treść spomiędzy ol i /ol , przeanalizować poszczególne pary li /li , wstawić ich zawartość do tablicy i dalej normalnie już przetwarzać. Oto przykład listy uporządkowanej: Anatomia strony HTML SPOSÓB 3. ol li jajka /li li mleko /li li masło /li li cukier /li /ol Listy nieuporządkowane są bardzo podobne do list uporządkowanych, ale zamiast liczb pokazywane są wyróżniki graficzne (zazwyczaj kółka), natomiast cała lista ujęta jest w parę znaczników ul /ul zamiast ol /ol . Pliki inne niż HTML Niektóre pliki inne niż HTML są równie zmienne jak pliki HTML, inne z kolei są lepiej opisane. Przykładowo, zwykłe pliki .txt (których jest w sieci mnóstwo) nie mają żadnych informacji formatujących, nawet tak elementarnych, jak oddzielenie tytułu od treści. Pliki te jednak często są łatwiejsze do analizy, gdyż nie mają mnóstwa kodu HTML utrudnia- jącego ich interpretowanie. Drugą skrajnością są pliki XML (XML to rozszerzalny język znaczników, ang. eXtensible Markup Language). Poszczególne części pliku XML są opisane znacznie lepiej niż ma to miejsce w HTML. RSS, format wymiany danych stanowiący uproszczoną formę XML, ma jasno określone części plików, takie jak tytuły, treść, łącza i informacje dodatkowe. W książce tej często używamy plików RSS; ściśle zdefiniowane części są łatwe do analizy i zapisu w Perlu. Zobacz „Użycie XML::RSS do przekształcania danych” [Sposób 94.] Pierwsze, co trzeba zrobić przed pobraniem danych, to określenie typu pliku. Jeśli jest to zwykły plik tekstowy, .txt, niemożliwe będzie dokładne wskazanie interesujących nas treści. Jeśli jest to plik XML, możliwe będzie sięgnięcie do potrzebnych części za pomocą wyrażeń regularnych lub skorzystanie z jednego z wielu perlowych modułów obsługu- jących XML (jak XML::Simple, XML::RSS czy XML::LibXML). XHTML: Hybryda XML i HTML Z poprzednich przykładów wywnioskować można, że o ile w HTML duża część kodu dotyczy formatowania, to sposób zorganizowania danych na typowej stro- nie jest zdecydowanie słabiej opisany. Pojawił się już jednak standard XHTML (rozszerzalny język znaczników hipertekstowych, ang. eXtensible HyperText Markup Language). Być może w przyszłości XHTML zastąpi HTML. Sposób zapisu stron w nowym języku jest ściślej narzucony niż w HTML, zaś uzyskiwany kod jest prostszy w analizie. Łagodne wprowadzenie | 25 SPOSÓB 4. Rejestrowanie pająka S P O S Ó B 4. Rejestrowanie pająka Jeśli planujemy użycie jakiegoś pająka, musimy się ch oćby w minimalnym stopniu upewnić, że łatwo go będzie zidentyfikować. Nawet najprostszy pająk może być przedmiotem intensywnego zainteresowania. W internecie stale toczą się wojny: czy to między spamerami i antyspamerami, czy to między zwolennikami systemów wymiany plików i ich przeciwnikami. Mniej agre- sywna wojna toczy się między pająkami sieciowymi a właścicielami witryn, którzy nie życzą sobie działań pająków. Każdy może być przeciwny analizowaniu jego stron przez pająki. Niestety, nie wszystkie pająki są tak przyjazne jak Googlebot — program indeksujący serwisu Google. Wiele pająków przemieszcza się po rozmaitych stronach w celu zbierania adresów poczty elek- tronicznej dla spamerów. Jeszcze inne nie stosują się do zasad przyjaznego pobierania danych [Sposób 2.] W tej sytuacji przez doświadczonych administratorów witryn pająki bywają traktowane bardzo podejrzliwie. Tak naprawdę sytuacja jest na tyle poważna, że nasz pająk może zostać po prostu zablo- kowany. Biorąc to pod uwagę, trzeba starannie dobrać nazwę dla pająka, rejestrując go w sieciowych bazach danych oraz dbając o to, że będzie dostatecznie dobrze postrzegany w sieci. Tak na marginesie, wydawać się może, że tworzony przez nas pająk będzie zbyt mało istotny, aby w ogóle ktokolwiek mógł go zauważyć. Jednak w rzeczywistości prawdopo- dobnie wcale tak nie będzie. Witryny typu Webmaster World (http://www.webmasterworld. com) mają całe fora poświęcone identyfikowaniu i omawianiu pająków. Nie należy zakła- dać, że pająk będzie ignorowany tylko dlatego, że nie używa tysięcy działających non stop serwerów i nie analizuje dziennie milionów stron. Nazwa dla pająka Pająkowi należy dobrać taką nazwę, która powie coś o tym, czym jest ten program i czemu ma służyć. Nie jest zatem dobrą nazwą Botprzykladowy, lepszą już jest PobierzObrazkiZ- News czy w angielskiej wersji NewsImageScraper. Gdy pająk jest kontynuacją wcześniej- szego programu, warto w nazwie oznaczyć wersję, na przykład NewsImageScraper/1.03. W przypadku używania wielu pająków warto zastanowić się nad nadaniem im wspól- nej nazwy; na przykład Kevin mógłby nadać każdemu z nich nazwę zaczynającą się od disobeycom: disobeycomNewsImageScraper, disobeycomCamSpider, disobeycomRSSfeeds i tak dalej. Jeśli działanie pająków będzie zgodne z przyjętymi powszechnie zasadami, podejrzliwy administrator, widząc kolejnego pająka o podobnej nazwie, może spojrzeć na niego przychylniejszym okiem. Jeśli natomiast programy te „będą bezczelne”, po- dobne nazwy ułatwią administratorom szybkie ich odrzucenie — bo takie pająki na to tylko zasługują. Te rozważania mogą nasunąć myśl: czemu nie nazwać swojego pająka tak, jak nazwany jest pająk już istniejący? W końcu przecież większość witryn udostępnia swoje zasoby pająkowi Googlebot — czemu nie skorzystać z jego nazwny? 26 | Łagodne wprowadzenie Rejestrowanie pająka SPOSÓB 4. Jak wspomnieliśmy, jest to zły pomysł, i to z wielu powodów; między innymi dlatego, że właściciel pająka, którego nazwa zostanie użyta, prawdopodobnie zablokuje imitatora. Istnieją witryny, takie jak http://www.iplists.com, poświęcone śledzeniu adresów IP legal- nych pająków — jest na przykład cała lista adresów związanych z pająkiem Googlebot. Poza tym, choć nie ma dotąd zbyt bogatego orzecznictwa dotyczącego podszywania się pod czyjeś pająki, to firma Google już wykazała, że nie będzie uprzejmie traktowała nikogo nadużywającego czy używającego bez zezwolenia nazwyn Google. Strona poświęcona pająkowi Kiedy już stworzymy pająka, musimy go zarejestrować. Warto dla niego stworzyć stronę w internecie, tak aby ciekawscy i ostrożni administratorzy witryn mogli łatwo znaleźć informacje o nim. Strona taka powinna zawierać: • Nazwę, jaka pojawia się w dziennikach systemowych (jakno User-Agent). • Krótkie omówienie, czemu pająk ma służyć i co robi (wrnaz z hiperłączem do zasobów przez pająka zbieranych, o ile są one publicznie donstępne). • Dane kontaktowe programisty, który stworzył pająka. • Informacje o tym, jak administratorzy mogą w zależnonści od potrzeb zablokować skrypt lub ułatwić jego działanie. Gdzie rejestrować pająka Kiedy już mamy stronę poświęconą naszemu pająkowi, trzeba tego pająka zarejestrować w dostępnych w sieci bazach danych. Po co? Gdyż administratorzy witryn mogą zacząć szukanie pająka w bazach danych, zamiast podawać jego nazwę w wyszukiwarkach. Mogą też na podstawie tych baz danych podejmować decyzje, którym pająkom pozwolić na działanie w swoich witrynach. Oto kilka baz danych, nod których można zacząć: Baza robotów sieciowych (http://www.robotstxt.org/wc/active.htsml) Bazę tę można przeglądać w różnych formatach. Dodanie panjąka wymaga wypełnienia szablonu i wysłania informacji na wskazany adres pocnzty elektronicznej. Wyszukiwarka robotów (http://www.jafsoft.com/searchengines/wsebbots.html) Programy User-Agent i pająki ułożone są tu według kategorii: roboty wysznukiwarek, przeglądarki, kontrolery hiperłączy i tak dalej wrazn z listami oszustów; dodatkowo znajdują się tu komentarze od administratorów. Lista programów User-Agent (http://www.psychedelix.com/agensts.html) Ta baza danych podzielona jest na wiele stron i częsnto jest aktualizowana. Proces dodawania nowych pozycji nie jest dokładnie określonny, choć na dole wszystkich stron znajduje się adres poczty elektronicznej. Baza danych programów User-Agent (http://www.icehousedesigsns.com/useragents/) Baza zawiera prawie 300 agentów; można ją przeszukiwać nna różne sposoby. Witryna zawiera adres poczty elektronicznej, na któnry można przesłać swojego pająka. Łagodne wprowadzenie | 27 SPOSÓB 5. Przedstawiamy się S P O S Ó B 5. Przedstawiamy się Zamiast czekać, aż ktoś naszego pająka wykryje, niech pająk przedstawi się sam! Niezależnie od tego, jak dyskretny i ostrożny jest nasz pająk, wcześniej czy później zosta- nie zauważony. Niektórzy administratorzy witryn zechcą sprawdzić, do czego pająk służy i zechcą uzyskać odpowiedzi na szereg innych pytań. Zamiast czekać na to, co się stanie, czemu nie wziąć spraw w swoje ręce i samemu się nie przedstawić? Zastanówmy się, jak można się do tego zabrać, jak swojego pająka popiernać i jak informować o nim innych. Nawiązywanie kontaktu Skoro napisaliśmy doskonałego pająka, czemu się nim nie pochwalić w witrynie? W przy- padku małych witryn jest to względnie proste: wystarczy odszukać łącze Feedback, Kontakt, About czy temu podobne. W przypadku większych witryn jednak znalezienie osoby odpowiedniej do nawiązania kontaktu staje się trudniejsze. Najpierw należy sprawdzić kontakty techniczne, dopiero potem kontakty zwykłe. Okazuje się, że najlepiej w miarę możności unikać kontaktów z działami public relations (PR). Wprawdzie łatwo się z nimi skontaktować, gdyż zwykle to ich adresy są najbardziej widoczne, ale osoby z tych działów najchętniej rozmawiają z prasą, poza tym rzadko mają na tyle dużą wiedzę techniczną, aby zrozumieć, o co ich pytamy (do osób z działów PR: prosimy tego nie traktować jako lekceważenia; i tak was kochamy; promujcie nadal książki wydawnictwa O’Reilly — buziaczki, autorzy). Jeśli naprawdę trudno znaleźć jakikolwiek rozsądny kontakt, można spróbować poniż- szych trzech kroków: 1. Wiele witryn, szczególnie poświęconych zagadnieniomn technicznym, ma pracowników zajmujących się dziennikami. Warto sprawdzić, czy udan się te dzienniki znaleźć za pomocą wyszukiwarki Google. Jeśli na przykład interesują nas pracownicy Yahoo!, dobrze sprawdzi się zapytanie work for yahoo (weblog | blog). Czasami można się z tymi właśnie osobami skontaktować i dogandać się, wtedy oni są w stanie przekazać list do osoby władnej prośbę spełnić lub jaknoś inaczej odpowiedzieć. 2. W 99,9 przypadków zadziała adres webmaster@ (na przykład webmaster@przykladowa. witryna.com). Nie zawsze jednak można zakładać, że osoba, korzystnająca z tej skrzynki, czyta ją częściej niż raz na miesiąc, a bywa jeszczne gorzej. 3. Jeśli już nic nie działa, nie sposób znaleźć adresów npoczty elektronicznej, a listy wysyłane na adres webmaster@ wracają z powrotem, warto zajrzeć do witryny poświęconej rejestracji domen, jak http://www.whois.org. Zwykle można tam znaleźć przy adresie domeny jakiś adres kontaktowy, choć znonwu nie ma żadnych gwarancji, że skrzynka tak jest w ogóle sprawdzana, a nawet żen nie została już usunięta. Poza tym pamiętać trzeba, że działa to jedynie na poziomine domen najwyższego poziomu. Innymi słowy być może uda się uzyskać kontakt z adresenm www.przykladowy.com, ale już nie www.przykladowy.com/zasob/. 28 | Łagodne wprowadzenie Przedstawiamy się SPOSÓB 5. Popieranie swojego pająka Teraz, kiedy mamy już adres kontaktowy, należy przekazać nań jakieś argumenty prze- mawiające za naszym pająkiem. Jeśli jasno opiszemy, co pająk robi, to świetnie. Jednak może okazać się, że trzeba zakodować przykład do pokazania administratorowi. W przy- padku gdy nasz rozmówca nie jest znawcą Perla, być może warto stworzyć działającą po stronie klienta wersję skryptu narzędziem Perl2Exe (http://www.indigostar.com/perl2exe.htm) lub PAR (http://search.cpan.org/author/AUTRIJUS/PAR) i taką wersję wysłać jako testową. Nie wahajmy się udostępnić naszego kodu. Wyjaśnijmy, jak działa. Podajmy przykła- dowe wyniki. Jeśli kod się spodoba, zaproponujmy rozpowszechnianie go z witryny, o którą nam chodzi! Pamiętajmy, że wszyscy administratorzy, niezajmujący się progra- mowaniem, spodziewają się stwierdzenia typu: „Cześć, napisałem ten program i on na Twojej stronie robi to i tamto. Czy nie masz nic przeciwko temu, abym go użył?” Jasne jest, że administrator będzie oczekiwał pełnych wyjaśnnień i pewnych gwarancji. Pająk powinien być widoczny Kolejnym dobrym sposobem zapewnienia, że inni będą wiedzieli o naszym pająku, jest zawarcie w klauzuli User-Agent pająka danych kontaktowych [Sposób 11.] Może to być adres poczty elektronicznej lub adres strony. Trzeba pamiętać potem o sprawdzaniu tego adresu i zapewnieniu, że znajdą się pod nim ocnzekiwane informacje. Kwestie prawne Mimo nawiązania kontaktów, uzyskania pozwolenia i udostępnienia mnóstwa informacji o pająku w sieci, jego działanie nadal może budzić pewne wątpliwości. Czy pająk jest legal- ny? Czy użycie go nie pociągnie za sobą kłopotów? Jeśli chodzi o prawa dotyczące sieci, to istnieje jeszcze wiele kwestii otwartych i sędzio- wie, eksperci i naukowcy, nie mówiąc już o zwykłych użytkownikach, nie są zgodni co do wielu zagadnień. Uzyskanie pozwolenia i przestrzeganie jego warunków pozwoli uniknąć licznych kłopotów, szczególnie w przypadku małych witryn (utrzymywanych przez pojedyncze osoby, a nie przez wielkie korporacje). Jeśli działamy bez uzyskania pozwolenia, natomiast warunki użycia witryny nie są wyraźnie określone, ryzyko sto- sowania pająka jest już większe. Podobne ryzyko istnieje zwykle w przypadku działania w witrynach, w których nie zapytaliśmy o pozwolenie, a które oferują interfejs API i mają jasno określone zasady użycia (jak Google). Warunki prawne używania internetu stale się zmieniają: medium to jest po prostu zbyt nowe, aby mogły istnieć w nim niezmienne warunki, określające, co jest dopuszczalne, a co nie. Nie chodzi tylko o to, jak pająk działa, ale też o to, co może zbierać. Autorzy pra- gną ostrzec, że stosowanie jednego z opisanych w książce sposobów wykorzystywania pająka nie oznacza, że nie wiąże się to z takim czy innym ryzykiem i że żaden admini- strator nie uzna tego za naruszenie jego praw lub pnraw innych podmiotów. Łagodne wprowadzenie | 29 SPOSÓB 6. Ostrożnie z użyciem pająka Trzeba używać zdrowego rozsądku (niewątpliwie nierozsądne jest pobranie wszystkiego z jakiejś witryny, umieszczenie tego w swojej i uważanie, że wszystko jest w porządku). Trzeba też prosić o pozwolenie — najgorsze, co się może zdarzyć, to odmowa. W przy- padku naprawdę poważnych wątpliwości pozostaje porozmawiać z dobrym prawnikiem. S P O S Ó B 6. Ostrożnie z użyciem pająka Tu i tam pojawiają się ciekawe dane. Zanim po nie s ięgniemy, sprawdźmy, jak można z danej witryny korzystać. Ponieważ celem naszej książki jest pokazanie, jak pobierać dane niedostępne dla inter- fejsu API, czasami może się okazać, że działamy w szarej strefie. Oto kilka porad, które będą pomocne w uniknięciu zablokowania nas lub nawent zaskarżenia. Być może pewnego dnia po odwiedzeniu jakiejś strony znajdziemy na niej wspaniałe dane, które bardzo chcielibyśmy posiąść. Zanim jednak zabierzemy się za ich pobieranie, warto rozejrzeć się za zasadami dopuszczalnego użycia (ang. Acceptable Use Policy, AUP) lub warunkami świadczenia usług (ang. Terms of Service, TOS); czasami mogą to być też warunki użycia (ang. Terms of Use, TOU). W takich dokumentach przeczytać można, co jest w witrynie dopuszczalne i co wolno zrobić z danymi z tej witryny. Zwykle na dole strony znajduje się hiperłącze do strony z informacjami o prawach autorskich. Odpowied- nie hiperłącze w witrynie Yahoo! nazywa się Terms of Reference i jest przy samym koń- cu strony głównej, natomiast w witrynie Google hiperłącze to znajduje się na dole strony About. Jeśli odpowiedniego łącza nie uda się znaleźć na stronie głównej, warto przeszu- kać wszelkie strony About. Czasami witryny, szczególnie te mniejsze, nie mają w ogóle odpowiednich zapisów, należy więc skontaktować się z administratorem, niemalże zawsze dostępnym pod adresem webmaster@nazwa.witryny.com, i zapytać o zgodę. Tak więc mamy już AUP czy TOS. Czego właściwie szukamy? Czegokolwiek, co doty- czy używania pająków i automatycznego zbierania danych. W przypadku aukcji eBay wszystko jest jasne, gdyż wynika z poniższego wyjątnku z umowy: Użytkownicy zgadzają się nie używać robotów, pająków, sprogramów zbierających dane ani innych automatów do korzystania z Witryny w żadnysm wypadku, o ile nie uzyskają naszej pisemnej zgody. Jasne, prawda? Czasami jednak nie jest to tak wyraźnie opisane. Niektóre umowy nie mają żadnych odniesień do pająków czy programów zbierających dane. W takich wypadkach należy skontaktować się z administratorem lub praconwnikami technicznymi i spytać. Niedobry pajączek, a sio! Nawet jeśli stosujemy się do obowiązujących warunków korzystania ze strony, może okazać się, że nasz pająk powoduje problemy. Jest kilka powodów, dla których pająk, mimo że działa zgodnie z literą prawa, może być nie do przyjęcia dla właścicieli stron. Na przykład w witrynie może być umieszczony zakaz dalszego rozpowszechniania jej treści w internecie. Wtedy pojawia się nasz pająk i pobiera dane w formie RSS. Pakiet 30 | Łagodne wprowadzenie Ostrożnie z użyciem pająka SPOSÓB 6. RSS formalnie nie jest stroną sieciową, ale autorzy witryny i tak mogą takie działania uznać za niedopuszczalne. Nic nie zakazuje właścicielom takiej witryny zmienić zapisy TOS, tak aby uniemożliwić działanie pająka z jednoczesnym wysłaniem nam zakazu dalszego prowadzenia naszej działalności. Pomińmy na chwilę wszystkie te zastrzeżenia. Nie namawiamy oczywiście nikogo do naruszania warunków świadczenia usług, wykłócania się z prawnikami i tak dalej. Wa- runki świadczenia usług czemuś przecież służą; zwykle są w nich opisane zasady, których przestrzeganie pozwala na utrzymanie strony. Cokolwiek robi nasz pająk, musi to robić tak, aby nie utrudniać normalnego funkcjonowania wykorzystywanej strony. Jeśli pająk pobierze wszystkie informacje z witryny utrzymywanej z reklam, niemożliwe będzie dalsze korzystanie z tej metody finansowania, a wówczas co się stanie? Strona zniknie. Nie będzie strony, więc nasz pająk też nie będzie mniał gdzie działać. Wprawdzie rzadko ma to związek z używaniem pająków, ale przypomnijmy, że już od dawna panuje zgoda co do tego, że framing danych jest prawnie niedopuszczalny. Framing danych polega na tym, że czyjaś witryna jest umieszczana w cudzej ramce (w wyniku tego czyjeś dane pojawiają się pod inną marką). Strona zwykle zawiera reklamy, z których ktoś się utrzymuje; pobieranie treści strony pająkiem i wstawianie we własne strony z ram- kami jest niewątpliwie niedopuszczalne i nie należyn tego robić. Naruszanie praw autorskich Nawet nie powinniśmy o tym mówić, ale formalności musi stać się zadość. Jeśli używamy pająka po to, aby w naszej witrynie umieścić czyjąś własność intelektualną, naruszamy prawo. Niechby pająk najściślej jak tylko można przestrzegał warunków świadczenia usług i trzymał się wszystkich ogólnie przyjętych zasad, to jego użycie w takim celu byłoby nielegalne. W takim wypadku pająka nie daje się popnrawić, gdyż problem nie leży w kodzie. Lepiej zastanowić się nad celem stosowania skryptu. Więcej informacji o prawach autorskich i własności intelektualnej w sieci znaleźć można w dzienniku Lawrence’a Lessiga dostęp- nym pod adresem http://www.lessig.org/blog/ (Lessig jest profesorem prawa Szkoły Praw- niczej w Stanford), w witrynie fundacji Electronic Fronntier Foundation (http://www.eff.org) oraz Copyfight (http://www.copyfight.org/). Agregowanie danych Agregowanie danych polega na zbieraniu danych z różnych źródeł i zestawianiu ich wszyst- kich razem. Wyobraźmy sobie witrynę zawierającą ceny biletów różnych linii lotniczych albo witrynę umożliwiającą porównywanie cen z różnych księgarni internetowych. W inter- necie działają już serwisy skupiające różne dane; stanowią one swoistą szarą strefę interne- towej etykiety. Niektóre firmy wyraźnie nie życzą sobie gromadzenia ich danych i porów- nywania ich z danymi z innych stron (na przykład aby porównywać ceny sklepowe), dla innych firm nie ma to żadnego znaczenia. Istnieją firmy, które podpisują umowy określające zasady skupiania ich informacji! Rzadko tego typu informacje ujmowane są w warunkach świadczenia usług, więc w razie wątpliwości trzeba npytać. Łagodne wprowadzenie | 31 SPOSÓB 6. Ostrożnie z użyciem pająka Wywiad gospodarczy Właściciele niektórych witryn mają za złe, że ich konkurenci pobierają za pomocą pająków dane dostępne publicznie, przez dowolną przeglądarkę, i wykorzystują je do uzyskania przewagi na rynku. Można się z takim stanowiskiem zgadzać lub nie, ale pozostaje fak- tem, że tego typu działania były już przedmiotem sporów prawnych; za użycie takiego pająka firma eBay oskarżyła Bidder’s Edge (http://pub.bna.com/lw/21200.htm). Możliwe konsekwencje nadużyć pająków Co się stanie, jeśli napiszemy pająka działającego niezgodnie z przyjętymi normami i wy- puścimy go w świat? Jest kilka możliwości. Wiele witryn po prostu zablokuje nasz adres IP. Dawniej Google blokowało grupy adresów IP, próbując za pomocą standardowego, auto- matycznego procesu wyłapywać wszystkie przypadki naruszenia TOS. Inną możliwą kon- sekwencją jest wysłanie listu z żądaniem zaprzestania danej działalności; w zależności od udzielonej przez nas odpowiedzi konflikt może przybrać różne formy, włącznie z proce- sem sądowym. Grożą więc nam nie tylko straty związane z przegranymi procesami cywilnymi, ale w przy- padkach szczególnie drastycznych również grzywny, a nawet kara więzienia, ponieważ niektóre działania dotyczące publikacji w sieci podlegają przepisom ogólniejszym (np. zasa- dom prawa autorskiego) lub normom prawa karnego. Napisanie źle wychowanego pająka rzadko powoduje wizytę policji, chyba że jest to „stworzenie” wyjątkowo paskudne, na przykład powodujące zalew witryny danymi lub, mówiąc inaczej, uniemożliwiające jej normalną działalność (jest to atak typu DoS, denial of service — odmowa dostępu). Jednak, abstrahując już od honorariów prawników, zmar- nowanego czasu i ewentualnych kar finansowych, sam proces może być dostatecznie nieprzyjemny, aby unikać pisania źle „zachowujących sinę” pająków. Nadążanie za prawem Aby być na bieżąco z zagadnieniami, związanymi z prawnymi aspektami pobierania infor- macji, warto użyć wyszukiwarki Blawg (http://blawg.detod.com/), która indeksuje jedynie dzienniki sieciowe poświęcone kwestiom prawnym. Można zastosować takie hasła, jak spider, scraper czy spider lawsuit. Osoby szczególnie zainteresowane tym tema- tem powinny wiedzieć, że wyniki działania Blawg dostępne są też w formie pakietów RSS, które mogą być używane w zwykłych systemach zbierających i prezentujących wiado- mości. Można, korzystając ze sposobów podanych w tej książce, uruchomić własne pakiety RSS dotyczące własności intelektualnej. Inne miejsca, w których można znaleźć aktualne informacje o stanie prawnym, to: Slashdot (http://slashdot.org/search.pl?topic=123), popularne miejsce spotkań różnego rodzaju dziwa- ków; Electronic Freedom Foundation (http://www.eff.org) — fundacja, której strony po- święcone są prawu cyfrowemu, oraz działająca w Harwardzkiej Szkole Prawa organizacja Berkman Center for Internet Society (http://cyber.law.harvard.edu/home/), publikująca pro- gram badawczy poświęcony cyberprzestrzeni i związannym z nią zagadnieniom. 32 | Łagodne wprowadzenie Szukanie wzorców w identyfikatorach SPOSÓB 7. S P O S Ó B 7. Szukanie wzorców w identyfikatorach Jeśli okaże się, że w interesującej nas sieciowej baz ie danych lub kolekcji zasobów wykorzystywane są niepowtarzalne numery identyfikacyjne, można rozszer zyć jej funkcje przez połączenie jej z innymi witryna mi i wartościami identyfikującymi. Niektóre dostępne w sieci kolekcje danych są po prostu dużymi zbiorami zestawionymi w jednym miejscu, zorganizowanymi za pomocą programu bazodanowego lub wyszuki- warki. Kolekcje takie nie wykorzystują żadnych numerów identyfikujących, które ułatwi- łyby ustalenie w nich jakiejś struktury. Jednak nie zanwsze tak jest. W miarę jak coraz więcej bibliotek udostępnia w sieci swoje zbiory, coraz więcej rekordów i stron ma swoje niepowtarzalne numery identyfikacynjne. Cóż z tego? Otóż to, że kiedy witryna używa jakiejś metody identyfikującej swoje infor- macje, zrozumiałej dla innych witryn, korzystając z tejże metody można pobierać dane ze wszystkich tych witryn. Załóżmy na przykład, że chcemy zwiedzić Stany Zjednoczone, grając w golfa, ale obawiamy się zanieczyszczenia środowiska, wobec czego grać chcemy jedynie w obszarach czystych ekologicznie. Można byłoby napisać skrypt przeszukujący pola golfowe, dostępne pod adresem http://www.golfcourses.com, pobierający kody pocz- towe znalezionych pól i sprawdzający te kody w witrynie http://www.scorecard.org w celu znalezienia najbardziej (lub najmniej) zanieczyszczonnych okolic. Przykład jest niepoważny, ale pokazuje, jak za pomocą niepowtarzalnego identyfikatora (tutaj kodu pocztowego) można powiązać ze sobą dwie sieciowe bazy danych, opisujące pola golfowe
Pobierz darmowy fragment (pdf)

Gdzie kupić całą publikację:

100 sposobów na tworzenie robotów sieciowych
Autor:
,

Opinie na temat publikacji:


Inne popularne pozycje z tej kategorii:


Czytaj również:


Prowadzisz stronę lub blog? Wstaw link do fragmentu tej książki i współpracuj z Cyfroteką: