Rapport de message :*
 

Re: Récupérer une page web

Titre du sujet : Re: Récupérer une page web
par Guy le 23/09/2009 01:34:19

 Au http://www.devparadise.com/download/code/vb/f81.php

«Cette article est consacré à la récupération de documents via internet.

   Je ne parle pas de téléchargement, mais d'un script PERL et d'un Source Visual Basic qui permetent de mettre le contenu d'un document dont vous connaissez l'URL dans une variable, à vous d'en faire ce que vous voulez.

   Vous souhaitez récupérer sur internet un document pour pouvoir le traité de façon automatique.
   Rien de plus simple, les codes suivants interrogent le serveur, sur lequel se trouve le document, en se faisant passer pour Microsoft Internet Explorer sous Windows 98 ou autres.
   Le serveur renvoi donc une page comme si vous naviguiez sur le net, et pas une page spécifique pour les robots.
   Le résultat est stocké dans une variable, après c'est à vous de jouer.

   Vous pouvez récupérer n'importe quel document, HTML, Image, Une feuille de calcul Excel... (du moment qu'il est accessible pour un navigateur, il l'est pour ces codes)»

Citation de S☼leil dans le premier message :
' URL correspond au chemin complet du document exemple: http://www.domaine.ext/r�rtoire/ document.pl?Param=Exemple&Param2=test
' StrUserAgent correspond �a d�nition du navigateur exemple: Mozilla/4.0 (compatible; MSIE 4.01; Windows 98)

Citation dans la page web donnée plus haut :
' URL correspond au chemin complet du document exemple: http://www.domaine.ext/répertoire/ document.pl?Param=Exemple&Param2=test
' StrUserAgent correspond à la définition du navigateur exemple: Mozilla/4.0 (compatible; MSIE 4.01; Windows 98)

La seule différence tient aux caractères utilisés dans deux navigateurs différents (Firefox et IE) qui ne peuvent pas les rendre correctement (FireFox est conforme w3c, pas IE). Du iso-8859-1 passé en utf-8 c'est toujours la galère. Bref, sauf cet incongruité c'est identique.

C.Q.F.D.

Et, en passant, y'a quelqu'un dans les parages qui pige quelque chose aux scripts Perl?

Oui, moi, j'en ai bricolé il y a longtemps. Très beau langage; méprisé par les fanas de PHP qui s'amusent à passer l'acronyme PHP pour Php Hate Perl.

Passons et bref et bien qu'il n'ait aucunement besoin de mon imprimatur, Didier à tout à fait raison de coller un zéro pointé au S☼leil.

Enfin s'il n'allait pas jusque là, moi, j'y suis déjà.


Guy