Denne side bruger cookies
Dette forum bruger cookies. Hvis du er registreret, bruges de til at huske hvem du er logget ind som. Hvis ikke, gemmer vi dit sidste besøgstidspunkt. Besøgstidspunktet bruges bl.a. til at holde øje med, hvilke tråde du allerede har læst. Cookies er små tekstdokumenter, som bliver gemt i din browser og udgør ingen sikkerhedsrisiko. Tryk "Mere Information" nedenfor, for en liste over de cookies vi sætter. Du har mulighed for at fravælge cookies ved at klikke på knappen "Blokér Cookies" i bunden af denne boks.

En ikke-personhenførbar cookie vil blive gemt i din browser, uanset dit valg. Således undgår du at blive spurgt igen. Du kan til enhver tid ændre dit valg via linket i bunden af siden.

Tråd bedømmelse:
  • 0 Stemmer - 0 Gennemsnit
  • 1
  • 2
  • 3
  • 4
  • 5
Hjælp til "Scraper"
14-01-2019, 15:17
#1
Hjælp til "Scraper"
Hej.
Jeg har fundet det her python program på den her tråd https://www.shellsec.pw/showthread.php?tid=1956

Kode:
import urllib2

url = "http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&lang=da&telefonnr={}"

start = 31209000
slut = 31209000+10000
file_name = "tlf.txt"

with open(file_name, "w") as f:
   for x in range(start, slut):
       r = urllib2.urlopen(url.format(x)).read()
       if r:
           f.write(r)

Da jeg bruger python 3.7 virker programmet ikke. Er der nogle der kan hjælpe mig med at få det til at virke?

Har selvfølgelig ændret urllib2 til urllib.request.
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
14-01-2019, 15:25
#2
RE: Hjælp til "Scraper"
kan det tænkes at det ikke fungerer mere?
Find alle beskeder fra denne bruger
Citer denne besked i et svar
14-01-2019, 15:36
#3
RE: Hjælp til "Scraper"
Jep det kunne det godt. Ville da bare lige spørge folk hvis det rent faktisk stadig virkede :)
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
14-01-2019, 17:03 (Denne besked var sidst ændret: 14-01-2019, 17:03 af Cronick.)
#4
RE: Hjælp til "Scraper"
Ændre url til dette.
Kode:
http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&firmanr=7&lang=da&telefonnr={}
[Billede: rGvl8UM.png]
Find alle beskeder fra denne bruger
Citer denne besked i et svar
14-01-2019, 17:09 (Denne besked var sidst ændret: 14-01-2019, 17:22 af Mesteren.)
#5
RE: Hjælp til "Scraper"
Hvad mener du?
Det her?
urllib.request.urlopen(url.format(x)).read()
til
urllib.request.urlopen("http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&lang=da&telefonnr={}".format(x)).read()

Det virkede mange tak!

Nu har jeg bare et andet problem...

Det tager 1 min om at køre et telefonnummer igennem. Er det noget med mig eller?

Edit: Tror muligvis deres hjemmeside er nede i øjeblikket
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
14-01-2019, 17:55
#6
RE: Hjælp til "Scraper"
(14-01-2019, 17:09)Mesteren Skrev: Hvad mener du?
Det her?
urllib.request.urlopen(url.format(x)).read()
til
urllib.request.urlopen("http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&lang=da&telefonnr={}".format(x)).read()

Det virkede mange tak!

Nu har jeg bare et andet problem...

Det tager 1 min om at køre et telefonnummer igennem. Er det noget med mig eller?

Edit: Tror muligvis deres hjemmeside er nede i øjeblikket

FK har altid været langsom, så ikke meget at gøre ved det.
[Billede: rGvl8UM.png]
Find alle beskeder fra denne bruger
Citer denne besked i et svar
15-01-2019, 13:23 (Denne besked var sidst ændret: 15-01-2019, 13:25 af Mesteren.)
#7
RE: Hjælp til "Scraper"
Well har et problem nu... Den skriver ikke output ind i en txt fil.

Har lavet lidt om i koden.
Kode:
import urllib.request

url = "http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&firmanr=7&lang=da&telefonnr={}"

start = 31209000
slut = 31209000+10000

with open("roblox.txt", "wb") as f:
  for x in range(start, slut):
      rdkjashsadjkh = urllib.request.urlopen(url.format(x)).read()
      if f:
          print(rdkjashsadjkh)
          f.write(rdkjashsadjkh)
     

Nogle der kan hjælpe?
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
15-01-2019, 16:33 (Denne besked var sidst ændret: 15-01-2019, 16:33 af Cronick.)
#8
RE: Hjælp til "Scraper"
(15-01-2019, 13:23)Mesteren Skrev: Well har et problem nu... Den skriver ikke output ind i en txt fil.

Har lavet lidt om i koden.
Kode:
import urllib.request

url = "http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&firmanr=7&lang=da&telefonnr={}"

start = 31209000
slut = 31209000+10000

with open("roblox.txt", "wb") as f:
  for x in range(start, slut):
      rdkjashsadjkh = urllib.request.urlopen(url.format(x)).read()
      if f:
          print(rdkjashsadjkh)
          f.write(rdkjashsadjkh)
     

Nogle der kan hjælpe?

Fordi du har skrevet if f. Der skal stå if rdkjashsadjkh.
[Billede: rGvl8UM.png]
Find alle beskeder fra denne bruger
Citer denne besked i et svar
15-01-2019, 17:51 (Denne besked var sidst ændret: 15-01-2019, 18:07 af Mesteren.)
#9
RE: Hjælp til "Scraper"
Haha ups den havde jeg sku ikk' lige set.
Problemet er bare at den stadig ikke virker. Den skriver intet ind i txt filen. Kan se at den får åbnet hjemmesiden og at den finder nogle rigtige numre.
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
19-01-2019, 12:08 (Denne besked var sidst ændret: 24-02-2019, 12:33 af Mesteren.)
#10
RE: Hjælp til "Scraper"
Har fået det til at virke.

Her hvis i vil bruge det til noget
 
import requests

number = 20100000
url = "http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&firmanr=7&lang=da&telefonnr={}"

for x in range(number, 100000000):
   try:
       website = requests.get(url.format(number), timeout=0.8)
       website = website.text
       text_file = open("info.txt", "a")
       text_file.write("\n%s\n" % number)
       text_file.write(website)
       text_file.close()
       print(number, website)
       number = number + 1
   except requests.exceptions.Timeout as e:
       print("Website timed out - ", number)
       number = number + 1
.
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
« Ældre | Nyere »




User(s) browsing this thread: 1 Gæst(er)