Denne side bruger cookies
Dette forum bruger cookies. Hvis du er registreret, bruges de til at huske hvem du er logget ind som. Hvis ikke, gemmer vi dit sidste besøgstidspunkt. Besøgstidspunktet bruges bl.a. til at holde øje med, hvilke tråde du allerede har læst. Cookies er små tekstdokumenter, som bliver gemt i din browser og udgør ingen sikkerhedsrisiko. Tryk "Mere Information" nedenfor, for en liste over de cookies vi sætter. Du har mulighed for at fravælge cookies ved at klikke på knappen "Blokér Cookies" i bunden af denne boks.

En ikke-personhenførbar cookie vil blive gemt i din browser, uanset dit valg (Medmindre du ikke foretager et). Således undgår du at blive spurgt igen. Du kan til enhver tid ændre dit valg via linket i bunden af siden.

Tråd bedømmelse:
  • 0 Stemmer - 0 Gennemsnit
  • 1
  • 2
  • 3
  • 4
  • 5
Hjælp til "Scraper"
21-01-2019, 18:27 (Denne besked var sidst ændret: 21-01-2019, 20:05 af Doctor Blue.)
#11
RE: Hjælp til "Scraper"
Nu gør det ikke så meget i denne situation, men det er en god lejlighed til at lære lidt :)
Den skriver ikke nødvendigvis til filen, før du lukker den, fordi teksten ligger i memory og venter på, at styresystemet skriver den.

Du kan tvinge den til at gøre det med text_file.flush(), så du ikke behøver at åbne og lukke filen hver gang. Så kan du strukturere det sådan her:
import requests

number = 20100000
url = "http://reklamation.fk.dk/fk_reklamation/DataServlet?do=tlflookup&firmanr=7&lang=da&telefonnr={}"

with open("info.txt", "a") as text_file:
for x in range(number, 100000000):
try:
website = requests.get(url.format(number), timeout=0.8)
website = website.text
text_file.write("\n%s\n%s" % (number, website))
text_file.flush()
print(number, website)
number = number + 1
except requests.exceptions.Timeout as e:
print("Website timed out - ", number)
number = number + 1

I øvrigt kan du også sagtens have flere variabler når du formaterer en string, der skal bare parenteser omkring variablerne (Se linje 11).
Mangler du hjælp?
Regler |  E-mail (PGP)
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
21-01-2019, 18:50 (Denne besked var sidst ændret: 13-02-2019, 11:42 af Mesteren.)
#12
RE: Hjælp til "Scraper"
Mange tak! Det husker jeg til næste gang :)
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
13-06-2019, 16:10
#13
RE: Hjælp til "Scraper"
For det første, brug nu forhelvede aiohttp eller grequest, async er lavt for netop dette formål.
For det andet, benyt et generator object. Det er meget nemt og nemmere end alt andet, lavt netop for dette formål.
For det tredje, benyt multi-threading, det vil forhøj hastigheden MARKANT
For det fjerde, split requesten i en liste, med website.split("|") og output en pæn CSV eller xslx istedet.
Find alle beskeder fra denne bruger
Citer denne besked i et svar
13-06-2019, 19:37
#14
RE: Hjælp til "Scraper"
(13-06-2019, 16:10)DGT Skrev: For det første, brug nu forhelvede aiohttp eller grequest, async er lavt for netop dette formål.
For det andet, benyt et generator object. Det er meget nemt og nemmere end alt andet, lavt netop for dette formål.
For det tredje, benyt multi-threading, det vil forhøj hastigheden MARKANT
For det fjerde, split requesten i en liste, med website.split("|") og output en pæn CSV eller xslx istedet.

Prøv at lyde lidt mere arrogant, ven.
Love3
Find alle beskeder fra denne bruger
Citer denne besked i et svar
30-06-2019, 16:11
#15
RE: Hjælp til "Scraper"
(13-06-2019, 19:37)Kopa Skrev: Prøv at lyde lidt mere arrogant, ven.


Undrede mig lige hvem du var, fra den rep du postede.
Klikkede lige ind i din profil, og fandt dette post.
Hvad var nedladende i min tidligere post?
Jeg kom med et legitimt råd, om hvodan han kunne forøge hastigheden, og det kommer fra en som koder dagligt, og har lavet flere forskellige checkers, og sælger accounts.

Synes ærligt talt, du tog bedskeden lidt for personligt haha.
Find alle beskeder fra denne bruger
Citer denne besked i et svar
01-07-2019, 15:11 (Denne besked var sidst ændret: 01-07-2019, 15:11 af Doctor Blue.)
#16
RE: Hjælp til "Scraper"
(30-06-2019, 16:11)DGT Skrev: Hvad var nedladende i min tidligere post?

Formuleringen. Du kunne jo blandt andet have skrevet "Jeg vil anbefale at du undersøger..." i stedet for "Brug nu for helvede...".
Mangler du hjælp?
Regler |  E-mail (PGP)
Besøg denne brugers hjemmeside Find alle beskeder fra denne bruger
Citer denne besked i et svar
01-07-2019, 19:28
#17
RE: Hjælp til "Scraper"
(30-06-2019, 16:11)DGT Skrev: Undrede mig lige hvem du var, fra den rep du postede.
Klikkede lige ind i din profil, og fandt dette post.
Hvad var nedladende i min tidligere post?
Jeg kom med et legitimt råd, om hvodan han kunne forøge hastigheden, og det kommer fra en som koder dagligt, og har lavet flere forskellige checkers, og sælger accounts.

Synes ærligt talt, du tog bedskeden lidt for personligt haha.

Nej, jeg tager den ikke personligt - den er ikke rettet imod mig. Personligt, gør den mig intet. Men jeg synes stadigvæk, at den var super arrogant.

Formuleringen er helt forkert. I stedet for at virke som en der oprigtigt gerne vil hjælpe, så lyder du som en bedrevidende nar. "For det første", "for det andet", "for det tredje", så lister du rigtigt op, hvor åh så mange "fejl" der er. Din måde at skrive på, som for eksempel "brug nu forhelvede aiohttp eller grequest", får det bare til at lyde som om, at OP er en kæmpe idiot, og selvfølgelig burde han da vide det på forhånd. Vil du gerne lære, hvordan man skriver pænt til andre? For så skal jeg da nok lære dig det.

Citer:Her er nogle råd, som du overhovedet ikke har bedt om, men vil komme med dem alligevel, bare så du eventuelt kan lære lidt af dem.

Jeg vil helt klart anbefale, at du bruger aiohttp eller grequest i stedet for, men jeg vil ikke komme med en begrundelse, bare at det er det du skal bruge. Jeg synes også, at du burde benytte et generator object, da det er meget nemmere. Hvis du også gerne vil forbedre hastigheden, så kig på multi-threading. Og sidst, for at forbedre dit output, så kan du splitte requesten og lave en flot CVS-fil.

Håber det kan bruges!
Love3
Find alle beskeder fra denne bruger
Citer denne besked i et svar
« Ældre | Nyere »




User(s) browsing this thread: 1 Gæst(er)