PROJEKTI

Verkkosivustojen scrapetus rakenteisiksi yhteystiedoiksi

Räätälöity ohjelmistokehitys, Verkkosivustojen datan scrapetus, Yhteystietojen poiminta, Uudelleenkäytettävän scraperin kehitys, Datan puhdistus ja validointi, CSV- ja Excel-vienti, JSON-vienti, CRM-valmis data

  • Toimiala: Markkinatutkimus
  • Kroatia Sijainti: Kroatia
  • Toimitusaika: 10 viikkoa
  • Teknologiat: Python, JavaScript / TypeScript (Node.js)
3 kuukautta

Asiakas käyttää aikaa yhteys- ja yritystietojen keräämiseen yritysten verkkosivustoilta, julkisista tietokannoista ja verkkohakemistoista. Ohjelmisto on räätälöity verkkosivustojen scrapetusratkaisu, joka vastaanottaa lähteiden URL-osoitteet ja valitut kentät. Se poimii yhteystietueet, puhdistaa ja validoi ne sekä palauttaa järjestetyt tiedostot markkinatutkimustiimille. Uudelleenkäytettävä poiminta vähentää toistuvan tiedonkeruun riippuvuutta manuaalisesta työstä.

Yhteenveto

Ongelma

Asiakas käyttää aikaa yhteystietojen keräämiseen ja tarkistamiseen käsin.

Ratkaisu

Ratkaisusta tuli uudelleenkäytettävä scraper määritettyjen verkkosivustotietojen poimintaan, puhdistamiseen, validointiin ja järjestämiseen.

Tulos

Ohjelmisto on suunniteltu vähentämään manuaalista keräystä ja uudelleentyötä markkinatutkimuksen datatyössä.

Asiakkaan tarina

Asiakas on kroatialainen markkinatutkimusyritys. Se kerää yritysten nimiä, sähköpostiosoitteita ja puhelinnumeroita yritysten verkkosivustoilta, julkisista tietokannoista ja verkkohakemistoista.

Tietoihin kuuluvat myös fyysiset osoitteet ja muut yritystiedot.

Tiimi valmistelee yhteystietoja markkina-analyysiä, liiketoiminnan kehittämistä, puhelinmyyntiä ja CRM-tuontia varten. Manuaalinen keräys, toistuvat tarkistukset ja päällekkäiset tietueet vievät aikaa ja aiheuttavat uudelleentyötä.

Pyyntö oli yksinkertainen: poimi valitut yhteystietokentät määritetyistä lähteistä, suorita keräys uudelleen tarvittaessa ja toimita puhtaat rakenteiset tiedostot.

Ratkaisu rakennettiin lähteiden määritysnäytön, ajonseurannan, datan puhdistusnäkymän ja vientiasetusten ympärille. Tietueet voitiin tarkistaa ennen käyttöä.

Asiakas pyysi

  1. Poimi yhteystietokentät verkkosivustoilta, tietokannoista, hakemistoista ja verkkolähteistä
  2. Suorita uudelleenkäytettävä scraper ja vastaanota sen lähdekoodi tai muistikirja
  3. Puhdista, validoi, järjestä ja poista poimittujen tietueiden kaksoiskappaleet
  4. Vie rakenteinen data CSV-, Excel- tai JSON-muodossa tai luokiteltuina työkirjoina

Miksi valmis ohjelmisto ei sopinut

Valmiit datanpoimintatyökalut kattavat osan tehtävästä, mutta niiden kuvaukset eivät määritä asiakkaan tarkkoja kenttiä, puhdistussääntöjä ja tulostiedostoja kokonaisuutena. Tarvittiin räätälöity ratkaisu, joka yhdistää toistettavan scrapetuksen, validoinnin, kaksoiskappaleiden poiston, järjestetyt työkirjat ja uudelleenkäytettävän koodin yhdeksi prosessiksi.

Projektin yleiskatsaus

Ratkaisu suunniteltiin asiakkaan todellisten lähteiden, kenttien ja sääntöjen pohjalta. Ensimmäisellä näytöllä määritetään verkkosivustojen URL-osoitteet, yhteystietokentät ja toistuvan poiminnan asetukset ennen ajon käynnistämistä.

Yhdestä tai useammasta lähteestä keräämistä varten toteutettiin poiminnan seurantanäkymä. Se näyttää ajon tilan, lähteiden URL-osoitteet, poimitut tietueet sekä lataus- ja käyttöoikeushuomautukset yhdessä paikassa.

Tietueet siirtyvät sen jälkeen puhdistukseen ja tarkistukseen. Kaksoiskappaleosumat, vahvistuksen tila, yhteystietokentät ja luokat pysyvät näkyvissä, jotta datavastaava voi valmistella yhdenmukaisen yhteystietoluettelon.

Viimeinen näyttö suunniteltiin käytännön toimituksia varten. Se vie järjestetyt tietueet CSV-, Excel- tai JSON-muodossa ja pitää määritysohjeet tai prosessimuistiinpanot saatavilla tiedoston yhteydessä.

Scraper käyttää uudelleenkäytettävää koodia, jota voidaan säätää asiakkaan sääntöjen mukaan. Dokumentaatio ja koulutusmateriaalit tukevat järjestelmän itsenäistä käyttöä.

Toimitetut tärkeimmät ominaisuudet

  • Verkkosivustojen ja lähdeluettelon määritys
  • Valittujen yhteystietokenttien poiminta
  • Uudelleenkäytettävä ja uudelleen suoritettava scrapetus
  • Poiminta-ajojen seuranta
  • Sähköpostiosoitteiden ja puhelinnumeroiden keräys
  • Tietueiden validointi ja puhdistus
  • Kaksoiskappaleiden tunnistus ja poisto
  • Yhteystietojen luokittelu
  • CSV-, Excel- ja JSON-vienti

Lisättävissä

+ Excel-tietokannan toistuvat päivitykset + Sähköpostin ja verkkotunnuksen vahvistus + Avainsanoihin perustuva luokittelu + Päivämäärään perustuva luokittelu + Lähdekoodin läpikäynti + Muut scraper-menetelmät

Kuka muu voi käyttää tätä ratkaisua

Näillä yrityksillä on samanlainen tehtävä, ja sama ratkaisu voidaan mukauttaa niiden lähteisiin, kenttiin ja toimitussääntöihin.

Liiketoimintapalveluyritys

Tehtävä Se kerää yritys- ja yhteystietoja julkisilta verkkosivustoilta ja hakemistoista.
Miten ratkaisu auttaa Ratkaisu poimii valitut kentät, poistaa päällekkäiset tietueet ja valmistelee tiedostot CRM-tuontia tai liiketoiminnan kehittämistä varten.
Yrityspalvelut

Asiantuntijapalveluyritys

Tehtävä Se rakentaa yhteystietoluetteloita yritysten verkkosivustoilta ja verkkolähteistä.
Miten ratkaisu auttaa Ratkaisu kerää sähköpostiosoitteet, puhelinnumerot ja yritystiedot rakenteisiin tiedostoihin.
Asiantuntijapalvelut

Teknologiapino

Python

Scrapetus ja selaimen automatisointi

Python tukee verkkojen indeksointia, sivujen jäsentämistä ja selainpohjaista poimintaa.

JavaScript / TypeScript (Node.js)

Rakenteisten tiedostojen käsittely

JavaScript ja TypeScript tukevat rakenteisten tiedostojen käsittelyä.

Scrapy

Verkkosivustojen indeksointi ja scrapetus

Scrapy (verkkosivustojen indeksointiin ja scrapetukseen tarkoitettu kehys) kerää tietueita määritetyistä lähteistä.

BeautifulSoup

HTML-sivujen jäsentäminen

BeautifulSoup (verkkosivujen tietoja lukeva kirjasto) jäsentää sivujen sisältöä ja löytää määritetyt kentät.

selenium

Selainpohjainen poiminta

selenium (verkkoselainta ohjaava työkalu) tukee poimintaa, jossa lataaminen edellyttää selainta.

csv-parse

CSV-tiedostojen luku ja jäsentäminen

csv-parse (CSV-tiedostojen lukemiseen tarkoitettu Node.js-kirjasto) lukee rakenteista CSV-dataa.

maatwebsite/excel

Excel- ja CSV-vienti

maatwebsite/excel (Excel- ja CSV-tiedostoihin tarkoitettu Laravel-paketti) tukee järjestettyjen taulukkolaskentatiedostojen toimitusta.

jsonify

JSON-datan käsittely

jsonify (JSON-datan käsittelyyn tarkoitettu JavaScript-kirjasto) tukee JSON-tietueita muuttamatta yleisiä objekteja.

CSV, Excel, JSON

Rakenteisen datan toimitus

Nämä muodot välittävät järjestettyjä yhteystietueita analyysiä, CRM-tuontia ja muita liiketoiminnan tarpeita varten.

Integraatiot

CRM systems

Ratkaisu vie järjestetyt yhteystietueet CRM-tuontiin sopivissa muodoissa.

Excel

Ratkaisu vie luokitellut yhteystiedot ja järjestetyt työkirjat Excel-tiedostoina.

CSV files

Ratkaisu lukee ja kirjoittaa pilkuilla eroteltuja yhteystietueita rakenteista vaihtoa varten.

JSON files

Ratkaisu toimittaa rakenteiset tietueet JSON-muodossa tätä formaattia käyttäville järjestelmille.

Email verification service

Sähköpostin vahvistuspalvelu voi tarkistaa sähköpostiosoitteet ja verkkotunnukset ennen toimitusta.

Lopputulos

Määritä lähteet ja kentät tarkasti ennen keräystä

Ensimmäinen näyttö pitää poimintapyynnön täsmällisenä. Verkkosivustojen URL-osoitteet, lähdeluettelot ja valitut yhteystietokentät määrittävät, mitä scraper kerää.

Näin se toimii

  1. Ohjelmisto tallentaa määritetyt verkkosivustot ja lähdeluettelot.
  2. Ohjelmisto säilyttää valitut kentät, kuten sähköpostiosoitteen, puhelinnumeron ja postiosoitteen.
  3. Ohjelmisto tallentaa toistuvan poiminnan asetukset uusia ajoja varten.
  • Sähköpostiosoitteet ja puhelinnumerot ovat erillisiä yhteystietokenttiä.
  • Fyysiset osoitteet ja yritystiedot voidaan sisällyttää valittuihin kenttiin.
Lähteiden ja kenttien määritys

Lähteiden ja kenttien määritys

Tämän näytön toiminnot
Verkkosivustodatan scrapetus Sähköpostiosoitteiden scrapetus Puhelinnumeroiden poiminta Fyysisten osoitteiden poiminta

Seuraa poiminnan etenemistä ja kerättyjä tietueita

Poiminnan seurantanäkymä kokoaa lähteiden URL-osoitteet, ajon tilan ja poimitut tietueet yhteen. Käyttöoikeusvaroitukset ja lataushuomautukset tekevät lähteiden toiminnan näkyväksi keräyksen aikana.

Tiimi näkee selkeästi yhdeltä tai useammalta verkkosivustolta palautetut tietueet ennen puhdistusvaihetta.

Näin se toimii

  1. Scrapy (verkkosivustojen indeksointiin ja scrapetukseen tarkoitettu kehys) kerää tiedot luetelluista lähteistä.
  2. BeautifulSoup (verkkosivujen jäsentämiseen tarkoitettu kirjasto) lukee verkkosivujen sisältöä ja poimii määritetyt kentät.
  3. Ohjelmisto näyttää ajon tilan, lähteiden URL-osoitteet, poimitut tiedot sekä lataus- ja käyttöoikeushuomautukset.
  • Poiminta tukee useita sivuja ja verkkosivustoja.
  • Scraper voidaan suorittaa uudelleen uudelleenkäytettävillä säännöillä.
Huomautus: Keräyssääntöjen on noudatettava verkkosivuston toimintaa, alustan ehtoja, tietosuojalakeja, GDPR:ää ja muita sovellettavia vaatimuksia.
Poiminta-ajon seuranta

Poiminta-ajon seuranta

Tämän näytön toiminnot
Verkkosivustodatan scrapetus Datan poiminta

Valmistele puhtaammat yhteystietueet

Puhdistusnäyttö tarjoaa datavastaavalle yhden paikan tarkistaa vahvistuksen tila, kaksoiskappaleosumat ja luokat. Yhteystietueet pysyvät järjestyksessä ennen vientiä.

Kaksoiskappaleiden ilmaisimet auttavat erottamaan toistuvat merkinnät käyttökelpoisesta yhteystietoluettelosta, kun taas luokat valmistelevat datan analyysiä tai yhteydenottoja varten.

Näin se toimii

  1. Ohjelmisto näyttää sähköpostiosoitteet, puhelinnumerot ja postiosoitteet yhteystietotaulukossa.
  2. Ohjelmisto vertaa tietueita ja näyttää kaksoiskappaleosumat sekä vahvistuksen tilan.
  3. Ohjelmisto lisää luokat järjestettyihin yhteystietueisiin.
  • Tietueet voidaan luokitella päivämäärien tai avainsanojen perusteella.
  • Datan kaksoiskappaleiden poistopalvelu voi tukea päällekkäisyyksien ehkäisyä.
Tietueiden puhdistus ja kaksoiskappaleiden poisto

Tietueiden puhdistus ja kaksoiskappaleiden poisto

Tämän näytön toiminnot
Yhteystietojen järjestäminen Kaksoiskappaleiden ehkäisy Datan kaksoiskappaleiden poistopalvelu Suurten tietoaineistojen puhdistus Datan luokittelu Yhteystietojen poiminta

Toimita data tiimin käyttämässä muodossa

Vientinäyttö muuttaa tarkistetut tietueet käytännölliseksi toimitukseksi analyysiä tai CRM-tuontia varten. CSV, Excel ja JSON pitävät toimituksen joustavana muuttamatta lähdekenttiä.

Määritysohjeet ja prosessimuistiinpanot pysyvät linkitettyinä toimitusasetuksiin ja auttavat tiimiä ymmärtämään, miten poiminta toimii.

Näin se toimii

  1. Ohjelmisto valmistelee järjestetyt yhteystietueet CSV-, Excel- tai JSON-tulostetta varten.
  2. Ohjelmisto luo tiedostoyhteenvedon valitulle muodolle.
  3. Ohjelmisto tarjoaa linkit määritysohjeisiin tai prosessimuistiinpanoihin.
  • CSV-tiedostot tukevat rakenteista tiedonsiirtoa.
  • Excel-tiedostot tukevat luokiteltuja työkirjoja.
  • JSON-tiedostot tukevat järjestelmien välistä datankäyttöä.
Viennin ja toimituksen asetukset

Viennin ja toimituksen asetukset

Tämän näytön toiminnot
Yritysten yhteystietoluetteloiden vienti Excel-vientityökalu CSV-datan hallinta

Mitä ratkaisu tarjoaa

Tämän ratkaisun avulla markkinatutkimusyritys voi:

  • Kerätä määritetyt yhteys- ja yritystiedot valituista verkkolähteistä
  • Suorittaa poimintasäännöt uudelleen toistuvaa tiedonkeruuta varten
  • Tarkistaa vahvistuksen tilan ja kaksoiskappaleosumat ennen toimitusta
  • Järjestää tietueet luokkiin, kuten päivämäärien tai avainsanojen mukaan
  • Viedä puhtaat yhteystiedot analyysiä ja CRM-tuontia varten
  • Ylläpitää uudelleenkäytettävää koodia, määritysohjeita ja prosessimuistiinpanoja

Voisivatko valmiit järjestelmät hoitaa tehtävän?

Ennen suunnittelua tehtävää verrattiin valmiisiin tuotteisiin niiden omien kuvausten perusteella.

Asiakkaan tarpeet Verkkosivustojen scrapetus-API:t Zyte, Scrapfly, ScrapingBee Verkkosivustojen scrapetustyökalut Octoparse, Oxylabs Datanpoimintaohjelmistot Data Extraction Räätälöity ratkaisu
Poimi yhteystietokentät lähteistä osittain
Suorita scraper uudelleen lähdekoodilla — osittain osittain
Puhdista ja poista tietueiden kaksoiskappaleet — osittain
Vie rakenteiset yhteystietotiedostot
Sopii asiakkaan omiin sääntöihin: vaiheet, roolit, raportit — — —
Kaikki vaiheet yhdessä paikassa — — —
Ei manuaalisia vaiheita ohjelmien välillä osittain — osittain

Tuotteiden ja niiden kategorian julkisten kuvausten perusteella.

Valmiit tuotteet kattavat verkkosivustojen käytön, indeksoinnin, poiminnan ja tiedostojen toimituksen, kun taas yleiset datanpoimintaohjelmistot kattavat laajemman tiedonkeruun.

Valmis tuote riittää, kun tehtävä tarvitsee vain yhden näistä osista. Tämä asiakas tarvitsi oman ohjelmiston, koska vaadittujen kenttien, puhdistussääntöjen, luokkien, uudelleenkäytettävän koodin ja vientien piti toimia yhdessä paikassa.

Tuotteet kuvaavat automatisoitua keräystä, mutta asiakkaan tarkistus-, validointi-, kaksoiskappaleiden poisto- ja toimitussäännöt edellyttävät edelleen räätälöityä prosessia.

Lopuksi

Lopulta ratkaisu suunniteltiin poistamaan manuaalinen työ julkisista verkkolähteistä puhtaisiin yhteystietotiedostoihin johtavalta polulta.

UKK

Harkitsetko vastaavan järjestelmän rakentamista? Lue alla olevat vastaukset ja katso, miten scrapetus, rakenteiset viennit ja räätälöidyt säännöt toimivat yhdessä.

Tarvitsetko jotain vastaavaa? Keskustellaan
Tai selaa lisää projekteja