AI arvioi verkkosivuja jäljittelemällä oikeita ihmisiä ja jopa ylittäen heidät. Kuinka se tehdään?

Nykyään yksi älykkään verkkosivustojen uudelleensuunnittelujärjestelmän uKit AI: n komponenteista on julkinen. Se on prototyyppimoduuli verkkosivujen kauneuden arviointiin. Siinä yhdistyvät hermoverkko ja päätöksentekopuut jäljitelläkseen tavallisen vierailijan reaktiota verkkosivuston suunnitteluun.

Jatkossa tällainen moduuli arvioi generatiivisen suunnittelualgoritmin, uKit AI: n avaintekijän, työtä, joka suunnittelee sivut ilman ihmisen osallistumista luottaen käytettävissä olevaan sisältöön ja ”tietoon” tehottoman verkkosivuston ja yhden tavoitteena oli muuntokurssin nostaminen.

Nykyinen WebScore AI -versio heijastaa tavallisen Internet-käyttäjän näkemystä verkkosivuston ulkoasusta. Voimme kuitenkin luoda muita vaihtoehtoja, esimerkiksi verkkosivujen käytettävyyttä on mahdollista arvioida.

Järjestelmän kouluttamiseen käytetyt verkkosivustot. Ensinnäkin, olemme keränneet 12 000 sivustoa ja verkkokauppaa, jotka on luotu eri vuosina eri alustoilla ja eri kielillä. Päätehtävänä oli saada riittävästi visuaalisia gradaatiosuunnitelmia melko huonoista verkkosivustoista erittäin hyviin. Tällä tavalla olemme osoittaneet järjestelmälle, mitä se voi hyödyntää uudenaikaisessa verkossa.

Muutama verkkosivusto koulutusnäytteestä.

Jokainen aste mitataan asteikolla, ja normaalin ihmisen oletetaan ymmärtävän tämän asteikon, jonka mielipidettä yritämme mallintaa. Joten keksimme idean asteikosta '1-10', jota käytetään palveluumme.

Ihmiset, joita WebScore AI jäljittelee. Tarvitsimme kahta asiaa tietoaineiston (tietojoukon harjoitusmallille) muodostamiseksi useista verkkosivustoista:

  • merkit, joiden avulla järjestelmä määrittää, onko verkkosivusto houkutteleva;
  • arvioita (pisteitä), jotka on tehty asteikollamme tietylle määrälle verkkosivustoja. Niistä tulee järjestelmän malli.

Joku antaa näiden ensimmäisten arvioiden. Tällainen tarkemmin määritelty ”opettaja” tai ”opettajien” ryhmä vaikuttaa suuresti mallin toimintaan.

Verkkosivustojen arviointirajapinta: ota ja käytä pian GitHubista.

Kohderyhmän keräämiseksi suoritimme alustavat ehdokkaat 1500 sivuston esimerkissä. Rutiinityö, mutta vastuullinen ja vaativaa keskittymistä. Alustava valinta auttoi meitä poistamaan sopimattomat ehdokkaat ja sulkemaan pois ”kiistanalaiset” (kun joku arvioi sen yhdeksi ja toinen 10: ksi) verkkosivustot otoksesta.

Aluksi kokeilimme arviointimenetelmiä.

Tarjoimme esimerkiksi arvioida yhtä verkkosivustoa kerrallaan, sitten kahta verkkosivustoa samanaikaisesti tai valita yhden kahdesta, houkuttelevin. Lähestymistapa, jossa vastaaja näki yhden verkkosivuston ja arvioi sitä, toimi parhaiten. Arvioimme sitä 10 000 jäljellä olevista verkkosivustoista.

Henkilö arvioi onko verkkosivusto kaunis tai ei. Kuinka kone tekee tämän? Sinä ja minä tarvitsemme vain yhden katseen muodostaaksesi mielipiteen jonkin yleiseltä kauneudelta. Mutta tiedämme, että paholainen on yksityiskohdissa.

Malliä ohjaavat verkkosivuston visuaaliset houkuttelevuusmerkit ovat avainhetki koko projektille. Pyysimme uKit-verkkosivustojen rakentamisen suunnitteluryhmää kädestä, heidän työstään käytetään perustana satoja tuhansia verkkosivustoja, ja miljoonat ihmiset näkevät sen. Olemme yhdessä laatineet laajan luettelon ominaisuuksista, joihin ammattilaiset kiinnittävät huomiota kehittäessään verkkosivujen suunnittelua. Ja yritti sitten leikata sen, jättäen vain tärkeimmät.

uKit.com-suunnittelutiimi.

Tuloksena saimme tarkistusluettelon, joka käsitti 125 aivan erilaista mutta merkittävää kriteeriä, jotka on ryhmitelty viiteentoista luokkaan. Esimerkiksi luettelossa on: mukauttaminen suosittuihin näytöihin, monenlaiset kirjasinkoko, värien puhtaus, otsikoiden pituus, koko sivun kuvien osuus jne. Jäljellä on mallin kouluttaminen näitä sääntöjä käyttämällä.

Luo algoritmi. Mikä on tarkalleen 'opetusmalli'? Se on algoritmin rakentaminen, joka perustuu tiettyyn ominaisuusjoukkoon ja jolla voidaan arvioida valittua verkkosivustoa. On toivottavaa, että järjestelmän arvioinnissa ja keskimääräisen opettajan arvioinnissa on vähäinen aukko lopullisessa arvioinnissaan.

Olemme päättäneet käyttää gradientinkorotustapaa päätöksentekopuiden yli, koska se on yksi suosituimmista ja tehokkaimmista lähestymistavoista. Perusalgoritmeja käyttämällä se rakentaa joukon, jonka kokonaistulos ylittää minkä tahansa erillisen algoritmin tulokset.

Lisäksi jokainen seuraava perusalgoritmi lisäämällä se yrittää parantaa koko joukon vastausten laatua.

Prosessin nopeuttamiseksi ja helpottamiseksi käytimme Yandexin CatBoost-kirjastoa, joka mahdollistaa gradienttipohjaisen tehostimen rakentamisen ns. Unohdavissa päätöksenpuissa, mikä varmistaa mallin hyvät koulutusmahdollisuudet alusta alkaen ja nopean siirtymisen ennusteiden (arvioiden) tarjoamiseen ) uusille kohteille.

Neuraaliverkon lisääminen. Kun perusalgoritmi oli valmis, päätimme suorittaa kokeen: parantuvatko tulokset, jos lisäämme hermoverkon? Itse asiassa me tiesimme jo "tarkastella" verkkosivustoa ja sen suunnittelua, ja nyt päätimme antaa järjestelmälle jonkinlaisen "suurennuslasin", jonka avulla se voi paljastaa vielä enemmän yksityiskohtia.

Valitsimme yhden suosituimmista verkoista, resnet50, jota kutsutaan hyväksi algoritmiksi korkean tason ominaisuuksien purkamiseksi. Ja olemme oppineet, kuinka saada 1000 ylimääräistä ominaisuutta verkkosivustojen arviointiin. Seurauksena on, että järjestelmä luonnehtii nyt URL-osoitetta yhteensä 1125 ominaisuuden perusteella ja löytää verkkosivuston paikan 10 pisteen asteikolla. Prosessi kestää useita kymmeniä sekunteja, siksi harkitsemme mallin nopeuttamista vähentämällä merkkien määrää pitämällä arvioinnin laatu samalla tasolla.

Ensimmäiset tulokset. Tällä tavalla koulutettu malli voisi tehdä kolme kertaa tarkempia arvioita verrattuna yksittäisten 'opettajien' arvioihin.

Voimme sanoa, että malli ylitti ensimmäiset opettajansa, koska kohderyhmän arviot eroavat keskimääräisestä enemmän kuin hermoverkon arvio. Nyt laitamme algoritmin verkkoon jatkokoulutusta varten. Ja sinusta voi tulla myös sen opettaja.