Ett pilotprojekt finansierat av Västra Götalandsregionens kulturnämnd där RISE Research Institutes of Sweden tillsammans med Rörstrand Museum utvecklar en digital tjänst som ska kunna svara på ett frågor om Rörstrandsporslin.
Bakgrund
Rörstrand Museum får årligen cirka 1 500 porslinsfrågor. Det är jättekul att intresset är så stort, men tyvärr mycket resurskrävande att svara på alla frågor. Genom att utveckla en AI-tjänst ska fler frågor kunna besvaras, svaren ska komma fler till nytta och arbetsinsatsen ska minskas. Läs hela projektbeskrivningen här.
RISE Research Institutes of Sweden delrapport
Projektteamet på RISE Research Institutes of Sweden står för den tekniska utvecklingen och består av Ebba Ekblom, Niels Stor Swinkels, Martin Törnros, Jacob Michelsen, Olof Mogren RISE Research Institutes of Sweden. Projektägare och övergripande projektledare för Rörstrand Museum är My Johansson Dufva.
Januari-februari
Uppstart av projekt och sammansättning av kompetenser och referensgrupp. Inhämtning av data och ramar för projektet, samt påbörjat gränssnitt och inhämtat intressenter för utvärdering av tjänsten.
Mars-april
Projektet framskrider enligt plan med framsteg i modelleringen av datan samt presentation av resultaten.
Modellering
I modelleringsbiten har RISE kartlagt och iordningställt data för träning av modeller. Arbetet med att ta fram prediktiva modeller som kan ta fram information från bilder har påbörjats. Detta innefattar djupa neuronnät som tränas för att klassificera innehållet baserat på ett antal olika egenskaper hos objektet i bilden.
Detta arbete innefattar att ta fram den mest passande arkitekturen av maskininlärningsmodell baserad på djupa neuronnät eller “deep learning” som kommer att fungera väl på den aktuella datan, ett arbete som har kommit relativt långt, men har kvar en del.
I nuläget så har vi modeller som tar fram konstnär, årtal och objekttyp med acceptabel träffsäkerhet. Attribut som vi ska titta på de närmaste veckorna är mönster, material, servis, teknik och om tiden tillåter stämplar.
När en användare av verktyget laddar upp en bild, så kommer gränssnittet (front-end) lämna över bilden till modellen (back-end) som ger ett svar om objektet på bilden. Detta kommer sen presenteras av front-end-delen, som också kommer ta in information om de aspekter som AI-modellen har gett som svar. Detta kan vara texter från Wikipedia eller böcker om konstnärer, mönster, eller serviser.
Data
I detta projekt har vi till en början tittat på data ifrån föremålshanteringssystemet Carlotta http://83.223.9.232/carlotta-rs/web Där finns listningar av objekt med fotografier och beskrivningar av olika attribut som skapats från Rörstrand Museums digitaliseringsprojekt. Vi kommer också titta på data från Kringla, samt eventuellt bilder på porslinsstämplar från signaturer.se. Vi har även fått tillgång till en bok, “Rörstrands serviser” av Bengt Nyström och Peter Stenberg. Denna bok har mycket information men skulle behöva överföras till mer strukturerade format innan den kan användas för AI-modelleringen.
Föremålshanteringssystemet Carlotta
I denna data finns objekt med bilder och attribut, såsom textbeskrivning, storlek, inventarienummer, konstnärssignatur, material, modellnamn, motivkategori, motivord, konstnär, produkttyp, sakord, teknik, tillverkningsår, med mera. Ca 4 000 bilder har extraherats från databasen.
E-postkonversationer
I de e-postkonversationer som Rörstrand Museum tidigare haft med personer som frågat om porslinsföremål finns frågor och svar samt bilder. Dessa har använts för att bilda en uppfattning om vad för slags saker folk undrar över, samt vilka slags bilder som folk brukar skicka in.
Signaturer.se.
På denna webbsida finns många stämplar och signaturer digitaliserade. Både stämplar för tillverkaren (Rörstrand) och konstnärer som formgett objekten. Idag är det inte helt klart om vi kommer kunna dra nytta av dessa stämplar och signaturer.
Kringla
Denna sida innehåller många föremål från Rörstrand som finns på andra museum. Dessa planerar vi att ta med i den modellerade datan.
Interaktion
Inom interaktionen har ett gränssnitt tagits fram där funktionalitet läggs till löpande. För närvarande kan verktyget använda en modell från AI-modelleringen som avgör vilken typ av objekt som representeras av en bild.
Gränssnittet följer designen från Rörstrands Museums webbsida. Fokus har varit på att designa för mobiler, då e-post analysen pekade mot att många använder sig av en smartphone för att ta bilder och ställa frågan. Olika variationer på interaktionen har tagits fram och fortsätter att utvecklas
Planen innefattar också att extrahera all möjlig information med hjälp av bildanalys-modellerna som utvecklas ovan, och presentera den på ett bra sätt.
Spridning av resultat
Vi har haft ett möte med uppföljningsgruppen för projektet. Där presenterades projektet och dess framstegen.
På “RISE Computer Science & AI open house”, den 10 maj, kommer Ebba Ekblom presentera preliminära resultat från modelleringen i projektet.
Frågor om projektet?
Kontakt
Rörstrand Museum
My Johansson Dufva,
RISE Research Institutes of Sweden, Olof Mogren, olof.mogren@ri.se
