Jag accepterar att kakor lagras på min dator

Läs mer

Content-based image retrieval. An introduction to literature and applications.

Content-based image retrieval. An introduction to literature and applications. Beställ tryckt exemplar Lägg i kundvagnen Ladda ned som PDF
Författare: Jörgen Ahlberg, Fredrik Johansson, Ronnie Johansson, Magnus Jändel, Anna Linderhed, Pontus Svenson, Gustav Tolt
Ort: Stockholm
Sidor: 44
Utgivningsår: 2012
Publiceringsdatum: 2012-05-28
Rapportnummer: (FOI-R--3395--SE)
Nyckelord CBIR, CBIR-system, content-based, image retrieval, information retrieval.
Keywords CBIR, CBIR-system, content-based, image retrieval, information retrieval
Sammanfattning Att söka i bildsamlingar baserat på visuellt innehåll är potentiellt en mycket kraftfull teknik. Problemområdet benämns Content-Based Image Retrieval, CBIR, och har lockat forskare från olika forskningsområden, bland annat datorseende, artificiell intelligens och maskininlärning. Det relativt unga forskningsområdet CBIR har resulterat i en enorm tillväxt av tillgängliga forskningsartiklar i ämnet de senaste åren. Huvudsyftet med denna rapport är att ge en kort introduktion till CBIR, litteratur och applikationer. Rapporten innehåller en översikt över användbara metoder och presenterar några av de största utmaningarna inom CBIR. De flesta av de föreslagna CBIR-metoderna förlitar sig på ett förbehandlingssteg med feature extraction, som syftar till att utvinna lämpliga bildegenskaper för att framgångsrikt kunna hämta relevanta bilder ur en databas som innehåller tusentals eller miljontals bilder. Även om lågnivå-funktioner som färg, textur och form är direkt relaterade till perceptuella aspekter av bildinnehåll, finns det också högnivå-funktioner i bilder som inte extraheras lika enkelt från det visuella innehållet. Att automatiskt dra semantiskt meningsfulla slutsatser från bilder är en svår utmaning som inte har några perfekta lösningar än. Det finns dock flera försök och förslag om hur man extraherar högnivåbegrepp från lågnivåfunktioner och beskriver dessa med hjälp av ontologier. Ontologier är formella beskrivningar av begrepp och relationer i en domän som används för att överbrygga det semantiska gapet. Hur sökfrågan skapas är viktigt för resultatet av sökningen. Mycket arbete sker på frågespråk för multimediasökningar baserade på metadata. Mindre görs på det svårare problemet att bara använda bilddata i sökfrågan. Ett antal kommersiella system finns på marknaden som har CBIR-kapacitet. Vi ger en begränsad översikt över system med CBIR-kapacitet omfattande prototyper, forskningssystem och kommersiella system. CBIR är också intressant för videodata, där man förutom att tillämpa CBIR-tekniker för enskilda bildrutor kan använda den temporala ordningen på bilderna för att upptäcka vissa handlingar, rörelser eller förändringar. Försvarsmakten har idag tillgång till stora mängder av bild-, video- och filmmaterial från internationella uppdrag, men saknar förmåga att effektivt söka i dessa arkiv. Det finns flera olika tillämpningsområden av intresse för det svenska försvaret, särskilt för counter-IED och analys för flygspaning. En slutsats från denna studie är att medan det faktiskt finns stora potentiella fördelar med att använda CBIR kräver förverkligandet av CBIR-system för militära applikationer att potentiella slutanvändare tar aktiv del i utvecklingen för att ta reda på var CBIR-funktionalitet har störst påverkan. Rapporten avslutas med en kort diskussion om de viktigaste slutsatserna från denna studie och presenterar våra tankar för nästa steg för att utreda behovet av att ge det svenska försvaret CBIR-förmåg
Abstract To search in image and video collections based on visual content is potentially a very powerful technique. Content-Based Image Retrieval, CBIR, has attracted researchers from various research fields: computer vision, artificial intelligence, human factors, and machine learning to name a few. The relatively young age of CBIR as a phenomenon and research area results in an enormous growth of research articles on the topic. The main purpose of this report is to give a brief introduction to the research field of CBIR, the literature and applications. The survey contains an overview of CBIR methods and presents some of the main challenges in CBIR. Most of the suggested CBIR approaches rely on a pre-processing step of feature extraction, aiming at identifying suitable image features to allow for successful retrieval of relevant images from a database containing thousands or millions of images. While low-level features based on colour, texture, and shape are directly related to simple perceptual aspects of image content, there are also higher-level features which are not extracted as easily from pixel data. To automatically derive semantically meaningful features or concepts from images is a hard challenge to which no perfect solutions exist. However, we review attempts and suggestions from the literature. Ontologies are formal descriptions of the concepts and relations in a domain. They are used for bridging the semantic gap between how humans and computers represent the world. Query creation is another vital issue which is critical for the result of the search. Research on multimedia query creation including metadata is thriving but less is done on the harder problem of only using image data in queries. This report includes a limited overview of systems including CBIR capabilities encompassing research prototypes as well as open-source and commercial systems. CBIR also extends into the realms of video data, where, in addition to applying CBIR techniques to individual video frames, the additional time dimension can be explored to detect certain actions, movements or changes. The Swedish Armed Forces today have access to vast amounts of image, video and film material from international missions, but lacks the ability to efficiently search such archives for information. We believe there are several different application areas of interest for the Swedish Armed Forces, particularly for counter-IED analysis, and analysis for air reconnaissance. A conclusion from this study is that while there are indeed large potential benefits of using CBIR, the realization of CBIR systems for military applications requires that potential end-users take active part in the development process in order to work out where CBIR functionality has the greatest impact. The report ends with a brief discussion on the main findings from this study and presents our thoughts on the next steps to be taken in investigating how the Swedish Armed Forces c

Kundvagn

Inga rapporter i kundvagnen

FOI, Totalförsvarets forskningsinstitut

FOI
Totalförsvarets forskningsinstitut
164 90 Stockholm

Tel: 08-555 030 00
Fax: 08-555 031 00

Orgnr: 202100-5182