Zoeken

We zijn trots om aan te kondigen dat de nieuwe versie van onze creatieve Augmented Reality-tool is gelanceerd. Met deze tool kunnen artiesten eenvoudig hun eigen mobiele AR-ervaringen opbouwen. Enkele voorbeelden van deze toepassingen zijn eerder in deze nieuwsbrief gedeeld als onderdeel van de liveshows van Vincent Höfte, Smitty en Ineffekt. Om je geheugen op te frissen: Augmented Reality (AR) is een technologie die digitale elementen toevoegt aan de echte wereld, vaak via apparaten zoals smartphones of AR-brillen. Dit stelt gebruikers in staat om te interageren met virtuele objecten en informatie te ervaren die geïntegreerd is in hun directe omgeving. AR heeft zijn waarde bewezen als een meeslepende toepassing. Zo presenteerden de Gorillaz hun nieuwe single in AR op Times Square, en werkte Coachella samen met Snapchat om een AR-ervaring te bieden met kunst en bewegwijzering. Voor veel artiesten kan AR liveshows versterken en rekwisieten toevoegen zonder de noodzaak van uitgebreide fysieke opstellingen. Ondanks het feit dat er verschillende AR-tools op de markt zijn, hebben wij ervoor gekozen om onze eigen tool te ontwikkelen – specifiek voor de context van liveshows voor opkomende muzikanten. We kozen voor deze aanpak omdat de meeste bestaande tools te ingewikkeld, tijdrovend en onvoldoende beschermd zijn wat betreft intellectueel eigendom van de gebruiker. Onze tool vereenvoudigt het creatieve proces met een gebruiksvriendelijke interface, ontworpen voor artiesten zonder eerdere ontwerpervaring. Bovendien slaat het alleen de noodzakelijke gegevens op en wordt deze niet hergebruikt voor commerciële doeleinden. Wat is er nieuw Onze nieuwe OCT AR-tool is geïnspireerd op het concept van een synthesizer. Het stelt je in staat om scènes te creëren en te arrangeren in een 3D-ruimte, waarin je afbeeldingen kunt plaatsen en publiceren. Net als een echte synthesizer beschikt het over verschillende oscillatoren (of parameters) die je kunt aanpassen om effecten en beweging toe te voegen aan de elementen binnen je scènes. Bekijk het zelf: https://ar.sprps.dev Let op dat je zelf de inhoud voor de AR-toepassing moet creëren. In de nabije toekomst zal het ook mogelijk zijn om 3D-inhoud uit bestaande online bibliotheken te integreren, maar deze functie is momenteel nog niet beschikbaar. Om alle functionaliteiten uit te leggen, hebben we een korte instructievideo gemaakt: https://vimeo.com/974167199 Huidige functies: Maak een AR-project (scène) dat met één tik bekeken kan worden op iOS- en Android-apparaten na het scannen van een QR-code; geen app-download vereist. Maak meerdere scènes per project/QR-code en wissel tussen scènes tijdens je liveshow. Plaats tweedimensionale objecten (vlakken) in een 3D-werkruimte. Voeg transformaties toe aan een object (verplaatsen, roteren, schalen). Voeg een afbeeldingstekstuur toe aan een object; ondersteunt JPEG's en (transparante) PNG's. Voeg een transparantiemasker toe aan een object (maak objecten meer of minder transparant met een gekleurde achtergrond). Voeg animaties toe aan een object. Stapel transformaties en animaties om complexere bewegingen te creëren. Geplande functies: Transformaties herschikken. Objecten groeperen. Ondersteuning voor video/animated GIF-teksturen. Importeren van 3D-objecten.

Jan Modaal is een punk "smartlappen" zanger uit Amsterdam. Hij is een expressieve artiest die sociale thema's belicht in zijn muziek en teksten. Op 24 augustus speelt hij live in Cinetol in Amsterdam. Hieronder geven we je een voorproefje van de conceptuele en technische inhoud van deze avond. Als podiumartiest is Jan Modaal de frontman en gitarist in verschillende punkbands. Naast gitaarspelen en zingen heeft Jan beperkte mogelijkheden om zichzelf fysiek en visueel te uiten op het podium. Om deze reden onderzoeken Jan en Open Culture Tech hoe we zijn gezicht en lichaamsbewegingen kunnen versterken en vertalen naar real-time visuals met behulp van onze eigen Avatar creator tool. Met de nieuwste versie van onze Avatar creator tool is het mogelijk om jezelf als een 3D-personage (met Polycam) te uploaden en deze avatar in real-time te animeren met een webcam die je bewegingen kopieert. In onze eerste live show met OATS deden we dit met behulp van een motion capture pak, maar dit was te duur en technisch ingewikkeld. Daarom hebben we voor Jan een webcamfunctie ontwikkeld. Bovendien is het mogelijk om de Avatar in een 3D-ruimte te plaatsen en de achtergrondomgeving aan te passen. Deze 3D-creatie kan live gestreamd en geprojecteerd worden op een groot scherm. Op basis van deze technische basis is er een concept ontwikkeld voor de liveshow van Jan Modaal, genaamd "Jandroid Modaal". Tijdens deze show worden er grote gordijnen vooraan het podium gehangen. Jan zal achter deze gordijnen staan en zijn show uitvoeren terwijl zijn bewegingen door de webcam worden vastgelegd, die zijn bewegingen omzet in 3D-animatie. Een livestream van deze geanimeerde Avatar wordt vervolgens geprojecteerd op het gordijn op het podium. De achtergrondomgeving is versierd met video's die Jan Modaal maakt met Runway. Dit is een populaire tekst-naar-video AI-tool waarmee je eenvoudig korte video's kunt genereren op basis van tekstinvoeren. In deze video's worden verschillende "toekomstscenario's" gegenereerd vanuit verschillende "punk" invalshoeken. Cyberpunk, solarpunk, steampunk, biopunk, enzovoort. In onze Jandroid Modaal show staat de fusie tussen digitale en fysieke realiteit centraal, terwijl Jan de spanning tussen deze twee werelden verkent. Tijdens de live uitvoering zal Jan spelen met de wereld voor het scherm en de wereld achter het scherm. We onthullen niet precies hoe dit zal zijn; dit kan live worden ervaren op 24 augustus om 20:00 uur in Cinetol Amsterdam. De samenwerking met Jan Modaal heeft geresulteerd in een reeks nieuwe functionaliteiten voor onze eigen Avatar creator tool die we binnenkort zullen vrijgeven op de website van Open Cultuur Tech.

Melle Jutte, R&B-artiest en producer uit Amsterdam, heeft altijd al een nieuwsgierige geest gehad als het gaat om nieuwe technologieën. Samen met Open Culture Tech duikt hij in een experiment om vier tot vijf nieuwe nummers te componeren, waarbij voor elk nummer een ander AI-tool wordt gebruikt. Tot nu toe heeft Melle drie nummers geschreven, met behulp van drie verschillende methoden. Al deze nummers worden door Melle in een live show gepresenteerd om te onderzoeken hoe deze nieuwe vorm van componeren werkt in een live context. Zijn eerste experiment was met Suno, een populaire AI-tool die muziek genereert. Melle liet Suno een muziekstuk genereren en speelde het vervolgens zelf op zijn instrumenten. Hoewel hij er zijn eigen draai aan gaf, voelde het vooral alsof hij de muziek van iemand anders nadeed. Het proces was technisch indrukwekkend, maar artistiek minder bevredigend. Het gaf hem een gevoel van beperkte controle, wat zijn creativiteit hinderde. Desondanks blijft Melle experimenteren met Suno om te zien of hij uiteindelijk een bevredigend resultaat kan bereiken door de juiste balans te vinden tussen de gegenereerde basis en zijn eigen instrumentale invloed. Vervolgens probeerde hij Magenta, een AI-tool die enkele MIDI-beats en melodieën genereert. Ondanks de interessante mogelijkheden vond Melle het resultaat vaak droog en willekeurig. De gegenereerde beats en melodieën hadden weinig samenhang, en het gebrek aan samenhang betekende dat hij veel tijd moest besteden aan het aanpassen en samenstellen van de gegenereerde muziek. Het derde experiment bracht hem bij Udio, een tool die vergelijkbaar is met Suno. In plaats van de gegenereerde muziek te spelen, splitste Melle de audiotracks en gebruikte hij de individuele tracks als samples. Dit gaf hem de vrijheid om te spelen en te experimenteren met geluiden op een manier die hij zeer inspirerend vond. Het manipuleren van de samples geeft hem de mogelijkheid om echt creatief te zijn, zonder zich beperkt te voelen door de oorspronkelijke structuur van de gegenereerde muziek. Voor de andere experimenten is Melle nieuwsgierig naar het potentieel van MIDI in een minder willekeurige setting. Hij overweegt om te spelen met tools zoals ChordChord, AIVA en MusicLang, en wil ook verkennen wat hij kan bereiken bij het schrijven van teksten met behulp van ChatGPT. Hij is vooral benieuwd hoe deze tools kunnen bijdragen aan een meer gestructureerd en coherent creatief proces, terwijl hij toch de vrijheid behoudt om zijn eigen artistieke visie te volgen. Melle's onderzoek richt zich bewust op het artistieke potentieel van generatieve AI-technologie, waarbij hij - in tegenstelling tot Eveline Ypma's Open Culture Tech-project - van tevoren geen aandacht besteedt aan copyright en gebruiksvoorwaarden. Melle is zich bewust van de risico's en ethische dilemma's die gepaard gaan met het gebruik van AI, maar zijn focus ligt op het vrij verkennen van de artistieke mogelijkheden. Reflectie op de complicaties van zijn creaties volgt pas nadat de muziek is gecreëerd.

Smitty is een rapper en producer uit Amsterdam die in zijn muziek in gesprek gaat met verschillende versies van zichzelf. Hij spreekt met zijn jongere ik en oudere ik over verschillende aspecten van het leven. In zijn live shows wil hij dit concept op een visuele manier versterken en door middel van nieuwe technologie. Samen met Open Culture Tech heeft Smitty gewerkt aan het ontwikkelen van een live show waarin 3D Avatar technologie en mobiele Augmented Reality worden gebruikt om dit te realiseren. Een aantal maanden geleden hebben we een artikel geschreven waarin we ons creatieve proces met Smitty en ons technisch-creatieve team kort beschrijven. Vanuit dit proces is een live show ontwikkeld die plaatsvond op 3 mei 2024 in @droog, Amsterdam. De avond was opgebouwd uit drie delen. Het eerste deel bestond uit de ontvangst van het publiek waarbij we mobiele AR hebben gebruikt om het publiek kennis te laten maken met de lyrics van Smitty. Het tweede deel bestond uit de live show waarin we verschillende 3D avatars van Smitty projecteerden op de witte muren van de zaal. Het derde deel bestond uit een Q&A tussen het publiek, Smitty en leden van Open Culture Tech. De entree Bij binnenkomst werden er grote QR-codes op het scherm geprojecteerd om de ervaring te kunnen openen. Om de lyrics van Smitty’s muziek uit te lichten hebben we een AR ervaring gemaakt met de Open Cultuur Tech AR app. Het idee hierachter was dat we een virtuele wereld creëerden waarbij de teksten van Smitty door de ruimte zweefden. In de AR-ervaring werden 5 verschillende teksten van Smitty verspreid door de ruimte. Bezoekers konden door de de witte lege ruimte van @droog lopen en de verschillende teksten zien, op dezelfde wijze als je dit zou doen bij een kunsttentoonstelling. De AR-ervaring was een opwarmer voorafgaand aan de show. De show Om de 3D avatars zo prominent mogelijk te laten terugkomen wilden we de illusie van een LED muur creëren in de zaal van @droog. Een LED muur is een muur van LED-schermen waar je visuals op kunt afspelen. Zo’n muur is erg duur en daarom voor de meeste kleinere podia onhaalbaar. Daarnaast vereist LED enige afstand tussen het publiek en de schermen om een helder beeld te geven. Ook dit is in veel kleinere podia lastig. We hebben dit opgelost door twee beamers te installeren die kwalitatief goed genoeg waren om op de muren te kunnen projecteren. De projecties moesten hierbij van het plafond tot de vloer lopen omdat het anders nog steeds lijkt alsof je naar een normale projectie kijkt. De beamers waren zo uitgelijnd dat deze aan weerszijden van het podium op de muren projecteerden. Hierdoor waren er minimale schaduwen van de band op de projecties. Op deze achterwand werden verschillende sfeerbeelden geprojecteerd ter ondersteuning van de show. Deze sfeerbeelden waren een combinatie van video's van bijvoorbeeld Pexels en eigen video-opnamen. Na het tweede nummer werd de eerste 3D avatar van Smitty geïntroduceerd op het scherm. Deze geanimeerde 3D avatar was een jongere versie van Smitty die zich langzaam omdraaide richting het publiek. Daarna was een oudere versie van Smitty te zien en werden deze avatars samen gemonteerd. De verschillende avatars, in verschillende animaties, bouwden op tot een eclectische mix die toewerkte naar een climax. Omdat we niet de hele show de avatars wilden laten zien maar ook andere sfeerbeelden wilden tonen hebben we een eenvoudige VJ setup gecreëerd via TouchDesigner, een software tool waarmee we een eigen video-player konden bouwen. Op deze manier konden we met een midi-controller de visuals op de projecties aansturen. Door middel van een HDMI splitter konden we beide projectoren aansturen met 1 laptop. Een belangrijke voorwaarde voor het manier met beamers is dat er niet te veel licht kan zijn in de zaal omdat de projecties dan minder goed zichtbaar worden. In het geval van Smitty gaven de projecties voldoende licht om de zaal te verlichten. Met twee kleine RGB spots en een witte spot op Smitty zelf was het verder voldoende om het podium goed uit te lichten. De Q&A In het publiek zaten, naast muziekliefhebbers, ook veel muzikanten en collega-rappers van Smitty. Voor deze groep zijn LED-muren, geanimeerde avatars en augmented reality niet binnen handbereik. Vanuit de gesprekken met het publiek kwam duidelijk naar voren dat ze de show, die ongeveer 45 minuten duurden, indrukwekkend vonden. De visuals voegden een waardevolle laag toe en ondersteunden het verhaal van Smitty vanuit de inhoud. Deze bevestiging is belangrijk voor de voortgang van Open Culture Tech om te valideren dat onze technologie bruikbaar is voor de doelgroep. Er zijn vervolgafspraken gemaakt met verschillende collega-rappers om te onderzoeken hoe de Open Culture Tech toolkit breder ingezet kan worden binnen de Amsterdamse hiphop community. Dit wordt vervolgd.

Eveline Ypma is filmcomponist, multi-instrumentalist en soundscape artist uit Amsterdam. Vincent Höfte een jazzpianist uit Den Haag. Samen met het team van Open Culture Tech hebben beide artiesten gewerkt aan twee unieke concepten waarin we AI en AR gebruiken om de live performance te verrijken met toegankelijke technologie. In dit artikel delen we alvast de eerste uitkomsten van deze voorstellingen. Eveline Ypma & AI samples Laugarvatn is een bestaande productie die is opgebouwd uit 3 delen van ongeveer 5 minuten. De voorstelling is vernoemd naar een plek waar Eveline Ypma verschillende field recordings heeft gemaakt tijdens haar residentie op IJsland. Deze field recordings vormen de basis voor 3 soundscapes waarin ze deze field recordings combineert met live zang en basgitaar. Samen met het team van Open Culture Tech is daar een vierde deel van 10 minuten aan toegevoegd waarin de IJslandse field recordings zijn vervangen door AI-gegenereerde geluidsfragmenten, in de stijl van de IJslandse field recordings. Om originele samples te genereren, speelde Eveline met verschillende text-to-music tools (ChatGPT's voor muziek). Tijdens haar residentie op IJsland heeft Eveline het noorderlicht nooit gezien, dus besloot ze AI te gebruiken om unieke geluidssamples te genereren op basis van de opdracht “Northern Lights Soundscape”. Op deze manier kon Eveline nieuwe muziek creëren, geïnspireerd door haar reis, en een muziekstuk toevoegen aan haar reeds bestaande werk Laugarvatn. Het resultaat van de samenwerking tussen Eveline Ypma en Open Culture Tech is niet alleen een showcase waarin we generatieve AI hebben gebruikt om samples te genereren voor een live performance, maar ook de eerste versie van eigen open-source AI-tool waarmee iedereen zelf samples kan creëren op basis van prompts. Als je nieuwsgierig bent naar het maakproces van deze tool, en meer wil weten over hoe deze applicatie tot stand is gekomen, lees hier het uitgebreide artikel. Vincent Höfte & mobiele AR Vincent Hofte is een jazzpianist die regelmatig op openbare piano’s speelt op stations door heel Nederland. Samen met Open Culture Tech heeft Vincent een korte voorstelling gemaakt waarin hij eigen pianostukken speelt terwijl een mobiele Augmented Reality filter een visuele laag toevoegt aan de werkelijkheid. Door een QR code te scannen met je mobiele telefoon opent de camera op je mobiele telefoon en zie je gekleurde vlakken zweven door de ruimte. Deze vlakken zijn bewerkte foto’s van de stationshal zelf, waardoor een mix ontstaat tussen de architectuur van het station en de herhalende vormen in de foto’s. In deze show werd de eerste versie van onze eigen Augmented Reality app gebruikt die wij over een aantal maanden gratis en openbaar publiceren. Als je ook nieuwsgierig bent naar het maakproces van deze applicatie, en meer wil weten over hoe deze applicatie tot stand is gekomen, lees hier het uitgebreide artikel.

Laten we beginnen met te zeggen dat dit artikel geen eindpunt is. Het is een stap in ons lopende onderzoek naar de ontwikkeling van verantwoorde AI-toepassingen voor kunstenaars. Eén van deze artiesten is Eveline Ypma, met wie wij op 4 april 2024 een live optreden organiseren in OT301. Samen met Eveline onderzoeken we het potentieel van tekst-naar-muziek. AI-technologie zal onze bevindingen in dit artikel delen. Eveline maakte een EP die gesamplede veldopnames uit de natuur van IJsland combineert met haar eigen zang en basgitaar. Het resultaat is een harmonieuze soundscape van 15 minuten. Onze uitdaging was om deze EP uit te breiden en te vertalen naar een live optreden van 30-45 minuten, met behulp van generatieve AI. Samen besloten we te experimenteren met AI-tools die gelijksoortige veldopnames en geluidseffecten kunnen genereren die Eveline zou kunnen gebruiken om haar liveoptreden uit te breiden. Hoe zijn wij begonnen? Ons doel was om nieuwe audiobestanden (10-20 seconden) te genereren die lijken op haar eigen IJslandse muzieksamples. Om dit te doen zijn we begonnen met een onderzoek naar verschillende manieren om nieuwe muziek te genereren met AI. Welke AI-modellen zijn er al? Welke bestaande tools kunnen we testen? En hoe zorgen we ervoor dat de technologie-leveranciers de gegevens van Eveline niet stelen? Eerst hebben we een reeks experimenten uitgevoerd met bestaande AI-modellen. Geïnspireerd door Dadabots en hun oneindige stroom door AI gegenereerde death metal, zijn we aan de slag gegaan met SampleRNN modellen. Dit is een audio-to-audio model waarbij je een muziekbestand uploadt en er vergelijkbare muziekbestanden voor terugkrijgt. Helaas waren we niet tevreden met de resultaten omdat de output teveel ruis bevatte. Bovendien was het proces zeer tijdrovend en zeer complex. We zijn overgegaan op het algoritme van Stable Diffusion genaamd Dance Diffusion. Dit is ook een audio-to-audio systeem waarmee u audiofragmenten kunt maken die klinken als uw invoerbestanden. Helaas produceerde ook dit model, net als het vorige model, veel ruis en was erg glitchy. Ons doel was om te zoeken naar kant-en-klare AI modellen die we onmiddellijk konden gebruiken om een workflow voor Eveline te creëren – zonder dat we ons eigen aangepaste AI-model hoefden te trainen. Maar helaas bleek dit lastiger dan verwacht. Daarom besloten we het roer om te gooien en te kijken naar kant-en-klare AI-tools. Eerst hebben we de text-to-music toepassing van Stable Diffusion geprobeerd, genaamd Stable Audio, die audiobestanden maakt op basis van tekst-prompts. Een ChatGPT voor muziek. Voor het eerst produceerden we door AI gegenereerde output die inderdaad klonk als een bruikbaar muziekfragment. Toch konden we de output niet gebruiken: de gebruiksvoorwaarden verhinderden ons om de tool te blijven gebruiken. We hebben ook Meta's MusicGen en AudioGen geprobeerd, als een vergelijkbaar prompt-gebaseerd AI model waarmee je audiobestanden en muziekbestanden kunt genereren. Zolang je een Gmail-account hebt, kan iedereen deze modellen gebruiken in een Google Collab omgeving. MusicGen heeft ons tot nu toe de beste resultaten opgeleverd. Het genereerde audiofragmenten van hoge kwaliteit waar we meteen mee aan de slag konden. Helaas had dit systeem vergelijkbare gebruiksvoorwaarden. Gebruiksvoorwaarden Naar onze mening zijn de gebruiksvoorwaarden van te veel generatieve AI-muziektools misleidend. Hoewel de meeste product-websites je vertellen dat je de volledige eigendom van je in- en output behoudt, wordt het vaak duidelijk dat je jouw werk ook in sublicentie geeft aan het AI-platform. Technisch gezien blijf jij altijd eigenaar van jouw in- en output. Maar je geeft het eigendom ook aan iemand anders. In het geval van Eveline Ypma is dat problematisch. Eveline is een kunstenaar en zij zou de rechten op haar eigen creatieve werk moeten bezitten. Daarom hebben we uiteindelijk besloten om het onderliggende MusicGen AI-model van Github te downloaden en zelf een lokale versie op een privéserver te maken. Dit is mogelijk omdat Meta de code open-source via Github publiceerde onder een MIT-licentie. Onze text-to-music app Op dit moment werken we samen met een front-end developer om onze eigen tekst-naar-muziek applicatie te bouwen bovenop het MusicGen AI-model. Ons doel is om het onderliggende AI-model op een Europese server te hosten en ervoor te zorgen dat we de invoer- en uitvoergegevens van de gebruiker niet beveiligen. Op deze manier kan iedereen gratis gebruik maken van de AI-technologie – zonder dat hij zijn creatieve werk hoeft weg te geven.

Dit rapport is een samenvatting van resultaten die we hebben opgehaald in de eerste 7 maanden van het Open Cultuur Tech project. We hebben hiervoor meer dan 100 artiesten en andere relevante stakeholders uit de muziekindustrie bevraagd. Dit hebben we onder andere gedaan in kennissessies, gastcolleges, workshops op conferenties (zoals ADE en ESNS), enquêtes en interviews. Picture by Calluna Dekkers Voor het Open Cultuur Tech project is het van belang om in kaart te brengen waar de kansen en uitdagingen liggen voor opkomende artiesten. Op die manier zorgen we ervoor dat we technologie ontwikkelen die aansluit bij de behoeften van artiesten en hun publiek. Daarnaast is het van belang om meer informatie te delen met de sector. Voor artiesten is het belangrijk om te weten wat hun mogelijkheden zijn, zelfs met kleine budgetten en beperkte technische kennis. Voor de bredere industrie is het belangrijk om te weten hoe zij artiesten kunnen faciliteren en hoe we ervoor kunnen zorgen dat het Nederlandse muzieklandschap niet op achterstand raakt ten opzichte van bijvoorbeeld de Amerikaanse of Chinese muziekindustrie. LINK naar het Tussenrapport

Vorige week was ESNS 2024, het internationale muziekconferentie- en showcase-festival waar jaarlijks ruim 350 Europese artiesten optreden en ruim 40.000 bezoekers trekken. Open Culture Tech was aanwezig op ESNS 2024 om backstage met artiesten de standpunten en meningen over nieuwe technologie zoals AI, Augmented Reality en Avatars te bespreken. Het Open Culture Tech-team werd ook door Effenaar Labs uitgenodigd om deel te nemen aan een paneldiscussie over de waarde van meeslepende technologie voor livemuziek. In dit artikel delen wij de interessantste backstage gesprekken, ervaringen en conclusies van ons panel. Credits: Calluna Dekkers De ESNS-conferentie vindt ieder jaar plaats in de Oosterpoort, een van de muziekzalen in Groningen. Maar dat is niet waar de meeste artiesten rondhangen. Deze vind je in de Artist Village, een backstage tent vlakbij de conferentie. Het team van Open Culture Tech stond midden in de Artist Village met diverse prototypes die tot veel verschillende gesprekken, discussies en brainstorms leidden met diverse Europese artiesten. De eerste conclusie is dat weinig artiesten met nieuwe technologie zoals AI of AR werken. Ze hebben er geen tijd voor, het is vaak te duur of ze weten niet hoe ze moeten beginnen. Zelfs een lichtplan was voor veel artiesten een luxe. De meeste artiesten waren niet bang dat AI hun baan als live artiesten op het podium zou overnemen. Veel kunstenaars stonden sceptisch tegenover de creatieve mogelijkheden van veel technologische hulpmiddelen. Met name rond het risico van verlies van privacy en intellectueel eigendom. De gesprekken met artiesten veranderden op het moment dat we hen vroegen zelf met aanvragen te komen, ongeacht budget of technische beperkingen. Wat als ze alles konden doen wat ze wilden? Deze brainstorms hebben veel interessante input opgeleverd die we proberen op te nemen in onze Open Culture Tech-toolkit. Zoals een bedieningspaneel (bijvoorbeeld via MIDI of voetpedaal) om visuals aan te sturen. Of een eenvoudige applicatie om 2D-afbeeldingen (bijvoorbeeld albumhoezen) te vertalen naar een driedimensionale versie die je kunt animeren voor een video of in Augmented Reality kunt plaatsen. Naast de artiesten die weinig behoefte hadden aan immersieve technologie zoals AI of AR, waren er veel artiesten die dat wel hadden. Uit de ‘wat als’-brainstorms blijkt dat veel artiesten graag willen experimenteren met nieuwe technologie in hun liveshows, maar daar niet de middelen voor hebben. Ook waren er veel interessante gesprekken met artiesten die al met nieuwe technologie bezig zijn, zoals de Poolse band Artificialice. Ze gebruiken onder meer 3D-scans (LiDAR) van zichzelf en hun slaapkamers en verwerken deze in hun kunstwerken. Of Wax Museum uit Berlijn. Met hun nieuwste album brengen ze ook een 8-bit versie van hun muziek uit en een online videogame waarin de bandleden als game-karakters verschijnen. In het spel moet de speler op zoek gaan naar een gestolen discobal. Dit verhaal zou zich heel goed kunnen lenen voor een mobiele AR-ervaring tijdens hun concert waarbij het publiek gezamenlijk op zoek kan gaan naar een verborgen Discobal in de zaal. Een virtuele zoektocht zoals in Pokémon Go. Het ‘verbergen’ van 3D-objecten is dan ook een feature die we zeker gaan onderzoeken in de AR-app van Open Culture Tech. Credits: Casper Maas Het Open Culture Tech-team was ook uitgenodigd voor een panel georganiseerd door Effenaar Lab. Met het Hybrid Music Vibes programma biedt Effenaar Lab talenten de mogelijkheid om te onderzoeken hoe nieuwe technologieën kunnen bijdragen aan hun kunstenaarschap. In het panel zaten Julia Sabaté en De Toegift als deelnemers van het Hybrid Music Vibes programma, hun manager en Joost de Boo namens Open Culture Tech. Het panel besprak het belang van cross-over samenwerkingen, het belang van educatie en het delen van ervaringen. Het Hybrid Music Vibes programma van Effenaar Lab is een inspirerend programma waarin deelnemers waardevolle experimenten uitvoeren die we graag delen in deze nieuwsbrief. Lees meer over Julia Sabaté: https://www.effenaar.nl/hybrid-music-vibes-2-julia-sabate Lees meer over De Toegift: https://www.effenaar.nl/hybrid-music-vibes-2-de-toegift

Bij Open Culture Tech ontwikkelen we onze eigen open-source en gebruiksvriendelijke tools voor het maken van AI, Augmented Reality en Avatar voor livemuziek. Open Culture Tech heeft in het voorjaar van 2023 een Open Call uitgeschreven, waarbij muzikanten in Nederland zich konden aansluiten bij ons ontwikkelingsprogramma. Uit een groot aantal aanmeldingen zijn 10 uiteenlopende artiesten geselecteerd. Van Punk tot R&B en van Folk tot EDM. Ieder met een unieke onderzoeksvraag die beantwoord kan worden door nieuwe technologie toe te passen. Vragen als: “ik heb mijn hart en ziel gestoken in het maken van een EP van 15 minuten. Ik wil dit nieuwe werk live op het podium uitvoeren, maar ik heb minimaal 30 minuten muziek nodig om een volledige show te creëren.” Of vragen als: “hoe kan ik de interactie tussen mij en het publiek versterken als ik gitaar speel op het podium?” Samen met deze artiesten bedenken wij (het team van Open Culture Tech) originele antwoorden op deze vragen die we vertalen naar open-source AI-, AR- of Avatar-technologie – met eenvoudig te gebruiken interfaces. Vervolgens wordt elk prototype getest tijdens een live pilot show. Na 10 shows hebben we verschillende prototypes getest die we gaan combineren tot één toolkit. Op deze manier willen we de nieuwste technologie toegankelijker maken voor elke artiest. Hieronder delen we de resultaten van onze eerste twee prototypes en live pilot shows. OATS × Avatars De eerste Open Culture Tech pilot show kwam tot stand in nauwe samenwerking met OATS. OATS combineert punk en jazz en vestigt zich met meeslepende en krachtige liveshows. Hun vraag was: “hoe kunnen we de expressie van de leadzanger vertalen naar realtime beelden op het podium?” Om deze vraag te beantwoorden, hebben we besloten om met de hulp van Reblika de eerste versie van onze eigen tool voor het maken van Avatars te bouwen en te testen. Unreal Engine is de wereldwijde industriestandaard voor het ontwikkelen van 3D-modellen. Het wordt gebruikt door veel grote 3D-bedrijven in de muziek-, gaming- en filmindustrie. De leercurve is steil en de prijzen voor experts zijn hoog. Reblika is een Rotterdams 3D-bedrijf met jarenlange ervaring in het maken van hoge resolutie avatars voor de creatieve industrie, die momenteel hun eigen avatar creator tool ontwikkelen – met behulp van Unreal Engine – genaamd Reblium. Voor Open Culture Tech ontwikkelt Reblika een gratis, stand-alone, open-source editie met een eenvoudig te gebruiken interface, gericht op het helpen van live muzikanten. Het masterplan was om de lichaamsbewegingen van de zanger (Jacob Clausen) vast te leggen met een Motion Capture Suit en het signaal te koppelen aan een 3D-avatar in een 3D-omgeving die live op het podium geprojecteerd kon worden. Op deze manier konden we ervaren hoe het is om avatars op het podium te gebruiken en erachter te komen welke functionaliteiten onze tool voor het maken van avatars nodig heeft. In dit geval moest de esthetiek dystopisch, vervreemdend en glitchy zijn. Onze eerste stap was het creëren van een workflow voor het vinden van de juiste 3D-avatar en 3D-omgeving. OATS gaf de voorkeur aan een somber personage in veiligheidspak, dat zich door een verlaten fabrieksgebouw bewoog. We besloten gebruik te maken van de Unreal Engine Marketplace, een website die kant-en-klare 3D-modellen aanbiedt. Om de 3D-omgeving te creëren, besloot Jacob Clausen een tool genaamd Polycam te gebruiken en een verlaten industriegebied te scannen. Polycam is een eenvoudig te gebruiken softwaretool die gebruik maakt van een technologie genaamd LiDAR, beter bekend als 3D-scannen. Met Polycam kunt u elk fysiek 3D-object of elke ruimte scannen en omzetten in een 3D-model. De 3D-scan (fabriek) en avatar (gasmasker-pak) werden geïmporteerd in Unreal Engine en de avatar werd verbonden met een motion capture-pak. Hierdoor kon Jacob Clausen de hoofdpersoon op het scherm worden en de ervaring live testen op het podium van de Popronde in EKKO in Utrecht, op 19 oktober om 23.30 uur. Wat volgde was een show waar we veel van hebben geleerd. De locatie voorzag ons van een standaard beamer/projector en een wit scherm achter het podium. Door een overactieve rookmachine, onstabiele internetverbinding en een lage resolutie beamer-projector was de avatar niet altijd zichtbaar op het scherm. Toch waren er zeker momenten waarop alles samenkwam. Op deze momenten was de synchronisatie tussen Jacob en zijn avatar super interessant, het vertellen van verhalen was geweldig en de technologie toonde veel potentieel. Het Motion Capture-pak was erg duur en dit pak moesten we lenen van Reblika. Dit is niet erg duurzaam, toegankelijk en inclusief. Voor ons volgende prototype zullen we kijken naar Motion Capture AI-technologie, zoals Rokoko Vision, in plaats van pakken. De 3D-avatar en omgeving werden vanuit verschillende camerahoeken getoond. Om dit mogelijk te maken moest iemand de camerahoek (real-time) binnen de Unreal Engine-software steeds veranderen. In de toekomst moeten we vooraf gedefinieerde camerahoeken toevoegen. Op deze manier heb je geen extra persoon nodig om de visuals te bedienen. Ineffectief × AR De tweede use case van Open Culture Tech werd geleverd door Ineffekt. Door een mix van glinsterende zangstukken, dromerige melodieën en onderscheidende ritmes neemt Ineffekt op slimme wijze een geluid aan dat zowel comfortabel als ongrijpbaar aanvoelt. De vraag van Ineffekt was: “hoe kan ik mijn album artwork vertalen naar een virtuele ervaring die elke locatie kan transformeren in een meeslepende videoclip?”. Om deze vraag te beantwoorden, hebben we besloten om de eerste versie van onze eigen AR-creatietool te bouwen en te testen, met de hulp van Superposition, een innovatieve ontwerpstudio voor interactieve ervaringen. Voor zijn nieuwste albumhoezen en videoclip besloot Ineffekt een 3D-model te gebruiken van een kas waarin gele organismen groeien. Dit 3D-model vormde de basis voor de AR-ervaring die we testten tijdens het Amsterdam Dance Event. Ons belangrijkste doel was het creëren en testen van een intieme mobiele AR-ervaring die werd gebouwd met behulp van open-source 3D-technologieën. Dit betekende dat we geen populaire AR-tools zoals Spark AR (Meta), Snap AR (Snapchat) of ArCore (Google) konden gebruiken. In ons eerste experiment werd Blender gebruikt om een 3D-model met hoge resolutie te maken en webXR werd gebruikt om dit model te vertalen naar een mobiele Augmented Reality-applicatie. Superposition besloot ook te experimenteren met App Clips op iOS en Play Instant op Android. Met deze technieken kunt u – na het scannen van een QR-code – een mobiele applicatie in uw browser openen zonder de daadwerkelijke app te downloaden. Op 20 en 21 oktober testten we ons eerste AR-prototype voor Black & Gold in Amsterdam, tijdens ADE. Na het scannen van de QR-code op een poster werd het publiek naar een mobiele website geleid waarop het project werd uitgelegd. Dan ging de camera van je telefoon aan en zag je de gele planten/zwammen om je heen groeien. Achterin zat iemand rustig, een stille avatar. De algehele ervaring was poëtisch en intiem. Net als bij OATS hebben we veel geleerd. Met mobiele Augmented Reality technologie is het mogelijk om een intieme en waardevolle ervaring te creëren. Het is mogelijk om met open-source technologie een mobiele AR-ervaring te creëren. De ervaring was statisch en reageerde niet op de aanwezigheid van de kijker. In de toekomst moeten we kijken naar de mogelijkheden om interactieve elementen toe te voegen. Ons uiteindelijke doel is om toegankelijke AI-, AR- en Avatar-creatietools te ontwikkelen die elke muzikant zonder onze steun kan gebruiken. In de bovenstaande voorbeelden is dit niet het geval geweest. We hebben vooral de workflow van bestaande tools getest en nog geen eigen tools gemaakt. In de toekomst zullen we beginnen met het bouwen en testen van onze eigen software-interfaces en artiesten vanaf het begin hun eigen AI- en AR Avatar-ervaringen laten creëren. Zo hopen we ervoor te zorgen dat aanstormende muzikanten ook de kansen en middelen krijgen om met de nieuwste technologie te werken. Dit artikel verscheen ook op MUSIC x op donderdag 16 november 2023.

Virtuele influencers en artiesten spreken al jaren tot onze verbeelding. Geanimeerde karakters, soms zelfs gegenereerd door AI, die liedjes zingen, dansen en soms zelfs optreden op het podium. Een bekend voorbeeld is de Japanse Hatsune Miku of de Amerikaanse Lil Miquela, die zelfs Coachella heeft gehaald. Het team achter Open Culture Tech bestaat uit makers die al veel ervaring hebben met het bouwen van avatars en het zoeken naar verantwoorde toepassingen van deze opkomende technologie. Het bouwen van virtuele karakters vergt natuurlijk veel technologie, maar roept tegelijkertijd ook veel ethische vragen op. Thunderboom Records en Reblika werken in Open Culture Tech aan de ontwikkeling van de Avatar-tool. Tijdens de OATS-liveshow werd een eerste experiment uitgevoerd met het projecteren van een avatar die de bewegingen van de zanger in realtime kopieerde, en de komende maanden zullen meer shows soortgelijke technologie testen. Maar vóór Open Culture Tech bouwden Thunderboom Records en Reblika al een virtuele artiest genaamd Fi. Fi, de fluide artiest Fi is een virtuele artiest die tot leven komt op Instagram en Soundcloud. Het uiterlijk, het levensverhaal en de muziek zijn deels gegenereerd met AI en ontwikkeld door een divers team van ontwerpers. Fi is ontstaan vanuit het idee dat de overgrote meerderheid van de bestaande virtuele artiesten en influencers weinig toegevoegde waarde hebben – anders dan dienen als marketingtool voor grote merken. De meeste virtuele karakters promoten ook een problematisch schoonheidsideaal en zijn stereotyperend. Dit wordt verbeterd door de functionaliteiten van gratis tools voor het maken van 3D-avatars, zoals DAZ Studio of Magic AI-avatar-apps zoals Lensa. De standaard 3D-lichamen in DAZ Studio zijn vrouwenlichamen met dunne tailles en grote borsten en billen. Gratis gebruikers kunnen kiezen uit verschillende soorten verleidelijke gezichtsuitdrukkingen, poses en outfits en zelfs de geslachtsdelen aanpassen. Het standaard mannenlichaam daarentegen is gespierd, ziet er stoer uit en heeft geen penis. Deze seksistische stereotypen komen ook tot uiting in mobiele apps zoals Lensa, die avatars genereren op basis van portretfoto’s. Het was voor een journalist van de MIT Technology Review bijna onmogelijk om geen seksistische avatars te genereren. Als reactie op deze status quo hebben Thunderboom Records en Reblika geprobeerd een virtuele artiest te creëren die verder gaat dan deze stereotypen en innovatief gebruik maakt van de mogelijkheden van avatar-technologie. Het concept achter Fi is dat Fi iedereen kan zijn en zich niet hoeft te conformeren aan één type uiterlijk. Fi is virtueel en daarom vloeiend. Als virtueel personage zou Fi verschillende vormen kunnen aannemen, verschillende genres kunnen combineren en voorbij stereotypen kunnen gaan. Daarnaast was het belangrijk dat Fi geen virtuele kunstenaar werd die menselijke kunstenaars zou vervangen. Fi moet vooral samenwerken en menselijke kunstenaars vooruit helpen. Doe-het-zelf Het concept van Fi is vertaald naar een verhaal over een fictief personage dat als ster in het universum werd geboren en naar de aarde kwam om kunstenaar te worden. Deze ster wil geen vast uiterlijk aannemen. Fi kiest daarom elke 3 maanden voor een andere verschijning die kenmerken van inspirerende kunstenaars combineert. Het uitgangspunt was een AI-gedreven mix tussen Prince en Jin van BTS. Daarna werd Fi een mix tussen Madonna en Dua Lipa. Er worden verschillende technieken gebruikt om online content te creëren voor virtuele influencers, zoals Fi en Lil Miquela. De eerste stap is het maken van foto's van een menselijk body double (acteur) om als basismateriaal te gebruiken. De foto wordt vervolgens opnieuw gemaakt in 3D en samengevoegd met het origineel tot één uiteindelijke afbeelding in Photoshop. Om ervoor te zorgen dat Fi's verhaal niet werd toegeëigend door Thunderboom Records of Reblika, werd de body double de hoofdrolspeler van het verhaal. Op de dag van de fotoshoot kon hij of zij beslissen wat er met Fi gebeurde. Duurzaamheid Maar helaas was Fi niet duurzaam. Het regelmatig creëren, plaatsen en onderhouden van de online inhoud van Fi kostte zoveel werk dat de meeste tijd werd besteed aan het beheren van een sociale media-account, in plaats van aan het creëren van een interessant verhaal. Ook de meerwaarde voor menselijke muzikanten was beperkt omdat de productie te tijdrovend en daardoor te duur was. Het enorme potentieel van avatars is al bewezen door grote artiesten als Gorillaz of Travis Scott. Maar het blijft een uitdaging om avatars te creëren die een aanvulling vormen op opkomende artiesten. Om deze reden publiceert Fi geen online content meer en werkt Thunderboom Records samen met Reblika aan de Open Culture Tech avatar tool waarmee iedere Nederlandse artiest eenvoudig zelf avatar content kan creëren en de potentie ervan kan onderzoeken. De belangrijkste les die we van Fi hebben geleerd is dat de avatars zelf niet de kern vormen, maar dat het altijd gaat om de muzikant die met de avatars werkt. In het Fi-project werd te veel tijd en moeite geïnvesteerd in het virtuele karakter, waardoor er te weinig overbleef voor de menselijke muzikant. Momenteel organiseren we verschillende live optredens met opkomende artiesten om de mogelijkheden en meerwaarde van avatar-technologie te verkennen. Een voorbeeld is Smitty, een Amsterdamse rapper die in zijn muziek voortdurend met andere versies van zichzelf praat. We zullen onderzoeken hoe we geprojecteerde avatars van zijn jongere en oudere zelf kunnen gebruiken als projecties op het podium om dit verhaal te benadrukken. Wat als hij letterlijk met een andere versie van zichzelf zou kunnen praten?

Zoals het MUTEK team afgelopen augustus in de MUSIC x nieuwsbrief schreef, is het onmogelijk te zeggen of AI-muziek goed of slecht is. Niet alleen omdat er zoveel verschillende toepassingen zijn, maar ook omdat de definitie van ‘goede muziek’ nogal subjectief is. AI-muziek in de breedste zin van het woord is een belangrijk element in het Open Culture Tech-project. Wij zoeken naar manieren waarop het waarde kan toevoegen voor artiesten, zonder hen te schaden in hun creatieve proces. Voor veel artiesten in onze directe omgeving voelt AI als een monster onder hun bed, klaar om hun professionele carrière en creatieve vaardigheden aan te vallen. Daarom zijn de meesten vooral geïnteresseerd in AI-technologieën die hen kunnen helpen bij hun visuele prestaties, of de interactie met het publiek. Maar het daadwerkelijk laten interfereren van AI met hun muziek is iets waar ze erg voorzichtig mee zijn. Bij Open Culture Tech proberen we muziek-AI-tools te beschouwen als het monster van Frankenstein. Of het nu gaat om het klonen van stemmen of generatieve algoritmen die melodieën, akkoorden of beats creëren. Net zoals het monster van Frankenstein is opgebouwd uit losse elementen (ledematen), kunnen AI-tools ook gezien worden als losse elementen in het muzikale creatieproces. En net als dokter Frankenstein hebben muzikanten nog steeds creatieve ideeën en vaardigheden nodig om de afzonderlijke elementen met elkaar te verbinden en het hele lichaam tot leven te brengen. Maar als we kijken naar de huidige markt voor AI-muziektools, is er iets vreemds aan de hand. Veel tools die momenteel beschikbaar zijn, zoals AIVA of BandLab Songstarter, worden gepromoot als tools die ‘inspiratie’ bieden door helemaal opnieuw MIDI-beats of melodieën te genereren. In essentie is daar niets mis mee. Professionele artiesten, of artiesten met professionele ambities, zijn echter niet de juiste doelgroep voor deze specifieke tools. Tot nu toe hebben we nog geen enkele artiest gesproken met een gebrek aan inspiratie of muzikale ideeën. Om nog verder te gaan: veel kunstenaars lijken het meest te genieten van deze eerste stappen in hun creatieproces, omdat dat het punt is waarop ze echt creatief bezig zijn, zonder al te veel na te hoeven denken over het eindresultaat. Het idee dat AI ons moet helpen onze menselijke creativiteit een impuls te geven, voelt verkeerd. Als je geen muzikant bent en snel wat muziek nodig hebt voor je TikTok-video's, kunnen deze tools natuurlijk erg nuttig zijn. Maar voor professionele muzikanten is dit niet erg nuttig. Twee weken geleden introduceerden Google en YouTube het Lyria AI-model dat gepaard ging met verschillende Dream Track-applicaties. Met de meest prominente app kunnen gebruikers een onderwerp invoeren (een prompt schrijven), een artiest uit een carrousel kiezen en een soundtrack van 30 seconden genereren. De AI genereert originele songteksten en achtergrondtracks en een door AI gegenereerde stem zingt het nummer voor je. Maar nogmaals, deze applicatie is gericht op sociale media-inhoud, waarbij vooral YouTube Shorts worden gepromoot. Als je andere websites bezoekt waarop AI-muziektools worden getoond, zoals AI Tools Club, zul je zien dat de meeste applicaties gewoon niet zijn gemaakt om professionele muzikanten te helpen. Net als Mubert willen ze ook makers van sociale media, podcasts of apps ondersteunen. (Met de andere Dream Track-app kun je je zoem- of beatbox transformeren in een instrument zoals een saxofoon of zelfs een heel orkest. Dit lijkt erg op Vochlea, een applicatie die muzikanten helpt hun ideeën snel in MIDI te ‘schetsen’). Hoewel AI-tools die neuriën naar MIDI vertalen nuttig kunnen zijn, zijn wij bij Open Culture Tech van mening dat er een groeiende kloof bestaat tussen de AI-(applicatie)gemeenschap en de bredere professionele muzikanten community. Ja, er zijn zeer interessante muziek-AI-initiatieven zoals het Sound Of AI YouTube-kanaal (aanbevolen!) maar dit is geen plug-and-play-app zoals AIVA. Uiteindelijk zijn de ledematen van het monster van Frankenstein niet ontwikkeld voor professionele artiesten, maar voor TikTok-makers. Daarom werkt Open Culture Tech momenteel aan 3 verschillende eenvoudig te gebruiken AI-toepassingen die tot doel hebben professionele muzikanten te ondersteunen of te inspireren tijdens verschillende delen van hun creatieve proces. Samen met onze samenwerkende artiesten en AI-ontwikkelaars zullen we binnenkort onze eerste prototypes testen en onze bevindingen met u delen in de komende updates.

Als onderdeel van de Avatar Serie van Open Culture Tech duiken we in het unieke concept van Aespa. Aespa is een Zuid-Koreaanse meidengroep die erin is geslaagd een unieke niche voor zichzelf te veroveren door de grenzen tussen de realiteit en de digitale wereld te laten vervagen. In dit artikel kijken we naar hun innovatieve gebruik van technologie en storytelling, maar we kijken ook naar manieren om deze technologieën zelf toe te passen. Aespa debuteerde in november 2020, tijdens het hoogtepunt van de COVID-19-pandemie, met de single "Black Mamba". Het is een pakkend K-popnummer dat elementen van pop, hiphop en elektronische dansmuziek combineert. Een van de meest opvallende aspecten van Aespa’s debuut was de toevoeging van een verhaallijn waarbij gebruik werd gemaakt van digitale avatars. De idool-groep bestaat uit vier menselijke leden – Karina, Giselle, Winter en Ningning – die worden vergezeld door digitale tegenhangers die bekend staan als “æ”. Er zijn æ-Karina, æ-Giselle, æ-Winter en æ-Ningning, en ze leven allemaal in een parallelle virtuele wereld genaamd "æ-planet". Aespa werd aan de wereld geïntroduceerd als een groep hybride actiefiguren in een sciencefictionverhaal dat zich zowel in de fysieke als de virtuele wereld afspeelde. Aespa en hun digitale tegenhangers moesten vechten tegen Black Mamba, een typische slechterik die de virtuele en fysieke wereld wilde vernietigen. Het publiek kon het verhaal volgen in een driedelige serie op YouTube en maandenlang verscheen ondersteunende content op verschillende sociale mediakanalen. Terug naar 2023, en je ziet nauwelijks avatars meer op de online kanalen van Aespa. De verhaallijn over actiehelden is ingeruild voor een geënsceneerde verhaallijn over 4 goede vrienden die veel backstage-beelden delen. Toch is technologie bij Aespa nooit ver weg. Ook al tonen de sociale mediakanalen van Aespa geen avatars meer, ze zijn nog steeds prominent aanwezig bij de liveshows. Afgelopen zomer was Joost de Boo, lid van het Open Culture Tech team, in Japan om Aespa live te zien in de Tokyo Dome, samen met 60.000 enthousiaste Japanse fans. “Voor de show, terwijl iedereen zijn plaats zocht, werd de Black Mamba-avatarserie op een groot scherm uitgezonden”, herinnert Joost zich. “Het nam het publiek direct mee in de wereld van Aespa. Maar niet alleen dat. Het was ook een natuurlijke opbouw richting het begin van de show waar de 4 leden eerst als dansende avatars het podium betreden, waarna ze gevolgd worden door de menselijke versies.” Terugkijkende vond Joost de liveshow in de Tokyo Dome zowel indrukwekkend als twijfelachtig. “Er is een bepaald esthetisch ideaal van fysieke schoonheid dat wordt nagestreefd door Aespa – en bijna elke andere idoolband die ik ken – en ik vraag me af of dat iets is dat we moeten promoten”. Door de jaren heen hebben steeds meer (ex-)leden van K-popgroepen zich uitgesproken over de donkere kant van de K-popcultuur; waaronder seksisme, misbruik en stigma's op het gebied van de geestelijke gezondheidszorg. We komen dus in een ander artikel terug op het onderwerp stereotypen en avatars. “Maar zonder deze zorgen te negeren, is de technologie die in de Aespa-show wordt gebruikt iets waar we zeker van kunnen en moeten leren.” In alle eerlijkheid klinkt het projecteren van een video op het podium natuurlijk niet erg revolutionair. Toch komt het niet vaak voor dat je een projectie op het podium combineert met een verhaallijn op sociale media en YouTube. Bovendien was dit niet het enige optreden van de avatars op het podium. Na de eerste twintig minuten van de show werd een groot scherm het podium op gereden. Wat er daarna gebeurde, kun je zien in de onderstaande video's. De rest van de show volgde dezelfde structuur als de chronologische inhoud op YouTube en sociale media: de avatars verdwenen en een groep menselijke vrienden bleef over. Wat hebben we op het podium gezien en wat kunnen we ervan leren? Eerst de Black Mamba-verhaallijn. Het is belangrijk op te merken dat Aespa is opgericht en eigendom is van SM Entertainment, een Zuid-Koreaans multinationaal entertainment-bureau dat een van de leidende krachten was achter de wereldwijde popularisering van de Zuid-Koreaanse populaire cultuur in de jaren negentig. SM Entertainment is actief in de gehele entertainmentindustrie en bezit en exploiteert platenlabels, talentenbureaus, productiebedrijven, concert-productiebedrijven, muziekuitgeverijen, ontwerpbureaus en investeringsgroepen. Wat we dus hebben gezien is een crossmediale productie van miljoenen euro's waarin tientallen getalenteerde ontwerpers, kunstenaars en ontwikkelaars hebben samengewerkt. Om de liveshow van Aespa te creëren, werkte SM Entertainment samen met (onder meer) 37th Degree en Giantstep, twee internationaal bekroonde bureaus: van het creëren van anime-personages, het modelleren van 3D-avatars en het ontwerpen van merchandise tot het schrijven, regisseren en filmen van verhalen. Maar naast de indrukwekkende high-budget contentproductie is het meest innovatieve deel niet de verhaallijn of avatars zelf, maar de manier waarop deze personages na ongeveer 20 minuten op het podium verschenen. Volgens LG is dit de eerste keer ooit dat 12 gloednieuwe “Transparante OLED”-schermen gecombineerd worden tot 1 groot hologram-scherm op een podium. Een nieuwe technologie waarvan we mogen verwachten dat deze de komende jaren veel gebruikelijker zal worden. Wil je meer weten over deze schermen, bekijk dan deze link of lees ons vorige artikel over goedkope alternatieven. Bron: https://www.giantstep.com/work/sm-ent-aespa-synk/ Als artiest in Nederland heb je waarschijnlijk niet de budgetten van SM Entertainment. Toch is het niet onmogelijk om een verhaallijn te verzinnen of een alter ego te bedenken – als je dat wilt. Ook is het niet onmogelijk om dat verhaal te vertalen naar audiovisuele content zoals (bewegend) beeld. Misschien kan generatieve AI je daarbij helpen? Maar het spannendste is dit: binnenkort is het ook mogelijk om jouw verhaal in 3D te vertalen met onze eigen Open Culture Tech “Avatar tool”. Vorige week hebben we ons eerste prototype live op het podium getest en de resultaten zijn meer dan veelbelovend.