Beatoria: 10 381 AI cover piesní, ktoré prepracúvajú slávne skladby úplne novým textom

Beatoria je bezplatný katalóg AI cover piesní postavený na neobvyklom pravidle: každá skladba prespieva slávnu pieseň v novom hlase, ale ani riadok z pôvodného textu nie je reprodukováný. Desať tisíc skladieb, dvadsaťpäť vokálnych jazykov, štrnásť žánrov, takmer osemtisíc štýlových promptov — a štúdio, kde si môžete vygenerovať vlastné. Tu je, ako je celý projekt zostavený.

Podstata v jednej vete

Zoberte si pieseň, ktorú pozná každý. Zachovajte jej pocit — žánr, éru, energiu, tvar aranžmánu. Potom napíšte úplne nový text, vygenerujte nový vokál, otvorene uveďte pôvodnú skladbu a zverejnite výsledok pod vymysleným menom interpreta.

To je Beatoria. Nie je to karaoke stránka, nie je to nástroj na separáciu stôp, nie je to nástroj na klonovanie hlasu a nie je to archív textov. Je to katalóg originálnych piesní, ktoré sú v dialógu s tými slávnymi — a rozdiel medzi týmito dvoma vecami je celým produktom.

Takto skladba v katalógu figuruje ako „Sneh z iného roka“ — cover verzie White Christmas — Bing Crosby. Alebo „Blikot v prievane“, cover verzia Candle in the Wind 1997 — Elton John. Alebo „Kvietok o polnoci“, ktorý siahava k Червона рута — Володимир Івасюк. Uvedenie autora je na stránke; texty sú nové.

Katalóg v číslach

Žánre

Štrnásť kategórií a ich rozdelenie vernou mierou odráža, aká je populárna hudba v skutočnosti:

Jazyky

Dvadsaťpäť hlasových jazykov, a práve tu sa katalóg prestáva podobat na anglickú kuriozitu. Angličtina vedie s 4 122 stopami, ale španielčina má 1 105, hindi 592, kórejčina 488, japončina 431, portugalčina 422, čínština 382, francúzština 304, turečtina 237, arabčina 230, ruština 229, taliančina 228, nemčina 220, ukrajinčina 200, švédčina 171 — a potom dlhý, zámerne vyrovnaný chvost po 115 stopách v indonézčine, perzštine, poľštine, vietnamčine, hebrejčine, thajčine, gréčtine a tagalogu, plus 76 v holandčine.

Tento plochý chvost nie je náhodným výsledkom dát. Je to rozhodnutie pri výrobe: pre každý jazyk sa vygenerovalo fixné množstvo, aby počúvajúci z Manily, Teheránu alebo Bangkoku našiel skutočnú sekciu, nie len tri ukážky.

Krajiny

Tridsaťdva krajín má vlastnú prehliadateľnú sekciu — Veľká Británia, Španielsko, India, Južná Kórea, Japonsko, Portugalsko, Ukrajina, Čína, Francúzsko, Turecko, Egypt, Taliansko, Rusko, Nemecko, Švédsko, Vietnam, Izrael, Filipíny, Irán, Indonézia, Thajsko, Grécko, Poľsko, Holandsko, Uzbekistan, Bangladéš, USA a ďalšie. Krajina je samostatnou osou oproti jazyku, pretože stopa z Bollywoodu a stopa v hindi jazyku nie sú rovnaký vyhľadávací dotaz.

Interpreti a albumy

3 219 pôvodných interpretov je v katalógu spomenutých a 186 albumov zoskupuje stopy do kurátorovaných zbierok. Každý spomenutý interpret dostáva falošné meno — vymyslené meno interpreta, pod ktorým sú vydávané AI cover verzie. Cover verzie The Beatles sa objavujú ako Ash Titan; Elvis Presley ako Saint & the Beacons; Aretha Franklin ako The Northern Crowns; Marvin Gaye ako Iron Circuits. Je to malé dizajnové rozhodnutie, ktoré odvádza veľkú prácu: udržiava čestnosť ohľadom autorstva, zároveň však jasne signalizuje, že nepočúvate pôvodného interpreta.

Ako prehliadať desaťtisíc skladieb

Katalóg takejto veľkosti je dobrý len natoľko, nakoľko sú dobré cesty, ako sa k nemu dostať, a Beatoria poskytuje päť nezávislých osí, každá s vlastnou sadou stránok:

Tento zoznam promptov stojí za to si bližšie rozobrať. Sedem tisíc osemsto osemdesát dva jedinečných popisov štýlov, od všeobecných (trap, disco rock, rytmický pop, tanečný pop EDM) až po úžasne špecifické (téma anime super robot z roku 1975, španielsky pop rock z polovice 2000-tych rokov, motív tulipánov, robotický vokodér, sviatočno-vlastenecký, klátivý riff, medený hook, ženský harmónia). Každý z nich je stránkou a každá stránka je vstupným bodom.

Systém facetiek v pozadí

Za viditeľnou taxonómiou sa skrýva druhá, štruktúrovaná: 55 facetiek v siedmich ortogonálnych skupinách, priradených ku stopám a používaných na filtrovanie a na logiku webu "podobné ako toto".

Zaujímavou časťou je to, ako sa tieto parametre vážia pri triedení. Relevance ranking katalógu neberie všetky zhody podľa facet rovnako — úzke a výstižné facet (obdobie, nálada, aktivita) majú väčšiu váhu ako široké (tempo, energia), pretože každá skladba má niekde tempo, ale len niektoré sú nostalgická hudba na jazdu z 80. rokov. Obľúbenosť, meraná podľa skutočných počtov prehratí, slúži ako rozhodujúci faktor pri nerozhodných prípadoch.

Táto kombinácia — aktivita plus nálada plus obdobie — je v rozhraní ticho, ale najužitočnejšou vecou. "Niekčo epické na cvičenie, čo znie ako osemdesiatky" je tu reálnym dotazom, nie len marketingovým príkladom.

Tvorivé štúdio

Prehliadanie je dostupná pre každého bez potreby účtu. Generovanie si vyžaduje prihlásenie a celý proces je nastavený tak, aby sa vaše diela nedostali do verejného katalógu, kým si to sami nevšimnete.

Čo máte pod kontrolou

• Popis / prompt Voľný textový popis pesničky, ktorú chcete vytvoriť — žáner, nálada, inštrumentácia, éra, čokoľvek. Toto je hlavný riadiaci prvok.
• Text piesne Vaše vlastné slová alebo vygenerované. V oboch prípadoch ide o text, ktorý model spieva.
• Jazyk vokálu Ktorýkoľvek z dvadsiatich piatich jazykov podporovaných katalógom.
• Trvanie Nastavuje sa pre každý stopu; stopy v katalógu majú zvyčajne dĺžku 150 – 180 sekúnd.
• Variácie Až štyri verzie vygenerované z jedného požiadavky, aby ste si mohli vybrať namiesto opätovného generovania.
• Referenčné audio Voliteľné. Nahrajte stopu a systém ju použije ako referenciu pre coververziu.

Trik s referenčným audiom

Toto je najchytrá malá funkcia produktu. Nahrajte referenčnú stopu a pred generovaním sa súbor podrobí ľahkej analýze založenej na knižnici librosa — bez strojového učenia, len analýze signálu — ktorá prečíta hudobný tvar audia a automaticky vyplní pole s promptom o popis štýlu odvodený z analýzy.

Takže namiesto toho, aby ste sa zadívali do prázdneho textového poľa a snažili sa slovným opisom popísať zvuk, systému tento zvuk podáte a on za vás napíše prvý návrh popisu. Následne tento opis upravíte, čo je oveľa jednoduchší úlohou, než písať ho od začiatku.

Analýza je bezstavová — nahratie sa zapíše do dočasného súboru, analyzuje sa a následne sa vymaže. Nič sa neukladá.

Príprava a následné zverejnenie

Všetko, čo vygenerujete, sa dostane do súkromnej pripravovacej zóny viazanej na váš účet, v samostatných tabuľkách a v samostatnej výstupnej zložke od verejného katalógu. Odtiaľ máte k dispozícii presne tri možnosti, ktoré môžete vykonať výlučne vy:

1. Zverejniť vybranú verziu do verejného katalógu, kde sa stane bežnou položkou katalógu s priradenou taxonómiou;
2. Vymazať jednu konkrétnu verziu, ktorú nechcete, pričom ostatné verzie z dávky zostanú;
3. Vymazať celú úlohu a všetko, čo v nej je.

Existuje paralelná, správcom prístupná verzia rovnakého mechanizmu na opätovnú generáciu existujúcich skladieb v katalógu — vygenerujte až štyri nové verzie pre existujúcu skladbu a potom buď nahraďte pôvodnú skladbu na mieste, alebo zverejnite verziu ako úplne novú položku. Rovnaké oddelenie, rovnaké pravidlo explicitnej akcie: nič sa do verejného katalógu nedostane automaticky.

Čo presne generuje hudbu

Beatoria beží na modeli ACE-Step, otvorenom modeli na generovanie hudby, ovládanom cez rozhranie Gradio API na špeciálnom hardvéri s GPU namiesto prostredníctvom tretej strany API. Táto voľba má dôsledky, ktoré stojí za to rozobrať, pretože sú viditeľné v produkte.

• Žiadny poplatok za API na jednotlivú skladbu Motorom je stroj, ktorý si projekt prenajíma, nie služba, ktorá sa meria podľa využitia. Desaťtisíc skladieb existuje preto, lebo vygenerovanie desiatitisictej stálo okrem už zaplatených hodín nič.
• Priama kontrola parametrov Webová aplikácia komunikuje s engineom priamo pri volaní generovania, kde nastavuje titulok, text piesne, jazyk, dĺžku a počet variantov ako explicitné argumenty, a nie cez zjednodušený obal dodávateľa.
• Špecializovaná cesta pre cover verzie Cover verzie založené na referenčnom audiu vyžadujú session, ktorá pretrváva naprieč viacerými volaniami, preto prechádzajú Python mostíkom pomocou klienta Gradio namiesto bežného HTTP. Je to malý kúsok inžinierstva, ktorý existuje výlučne preto, že jednoduchý prístup stráca stav medzi nahratím a generovaním.
• Zámerná mäkkosť Režim cover verzií je ladený tak, aby regeneroval vokál pre nový text, a nie aby presne kópioval referenciu. Podobnosť pramení z titulku, štýlu, tempa a tvaru textu — nie z kopírovania výkonu.

Tento posledný bod nie je technickým obmedzením; je to etika produktu implementovaná v parametri. Systém ladený pre maximálnu podobnosť by produkoval niečo bližšie k imitácii. Beatoria je ladený tak, aby produkoval niečo bližšie k novému nahratiu, ktoré si pamätá to staré.

Vrstva počúvania

Stránka sleduje prehrávanie podrobnejšie než jednoduchý počítadlo prehier, a to pre každú skladbu, nie len pre zobrazenie stránky:

Počítadlá prahových hodnôt sú tými úprimnými. Pri generovanej hudbe je medzera medzi začatím a prežitím pätnástich sekúnd obrovská a práve ich samostatné sledovanie umožňuje, aby zoradenie obľúbenosti v katalógu malo zmysel. Stopa so tisícimi začiatkami a štyridsiatimi dokončeniami nie je hit; stopa so dvoma stotami začiatkov a sto šesťdesiatimi dokončeniami však áno.

Nad tým všetkým sedia playlisty, história stiahnutí pre jednotlivých používateľov, hlasy a vrstva účtu s lokálnym prihlasovaním cez e-mail/heslo aj cez Google OAuth. Počúvanie si to všetko nevyžaduje — autentizácia slúži na odomknutie tvorby, playlistov a histórie, nie na uzatváranie katalógu.

Vystavané ako skutočná aplikácia, nie ako obal

Technologický zásobník si zaslúži odsek, pretože vysvetľuje, prečo sa katalóg s desaťtisíc stopami načíta práve takýmto spôsobom.

Predná strana je jednostránková aplikácia (SPA) vo Vue s pred-renderovaním na strane servera, rozdelená do balíkov podľa trás — Domov, Knihovňa, Kategória, Stopa, Interpret, Interpreti, Album, Albámy, Krajina, Krajiny, Prompt, Prompty, Vytvoriť, Účet, Sprievodca, Info. Backend je PHP 8.3 API s čistým rozložením tried podľa domény (Catalog, Song, Artists, Albums, Countries, Prompts, Jobs, Creates, Renders, Analyze, Playlist, Listens, Downloads, Votes, Auth, GoogleOAuth) za jediným routerom.

Tri detaily ukazujú mieru starostlivosti:

• Metadáta SEO pre jednotlivé stránky sú v databáze, nie v balíku JavaScriptu. Prerenderovací build ich číta, takže každá trasa poskytuje správny, jedinečný názov a popis v HTML — ide o jednostránkovú aplikáciu, ktorá je skutočne indexovateľná, a nie len nominálne.
• Písma sú hostované vlastne, s písmami nad záhybom prednačítanými. Tým sa eliminuje blokovanie renderovania treťou stranou a oneskorený posun rozloženia pri výmene písm.
• Vyhľadávacie dotazy a výrazy zamerané na úmysel sú logované, takže to, čo ľudia hľadajú, sa spätnou väzbou premietava do organizácie katalógu.

Na koreňovej úrovni je tiež strojovo čitateľný súbor llms.txt, napísaný špeciálne pre AI enginey na odpovede. Uvádza, o čo na stránke ide, zoznamuje kľúčové stránky a — podstatne — uvádza pravidlo pre texty piesní v podobe, ktorú môže model citovať. Keďže celý právny základ katalógu stojí na tomto rozlíšení, zverejnenie tam, kde ho budú čítať enginey na odpovede, je presne správny krok.

Technológia API na pozadí webu

Predná strana Beatoria je klientom vlastného verejného JSON API, čo znamená, že každú funkciu webu je možné volať programovo. Router vystavuje jednu časť na doménu:

Jedna volacia funkcia katalógu vracia celkový počet, stranu, veľkosť strany, počet strán, úplný zoznam žánrov, živé počty facetov pre každý žánr a samotné položky — každú s jej stopami, variantmi, plagátovým umením, jazykom, dĺžkou, autorstvom obalu a počtom prehratí. Je to kompletný prehliadací povrch v jednom požiadavku, a preto sa SPA správa tak, ako sa správa.

curl 'https://beatoria.ai/api/catalog?limit=2'

{
  "total": 10381,
  "page": 1,
  "per": 24,
  "pages": 433,
  "categories": ["Pop","Rock","Hip-Hop","R&B/Soul","Electronic","Folk", … ],
  "facets": { "Pop": 2993, "Rock": 2570, "Electronic": 938, … },
  "items": [
    {
      "id": 10415,
      "title": "Wolves of the Longboat",
      "original": "",
      "caption": "Create aggressive and rhythmic hip-hop song",
      "category": "Hip-Hop",
      "artist": null, "album": null,
      "lang": "en", "duration": 180,
      "is_cover": false,
      "tracks": [{ "url": "/output/job10415_1.mp3", "variant": 1 }],
      "plays": 4
    }
  ]
}

Kde sa Beatoria umiestňuje v krajine AI hudby

Priestor AI hudby sa zoradil do štyroch hrubých kategórií a Beatoria je úmyselne v tej s najmenším počtom účastníkov.

Praktický rozdiel spočíva v tom, čo sa stane v prvých desiatich sekundách. Na generátore dostanete prázdne pole pre zadanie promptu. Na Beatoria dostanete knižnicu. Väčšina ľudí vo väčšine prípadov chce knižnicu a generátor je k dispozícii len pre menšinu návštev, keď ju nepotrebujú.

Druhý rozdiel je v licenčnej otázke. Skladba, ktorej texty boli napísané špeciálne pre ňu a ktorej audio bolo vygenerované modelom, ktorý projekt prevádzkuje sám, má oveľa jednoduchší profil práv ako hlasová konverzia komerčného nahrávania. Nie je to právne stanovisko a nie je to licencia — ale je to dôvod, prečo môže katalóg existovať v takomto rozsahu a byť bezplatne počúvateľný.

Otázka textov: Priama odpoveď

Každý projekt, ktorý umiestni slovo „cover“ vedľa názvov slávnych piesní, vyvolá zjavnú otázku, preto stojí za to odpovedať na ňu jasne, namiesto toho, aby sme ju ukryli.

Úprimné detaily

• Je to najmä katalóg Väčšina z desaťtisíc skladieb bola produkovaná dávkovo projektom samotným, nie používateľmi. Štúdio Create je skutočné a otvorené, no knižnica je tým hlavným produktom.
• AI vokály sú stále AI vokály ACE-Step je silný open-source model a nie je to sessionový spevák. Niektoré žánre — veľké balady, orchestrová hudba, blízke harmonie — vydržia oveľa lepšie ako iné.
• Prompty prezradia svoje švy Takmer osemtisíc štýlových promptov napísaných počas produkčného cyklu znamená, že niektoré sú úžasne presné a iné majú len tri slová. Napriek tomu ich možno prehliadať, čo je zrejme tá úprimnejšia voľba.
• Coververzie sú referencie, nie reprodukcie Ak prídete s očakávaním, že počujete skutočnú melódiu známej skladby s novými slovami navrch, toto to nie je. Vzťah k originálu je daný žánrom, érou, náladou a štruktúrou — plus otvoreným uvedením autora.

Pre koho to vlastne je

• Počúvajúcich, ktorí chcú hudbu do pozadia s jasnou štruktúrou Desaťtisíc skladieb filtrovaných podľa aktivity, nálady a éry, zadarmo, bez potreby účtu, bez reklám rušiacich prehrávanie.
• Tvorcov, ktorí potrebujú originálnu hudbu, ktorú môžu použiť Skladby s pôvodným textom a bez vzorkovaného záznamu v pozadí predstavujú úplne odlišnú licenčnú problematiku v porovnaní s komerčnou skladbou.
• Ľudia, ktorí sa učia písať podnety pre hudobné modely Sedem tisíc štýlových podnetov, každý priradený k skladbe, ktorú vygeneroval, je jedným z lepších verejných korpusov typu „tento podnet vygeneroval tento zvuk“, aké existujú.
• Neeurópski poslucháči Päťdesaťpäť hlasových jazykov s reálnou záťažou pre každý z nich a sekcie krajín oddelené od sekcií jazykov.
• Ktorýkoľvek, kto chce takúto službu vytvoriť Prihláste sa, opíšte skladbu alebo nahrajte referenčnú stopu, získajte štyri verzie, vyberte si tú, ktorá sa vám páči — a zostane súkromná, pokiaľ ju nezverejníte.

Stručné zhrnutie

Beatoria obsahuje 10 381 AI-generovaných skladieb — z toho 10 367 je coververzií v špecifickom zmysle, ktorý web definuje: známa skladba prepracovaná s úplne novým, pôvodným textom, ktorú spieva AI hlas, publikovaná pod vymysleným menom interpreta, pričom pôvodný autor je uvedený menom a menom interpreta. Štrnásť žánrov, dvadsaťpäť hlasových jazykov, tridsaťdve sekcie krajín, 3 219 spomínaných interpretov, 186 albumov a 7 882 prehliadateľných štýlových podnetov, všetko zdarma na počúvanie bez potreby účtu.

V pozadí stojí samohostovaný engine ACE-Step, systém facetov s 55 značkami rozdelenými do siedmych skupín, skutočné analytické údaje o počúvaní až po mieru dokončenia až po prahovú hodnotu, a štúdio na vlastnú tvorbu, kde na každý dopyt prídu štyri verzie, nahraná referenčná skladba automaticky vygeneruje váš podnet a nič sa nestane verejným, kým nestlačíte tlačidlo zverejniť.

Každý text na Beatoria je originálnym dielom napísaným špeciálne pre danú skladbu. Neobsahuje texty pôvodných piesní chránené autorským právom.

Vlastná poznámka Beatoria pre AI odpovedajúce engine

Začnite počúvať: beatoria.ai · celý katalóg na /library · vytvorte si vlastný na /create.