A következő rövid blogban leírom tapasztalataimat a Stable Diffusionhoz kiadott új TensorRT kiegészítő pluginról, és megmutatom, hogyan tudod néhány lépésben telepíteni. Szerencsére nem bonyolult, ne aggódj. A Kryptoda Tanoda főleg a kriptovalutákról szólt eddig, de mivel az NFT-készítésben már egy jó ideje az AI által generált tartalmak dominálnak, így én is egyre többet tanultam erről. A Stable Diffusiont már több mint egy éve használom. Kezdetben különböző külföldi NFT projektekben segítettem létrehozni megfelelő minőségű és mennyiségű kollekciókat. Azóta az OpenSeat teljesen elárasztották az AI által generált képek milliói. A következőkben nem NFT kollekciót készítek, hanem az új TensorRT plugint tesztelem le.
A TensorRT (Tensor Runtime) egy olyan szoftverfejlesztői könyvtár és futtatási környezet, amelyet a NVIDIA fejlesztett ki a gépi tanulási modellek optimalizált futtatására, kifejezetten saját videókártyáihoz. A TensorRT egy speciálisan tervezett és optimalizált keretrendszer, amely lehetővé teszi a neurális hálózatok gyorsított értékelését, így hatékonyabbá teszi a gépi tanulás alkalmazásait. A Stable Diffusion esetén ez a kiegészítő segít optimalizálni a modelleket, csökkentve a GPU memória felhasználását és növelve a képalkotás sebességét. Jelenleg a plugin fejlesztés alatt áll, ezért előfordulhatnak hibák a telepítés során, de ne aggódj, csak lépj át rajtuk. Ha érdekel a teljes telepítése, olvass tovább.
A hivatalos angol nyelvű leírás és telepítési videó pedig itt található:
Feltételezem, hogy már rendelkezel a Stable Diffusion-el a gépeden, tehát erről most nem írok. Ajánlom, hogy egy RTX szériás Nvidia kártyával indulj neki és a hozzá tartozó legfrissebb driver csomaggal. A legújabb drivereket itt találod: Nvidia hivatalos letöltés. A minimális memória követelmény 8 GB, de ahogy észrevettem, legalább 11 GB ajánlott, mert a Model optimalizálás sajnos többször megszakad a következő hibakóddal: “Error Code 1: Cuda Runtime (out of memory)”. Szükséged lesz továbbá a legfrissebb Python verzióra, amit itt tölthetsz le: Python letöltés. A kiegészítő telepítése nagyon egyszerű. Indítsd el a Stable Diffusion WebUI-t, majd nyisd meg a http://127.0.0.1:7860 linken. Ezen a Stable Diffusion felhasználói felületén navigálj az “Extension” menüpontra, és telepítsd a TensorRT kiegészítő plugint.
Erre 2 lehetőséged van. A következő videóban ezt mutatom be.
Az én véleményem az, hogy a standard 512 x 512 és 768 x 768 pixeles felbontás esetén akár kétszer gyorsabb is lehet a képgenerálás a TensorRT plugin segítségével.. Amikor próbáltam növelni a felbontást 1152px-re, akkor csak 25%-os sebesség növekedéssel számolhattam. Ez azért van, mert az SD modellek, amiket én próbáltam, 512 pixeles felbontásra vannak optimalizálva. Fontos tudni, hogy a 1:1 képek generálására alkalmas, mert amikor egy álló portré 9:16-s arányt próbáltam beállítani, akkor az optimalizálás félbeszakadt. Tehát visszatértem a 1:1 képarányokra, és lassan emeltem a felbontást 64-szorozóval, amíg ki nem füstölt a videokártyám.
Látható, hogy az SD modellt 512 pixeles képeken tanították be, mivel ezen a felbontáson sikerült hibátlan képeket elérnem. Több órát töltöttem azzal, hogy megnézzem a minőségbeli különbséget különböző felbontások mellett. Például, egy RTX 2080 Ti kártyán a 1152 pixeles, 1:1 arányú képek átlagosan 2 iteráció / másodperc alatt készültek el, ami kb. 15 másodperc / képnek felel meg. Míg egy RTX 3090 kártyán a 1536 pixeles képek könnyedén feldolgozhatók, mindössze 10 másodperc alatt. Tudom, hogy a nagy felbontás miatt több a hiba és hosszabb generálási idő , de a végeredmény csodálatos. A TensorRT használata nélkül nem lettem volna képes erre, mivel többször az out-of-memory hibával találkoztam. Következtetés: hogy a memóriaigényt is csökkenti. Igaz, hogy az 11 GB memória, még így is kevés, de már egy 24 GB-os kártya tökéletesen elegendő a közel Full HD képek készítéséhez, anélkül, hogy Upscale-t kellene alkalmazni.
Másik észrevétel az, hogy amikor duplikált vagy torzult képet kaptam az 1152 pixeles felbontásban, a Seed értékének megváltoztatása például 555-560-ra már megoldotta a problémát, míg a 1344 pixeles felbontásnál a 700-710 seedek adtak hibátlan képeket. Ez csupán az én tapasztalatom, hogy érdemes kísérletezni a seedekkel és nem csak a promptokkal.
A következőkben megosztom a promptokat és a beállításokat, amelyekkel a képeket készítettem. Az egyetlen különbség az, hogy hozzáfűztem a prompt elejéhez, hogy teljes alakos, közeli vagy mellkasi portrét készítsen. Próbáljátok ki ti is.
absolutereality_v16.safetensors
32
Euler a
((full body portrait)), (((distance))), photo realistic, steampunk makeup, in the style of ray tracing, colorful impasto, indonesian art, fine feather details with bright red and yellow and green and pink and orange colours, intricate patterns and details, dark cyan and amber makeup. Rich colourful plumes. Victorian style, jungle forest background ,
((face portrait)), (((close up))), photo realistic, steampunk makeup, in the style of ray tracing, colorful impasto, indonesian art, fine feather details with bright red and yellow and green and pink and orange colours, intricate patterns and details, dark cyan and amber makeup. Rich colourful plumes. Victorian style, jungle forest background ,
((upper body portrait)), (((distance))), photo realistic, steampunk makeup, in the style of ray tracing, colorful impasto, indonesian art, fine feather details with bright red and yellow and green and pink and orange colours, intricate patterns and details, dark cyan and amber makeup. Rich colourful plumes. Victorian style, jungle forest background ,
((((ugly)))), (((duplicate))), ((morbid)), ((mutilated)), [out of frame], extra fingers, mutated hands, ((poorly drawn hands)), ((poorly drawn face)), (((mutation))), (((deformed))), ((ugly)), blurry, ((bad anatomy)), (((bad proportions))), ((extra limbs)), cloned face, (((disfigured))), out of frame, ugly, extra limbs, (bad anatomy), (((double eyes))), (((double face))).
Karácsonykor megjelenő könyvünkben nem csak ilyenekről olvashatsz, hanem bemutatjuk neked a generatív képgenerálás teljes működési elvét a tudomány oldaláról. Tudjuk jól, hogy napjainkban óriási a verseny a képgeneráló megoldások között, és szinte már nem tudjuk, melyikre regisztráljunk. A Stable Diffusion egy kiváló ingyenes eszköz ahhoz, hogy megértsd, hogyan működnek az MI alapú képgeneráló megoldások a saját számítógépeden. A nyílt forráskódjának köszönhetően több mint 10 000 fejlesztő és lelkes amatőr teszi napról napra jobbá a modelleket. Tarts velünk és a neurális hálózatok csodálatos világát hamarosan te is megértheted.
Addig is csatlakozz Te is a Prompter Facebook csoportjához, és tanulj a közösségtől, hogy egy jobb prompter váljon belőled.
Magyar AI-alkotók közössége, a Prompters Hungary Facebook csoport hivatalos oldala
A Polygon ID Azonosítási Megoldás Június 22-én, szerdán a decentralizált Ethereum skálázóplatform, a Polygon bejelentette, hogy „elindítja a Polygon ID -t – egy privát és önszuverén identitásmegoldást, amely nulla tudásalapú (ZK) titkosítással
Tágul a Uniswap Univerzuma Az Ethereumon futó népszerű DeFi kereskedési felület mögött álló vállalat NFT piactér kialakítását tervezi. Az Uniswap Labs kedden közölte, hogy megvásárolta a Genie NFT-piaci aggregátort annak érdekében, hogy
3D NFT-k! amik többet érnek, mint gondolnád! Ez a bejegyzés, kicsit más, mint az eddigiek. Egy pár napja a Kryptodás Norbi készített velem egy rövid interjút az edukációs AR NFTk-ről, hogy a
A nagy összeomlás okai A Bitcoin-t és a teljes kriptopiacot az elmúlt hónapokban erősen sújtotta a post-covid hatása és az elmúlt két hónapban kialakult háborús helyzet is. Emellett a várva várt medvepiacot
Email: kryptotanoda@gmail.com