Qu'est-ce que DALL-E: transformation de texte en images ? (2023)

Choix de la Rédaction
There are no Articles available yet.
<   Revenir au Blog
Qu'est-ce que DALL-E

L'idée de faire exister quelque chose par la parole est mal vue et suscite beaucoup de scepticisme dans certains milieux.

Nous qualifions souvent les choses de "vœux pieux" ou de "rêves chimériques".

Mais il y a quelque chose à dire sur le pouvoir de la manifestation - surtout en ce qui concerne la technologie.

Au début de l'année 2021, OpenAI a publié un nouveau modèle d'intelligence artificielle appelé Dall-E.

Dall-E est une version d'entraînement à 12 milliards de paramètres du modèle de transformateur GPT-3.

Entraînant l'essor de divers générateurs d'art IA, DALL-E a été considéré par certains comme le "Picasso de l'IA".

Dans cet article, je vais explorer ce qu'est DALL-E, comment il fonctionne et ce que l'avenir de cette technologie nous réserve.

Entrons dans le vif du sujet.

Qu'est-ce que DALL-E ?

Entraîné par un réseau neuronal et capable de prendre des légendes de texte en entrée, DALL-E génère les images correspondantes.

En d'autres termes, cet outil artistique de l'IA transforme le texte en images.

DALL-E - images

Il s'agit d'une réalisation importante car, jusqu'à présent, les modèles d'intelligence artificielle avaient du mal à comprendre et à générer des images à partir de descriptions textuelles.

Des versions anthropomorphisées d'animaux et d'objets aux images surréalistes en passant par des créations totalement inédites, DALL-E peut générer une grande variété d'images.

Un modèle de langage de transformation comme GPT-3, DALL-E est entraîné sur un grand ensemble de données de textes et d'images.

Cette formation permet à ses algorithmes et à ses modèles d'apprendre les relations entre les mots et les concepts et la manière de transposer ces concepts dans des représentations visuelles.

On peut utiliser des noms d'artistes spécifiques comme Salvador Dali et Pablo Picasso comme entrées d'images.

Il est également possible de créer des œuvres d'art qui ressemblent à quelque chose qui sort tout droit du film Wall-E de Pixar.

Quelle que soit la méthode d'entrée utilisée pour générer de nouvelles images, cet outil d'IA est véritablement remarquable.

DALL-E AI peut également régénérer toute région rectangulaire, ou "crop", d'une image qu'il a déjà générée.

Ces variations d'images sont créées en exécutant les incorporations d'images CLIP générées et en utilisant un décodeur de diffusion pour modifier l'image.

Si vous n'êtes pas satisfait d'un aspect particulier d'une image existante, vous pouvez demander à DALL-E d'en générer une nouvelle.

En ce qui concerne les pixels, DALL-E peut générer une résolution de 1024×1024, ce qui est supérieur à de nombreux autres outils disponibles sur le marché.

1. Histoire d'OpenAI

Avant de créer des concepts innovants de machine learning "texte-image" grâce à DALL-E, l'entreprise a commencé par être un générateur de texte, plus précisément un processeur de langage.

OpenAI - dall-e

En 2019, OpenAI avait initialement créé un modèle appelé GPT-2 qui pouvait prédire le mot suivant dans un texte. Il comptait 1,5 milliard de paramètres et avait été entraîné sur 8 millions de pages web pour produire son ensemble de données.

L'objectif était de prédire le mot suivant, comme le ferait un générateur de texte à texte. "Pour les tâches linguistiques telles que la réponse aux questions, la compréhension de la lecture, le résumé et la traduction, GPT-3 commence à apprendre ces tâches à partir du texte brut, sans utiliser de données d'entraînement spécifiques à la tâche", a déclaré OpenAI.

Son successeur, le modèle GPT-3, deviendrait le modèle préliminaire de DALL-E, modifié pour générer des images au lieu de texte supplémentaire.

2. Technologie passée

Les réseaux adversariens génératifs (GAN) étaient autrefois la meilleure méthode pour créer des images à partir de descriptions textuelles.

Cependant, les GANs ont plusieurs limites.

Premièrement, ils nécessitent beaucoup de données pour fonctionner correctement.

Ils ont également tendance à produire des images de faible qualité et manquant de détails.

Alors que le GAN existait depuis un certain temps, beaucoup pensent que la sortie de DALL-E a marqué la fin du règne du GAN.

DALL-E est également beaucoup plus efficace que les GAN, car il peut générer des images réalistes de bien meilleure qualité et en une fraction du temps.

3. DALL-e mini

En plus du modèle complet de DALL-E AI, OpenAI a également publié une version miniature appelée DALL-E mini.

Malgré ses capacités réduites, DALL-E mini peut toujours générer des images de haute qualité.

DALL-E mini de Craiyon.com est plus accessible à ceux qui n'ont pas accès à de grandes quantités de ressources informatiques.

craiyon - dall-e mini

DALL-E mini est également une version open-source de son prédécesseur et est disponible pour tous.

Comment DALL-E fonctionne-t-il ?

DALL-E peut générer de manière imaginative des images sur la base des mots fournis par les créateurs et les artistes, même dans le cas des descriptions les plus uniques et inhabituelles.

DALL-E - Exemple d'image
Texte entré : Un vitrail de toucans dans l'espace.

Comment produit-il l'art ? Elle utilise l'algorithme contenu dans les mots et les place dans une série de vecteurs ou d'incorporations texte-image.

Ensuite, l'IA crée une image originale à partir de la représentation générique qui lui a été présentée dans ses ensembles de données, sur la base du texte ajouté par l'utilisateur qui crée l'œuvre. DALL-E peut "prendre n'importe quel texte et en faire une image", a déclaré Ilya Sutskever, cofondateur et scientifique en chef d'OpenAI.

Les ensembles de données avancés, combinés à l'apprentissage profond, un type d'apprentissage automatique, permettent à DALL-E de créer un nouvel art. Il prend les incorporations d'images et génère une image réelle. L'IA peut également ajouter de manière appropriée de légers détails, comme des ombres et des reflets, pour donner aux images un aspect encore plus réaliste.

Fonctionnalités - DALL-E

DALL-E peut modifier plusieurs des attributs d'un objet.

Fonctionnalités - DALL-E

Cela conduit à des résultats uniques et passionnants, tous basés sur la description textuelle donnée à DALL-E.

Cela signifie également que cette plateforme peut contrôler le nombre de fois qu'un objet apparaît dans une image ainsi que la taille, la forme et la couleur dudit objet.

DALL-E est également capable de créer des images composées de scènes entières à partir de zéro, et pas seulement d'objets individuels.

Cela ouvre encore plus de possibilités pour le type d'image générée.

DALL-E est capable de dessiner plusieurs objets, ainsi que de former des relations entre eux.

La capacité de générer des scènes complexes constitue une avancée considérable pour l'intelligence artificielle.

Sur son site web, DALL-E donne l'exemple d'"un hérisson portant un chapeau rouge, des gants jaunes, une chemise bleue et un pantalon vert".

Le chapeau ayant un attribut de couleur spécifique, il ne suffit pas que l'outil reconnaisse et crée ledit chapeau, mais il doit aussi être capable de le placer correctement sur la tête du hérisson.

Il en va de même pour les gants, la chemise et le pantalon mentionnés dans la description.

Il s'agit d'une réalisation importante qui ouvre la voie à la génération d'images encore plus complexes à l'avenir.

Grâce à ce concept connu sous le nom de liaison variable, DALL-E peut générer des images contenant plusieurs objets et scènes.

1. Trois dimensions (3D)

DALL-E ne se limite pas aux images bidimensionnelles (en 2D).

La plateforme est également capable de générer des modèles tridimensionnels d'objets.

DALL-E est également capable de générer des modèles tridimensionnels d'objets sous différents angles.

Au cours des différentes phases de test, les développeurs souhaitaient dessiner la tête d'un modèle sous plusieurs angles, et ils ont constaté que DALL-E pouvait créer un modèle 3D lisse qu'ils pouvaient visualiser sous tous les angles.

DALL-E - Images 3D
Crédit photo : https://openai.com/

2. Sémantiques des mots "non prononcés"

Les mots qu'une personne utilise pour décrire un objet contiennent rarement toutes les informations nécessaires pour générer une image précise.

DALL-E peut prendre en compte les mots qui ne sont pas écrits mais qui restent implicites.

Cela permet une compréhension complète de l'objet décrit.

Par exemple, si quelqu'un décrit un arbre, il peut ne pas mentionner les feuilles, l'ombre ou l'environnement.

Cependant, DALL-E peut prendre en compte ces mots non exprimés et générer une image contenant tous ces éléments.

Alors que les moteurs de rendu 3D seraient capables de s'en approcher après plusieurs tentatives, le fait qu'il ne soit pas nécessaire de spécifier explicitement chaque détail est une démonstration puissante de ce dont l'intelligence artificielle peut être capable.

DALL-E - sémantiques mots
Crédit photo : https://openai.com/

3. Monde réel VS Imaginaire

La combinaison de mondes composés d'images authentiques et de ceux basés sur l'intelligence artificielle de DALL-E peut donner des résultats intéressants.

La possibilité de synthétiser des objets et des scènes qui semblent identiques au monde réel ouvre un tout nouvel éventail de possibilités pour ce qui peut être créé.

DALL-E donne quelques exemples de cette situation :

  • prendre des qualités associées à des objets aléatoires et les transférer à des animaux
  • l'établissement de liens qui n'ont jamais été établis auparavant grâce à une inspiration sans rapport avec le sujet traité

Par exemple, l'invite textuelle "un escargot avec la texture d'une harpe", donne lieu à une image qui mélange le monde réel et l'imagination de DALL-E.

DALL-E -Réel vs imaginaire
Crédit photo : https://openai.com

Le résultat n'est pas quelque chose qui existe dans le monde réel, mais il peut donner des résultats intéressants.

4. Repères géographiques et spatiaux

DALL-E semble avoir une bonne connaissance des détails géographiques, des points de repère et des communautés.

Considérez un texte comme :

  • une photo de la nourriture en chine
DALL-E - images avec repères spaiaux
Crédit photo : https://openai.com/

Ces invites permettent à DALL-E de générer des images assez précises, représentatives de la réalité.

Différence entre DALL-E et DALL-E 2

Bien que DALL-E, annoncé en janvier 2021, et DALL-E 2, révélé en avril de cette année, soient tous deux des modèles créés par OpenAI, la différence réside dans le nombre de paramètres, ce qui permet à DALL-E 2 de créer des images encore meilleures que celles de DALL-E.

Cela se fait en générant des images de plus haute résolution. DALL-E utilise 12 milliards de paramètres, tandis que DALL-E 2 travaille sur 3,5 milliards de paramètres, avec 1,5 milliard de paramètres supplémentaires pour améliorer la résolution.

Différence entre DALL-E et DALL-E 2
Entrée : une peinture d'un renard assis dans un champ au lever du soleil dans le style de Claude Monet. DALL-E (gauche) et DALL-E 2 (droite)/OpenAI

DALLE-2 crée des images de plus haute résolution, bien que plus petites que son prédécesseur.

DALLE-2 a également "appris la relation entre les images et le texte utilisé pour les décrire dans un processus également connu sous le nom de diffusion".

Dans cette méthode, il y a généralement un motif de points qui se modifie progressivement vers une image lorsqu'il reconnaît des aspects de cette image. DALL-E 2 peut étendre les images au-delà de ce qui se trouve dans la photo originale, ce que l'on appelle l'outpainting, créant ainsi de nouvelles compositions à partir d'anciennes images. Sa résolution est quatre fois supérieure à celle de DALL-E.

Globalement, DALL-E 2 est plus polyvalent et produit des images plus réalistes et plus précises que son précurseur.

DALL-E 2 : Outpainting

En août 2022, OpenAI a introduit dans DALL-E 2 une nouvelle fonction unique appelée outpainting, qui permet aux utilisateurs de continuer à créer une image au-delà des limites originales, en donnant une nouvelle direction aux éléments visuels, simplement par le biais d'une description en langage naturel.

DALL-E 2  Outpainting fonctionnalités
DALL-E : Outpainting

Cette nouvelle fonction constitue un bel équilibre avec la précédente fonction d'édition d'OpenAI dans DALL-E, appelée inpainting, qui permet aux utilisateurs de modifier une image générée.

La nouvelle fonctionnalité permet aux créateurs de créer des images à grande échelle en ajoutant l'extension.

Grâce à ce nouveau procédé, les développeurs d'AI comprennent mieux les différentes forces et capacités de DALL-E.

DALL-E - outpainting
Fille à la perle tableau de Johannes Vermeer prolongé par une peinture extérieure.

Qu'est-ce que DALL-E 2 ?

Le 28 septembre 2022, DALL-E 2 a été officiellement ouvert au public.

DALL-E 2 - Accueil
Page d'accueil DALL-E 2

Alors qu'auparavant, il n'était disponible que sur invitation, avec une liste d'attente des personnes intéressées, il a ensuite été ouvert à tous ceux qui voulaient en savoir plus.

La nouvelle version s'accompagne de plusieurs nouvelles fonctionnalités et améliorations, dont la plus notable concerne les ensembles de données d'entraînement utilisés pour former l'intelligence artificielle.

En termes de tarification, en juillet 2022, OpenAI a commencé à facturer des crédits pour la génération d'art sur la plateforme DALLE-2 après deux mois d'utilisation gratuite.

Pour commencer, tous les utilisateurs reçoivent un bonus de crédit gratuit.

Après cela, ils reçoivent 15 crédits chaque mois.

Pour ceux qui en veulent plus, ils peuvent acheter 15 dollars pour 115 crédits, ce qui devrait techniquement permettre de générer jusqu'à 450+ images de DALL-E.

Tarifs - DALL-E 2

DALL-E 2 est-il gratuit ? Jusqu'en juillet, il l'était (pour ceux qui y avaient accès), mais OpenAI utilise désormais un modèle basé sur les crédits.

Les nouveaux utilisateurs de DALL-E 2 reçoivent 50 crédits gratuits qu'ils peuvent utiliser pour générer, modifier ou créer une variation d'une image (les nouvelles générations d'images donnent quatre images de 1024 X 1024 pixels pour le coût d'un crédit). 

Après cela, les utilisateurs reçoivent 15 crédits DALL-E 2 gratuits chaque mois. Pour en obtenir davantage, il faut les acheter au prix de 15 dollars pour 115 crédits (suffisants pour générer 460 images de 1024 X 1024 pixels).

OpenAI a invité les artistes qui ont besoin d'une aide financière à poser leur candidature pour un accès subventionné.

Comment s'inscrire à DALL-E 2 ?

Vous pouvez compléter l'inscription à DALL-E 2 en créant un compte sur le site d'Open AI.

  • Il vous sera demandé de saisir votre adresse email et un code de sécurité et de créer un mot de passe à huit chiffres.
  • Vous recevrez ensuite un e-mail contenant un lien sur lequel vous devrez cliquer pour vérifier votre identité.
  • Vous recevrez également un code par SMS que vous devrez saisir pour confirmer votre identité.

  • Vous pouvez également créer un compte en utilisant des sites comme Google ou Microsoft.

Cliquez sur "Continuer" pour accepter les conditions générales, et vous êtes prêt à utiliser DALL-E 2.

Comment s'inscrire à DALL-E 2
Écran de bienvenue de DALL-E 2(Image credit : Open AI)

Quel est le futur de DALL-E 2 ?

Si la technologie n'en est encore qu'à ses débuts, les applications potentielles de DALL-E 2 sont vastes.

À l'avenir, nous pourrions voir DALL-E utilisé pour générer des illustrations, des conceptions de produits et même des œuvres d'art.

Ce générateur d'images IA pourrait également créer des images photoréalistes pour les films et les jeux vidéo.

Les possibilités sont infinies.

Ce qui est certain, c'est que DALL-E représente une avancée significative en matière d'intelligence artificielle.

Alors que cette technologie continue à se développer, nous ne pouvons qu'imaginer comment elle va changer notre monde.

DALL-E aidera également les chercheurs à étudier les répercussions de l'évolution technologique sur la société, comme les inégalités économiques ou les biais dans l'apprentissage automatique.

En outre, les défis éthiques qui accompagnent les nouvelles technologies seront examinés plus en détail, afin que les applications alimentées par DALL-E tiennent compte de la sécurité et de la responsabilité de leurs utilisateurs.

Comment utiliser DALL-E 2 pour créer une oeuvre d’art avec l'IA ?

DALL-E 2 ouvre l'accès à tous - voici comment vous inscrire et comment faire fonctionner le générateur d'art de l'IA pour vous.

DALL-E 2 variations

Vous vous demandez comment utiliser DALL-E 2 ? Les concepteurs du générateur d'art IA viennent d'ouvrir l'accès à DALL-E 2 pour permettre à quiconque de l'utiliser pour générer des images. La plateforme reste en version bêta, mais enfin, il n'y a plus de liste d'attente. L'inscription à DALL-E 2 est désormais ouverte à tous.

DALL-E 2 a fait des vagues depuis sa révélation en avril dernier, car il semble qu'il s'agisse du générateur d'art d'IA le plus avancé à ce jour.

Et si certains s'inquiètent, à juste titre, de l'avenir de la créativité humaine avec l'IA, certains artistes et concepteurs ont appris à mettre cet outil à leur service.

Comment utiliser DALL-E 2 ? L'outil génère un dessin à partir d'un texte. À première vue, rien de plus simple.

Une fois que vous avez rempli le formulaire d'inscription de DALL-E 2 pour ouvrir un compte, vous utilisez le programme dans votre navigateur sur le site web de DALL-E 2.

Vous tapez une description de ce que vous voulez, et DALL-E va créer l'image. Dans la réalité, cependant, il semble que les résultats puissent être un peu aléatoires et il peut être utile d'apprendre à affiner vos invites pour augmenter la probabilité d'obtenir le résultat souhaité. C'est là qu'intervient le nouveau livre d'instructions de DALL-E 2.

Si vous préférez créer votre propre œuvre originale de manière traditionnelle, consultez notre guide des meilleurs logiciels de conception graphique, et vous pouvez même obtenir l'un des meilleurs à moindre coût puisque Rebelle 5 est désormais gratuit pour les classes et à -40% pour les particuliers.

Résumé.

En ce qui concerne la génération de texte en image à l'aide du langage naturel, DALL-E d'Openai est l'un des premiers modèles d'IA qui a montré à quel point une machine peut comprendre les complexités de notre monde.

Qu'il s'agisse de créer des images originales ou d'adopter des images existantes, de créer une illustration professionnelle de haute qualité de tout ce dont vous pouvez rêver ou de travailler avec l'art numérique pour créer de nouvelles expériences, ce système d'IA génère des images comme un véritable artiste.

Sa capacité à considérer des idées tacites et implicites dans le cadre d'un contexte donné et à créer des images uniques et cohérentes qui n'ont jamais été vues auparavant est tout à fait stupéfiante.

Cela signifie que les images générées peuvent être utilisées pour tout, des médias sociaux à la conception de produits, en passant par la création de nouveaux univers pour les jeux vidéo et les films.

Les grandes marques et entreprises utilisent désormais des modèles de génération d'images pour créer des images réalistes de leurs produits à des fins de marketing et de publicité, ce qui ne fera qu'augmenter à l'avenir.

Lecture complémentaire : La technologie de l'IA est désormais présente dans de nombreux aspects d'une entreprise.

Qu'il s'agisse de l'utilisation d'un système d'IA écrire du contenu, créer des livres et élaborer des supports marketing, ou de l'utilisation d'outils marketing d'IA pour analyser les données et segmenter les audiences, les avantages de l'IA pour les entreprises sont nombreux.

Les générateurs vidéo d'IA sont également utilisés pour créer du matériel vidéo réaliste et de haute qualité, et cette tendance est appelée à se poursuivre.

FAQ - DALL-E

DALL-E 2 est-il disponible pour le public ?

Pendant les cinq premiers mois suivant la sortie de l'outil en avril, l'accès à DALL-E 2 était limité, et la liste d'attente était longue. Mais en septembre 2022, l'accès a été ouvert afin que tout le monde puisse compléter l'inscription à DALL-E 2

Selon OpenAI, "la mise à l'échelle responsable d'un système aussi puissant et complexe que DALL-E - tout en découvrant toutes les façons créatives dont il peut être utilisé et détourné - a nécessité une approche itérative du déploiement". L'entreprise affirme qu'elle a désormais suffisamment renforcé ses garanties pour ouvrir l'accès à tous.

Le problème ? L'utilisation de DALL-E 2 n'est plus gratuite. Au lieu de cela, les utilisateurs recevront un nombre limité de crédits mensuels, avec la possibilité de payer pour les recharger (voir ci-dessous).

Comment commencer à utiliser DALL-E 2 ?

Il existe plusieurs façons d'utiliser DALL-E 2. La première chose que vous verrez une fois que vous aurez créé un compte est une grande case dans laquelle vous pourrez taper. Il s'agit du champ d'invite. Vous pouvez saisir une description de l'image que vous souhaitez créer, en 400 caractères maximum. 

Essayez d'être aussi détaillé que possible - comme nous l'avons vu plus haut dans le livre de questions de DALL-E 2, il est possible de créer des questions descriptives pour obtenir les résultats souhaités, mais cela demande un peu de pratique. Cliquez sur "générer" et DALL-E 2 créera quatre options d'images basées sur votre demande. Si vous obtenez un message d'erreur, réessayez quelques instants plus tard.

DALL-E 2 : Utilisez une invite descriptive pour générer l'image que vous voulez
DALL-E 2 : Utilisez un prompt descriptif pour générer l'image que vous voulez

Jusqu'à ce que vous vous habituiez à la quantité de détails que vous devez inclure dans la description, vous constaterez souvent que vous devez modifier l'invite et réessayer après les premiers résultats. Dans la première série d'images de la marmotte skieuse ci-dessus, la marmotte a l'air terrifiée. Je voudrais peut-être qu'il ait l'air de s'amuser, et je devrais donc modifier l'invite. Je pourrais ajouter "souriant". Maintenant, il a l'air plus heureux... en quelque sorte... dans certaines des options. Faites attention, car chaque nouvelle génération vous coûtera un crédit.

précision DALL-E 2
DALL-E : Plus le prompt est précis, plus vous devriez vous rapprocher de l'image souhaitée

Lorsque vous avez trouvé une image qui vous convient, cliquez sur l'une des quatre images. Sur l'écran suivant, vous pouvez télécharger l'image (cliquez sur la flèche en haut à droite de l'image).

Vous pouvez également modifier l'image (cliquez sur "Modifier" ; cela vous donne des outils tels qu'une gomme et des options pour télécharger une image à ajouter à la création AI ou pour ajouter d'autres carrés afin d'agrandir votre image). Vous pouvez également créer des "variations" de l'image - DALL-E 2 créera 4 versions alternatives de l'image que vous avez créée.

L'autre façon d'utiliser DALL-E 2 est de télécharger une image depuis votre téléphone ou votre ordinateur. Vous trouverez un lien à cliquer pour télécharger une image juste en dessous du champ de saisie. L'image sera recadrée au format carré.

Une fois que vous avez téléchargé l'image que vous voulez utiliser, vous pouvez demander à DALL-E 2 de créer ses propres variations de l'image ou vous pouvez modifier l'image. Dans l'exemple ci-dessous, j'ai téléchargé l'image d'une fille qui passe à vélo devant une personne portant un parapluie.

Sans aucune autre donnée, DALL-E 2 a généré des variations intéressantes, notamment en combinant les deux sujets pour montrer une personne faisant du vélo avec un parapluie.

utiliser DALL-E 2 pour générer des variations d'une image
Vous pouvez également utiliser DALL-E 2 pour générer des variations d'une image

L'une des nouvelles fonctionnalités est l'outpainting de DALL-E 2, qui vous permet d'étendre une image au-delà de ses limites d'origine. Cette fonction peut être utilisée avec une image créée dans DALL-E 2 ou une image que vous avez téléchargée. Des personnes l'ont utilisée pour agrandir des œuvres d'art célèbres, comme la Joconde, en ajoutant un arrière-plan à l'image. 

Pour ce faire, dans l'éditeur, générez ou téléchargez une image comme ci-dessus, puis faites glisser le coin de l'image pour réduire sa taille dans le cadre de génération. Rédigez une invite (cette fois, elle peut être plus générale, car DALL-E 2 essaiera de s'adapter au style de l'image existante - dans l'exemple ci-dessous, j'ai écrit "paysage montagneux"). DALL-E 2 remplira alors le reste du cadre avec quelque chose qui correspondra - espérons-le - à votre image.

DALL-E 2 tentera d'adapter le style à l'image originale
DALL-E 2 tentera d'adapter le style à l'image originale

Puis-je utiliser DALL-E 2 à des fins commerciales ?

Jusqu'à présent, OpenAI avait interdit l'utilisation commerciale des images générées par DALL-E 2, mais dans la version bêta, elle accorde désormais des "droits d'utilisation complets" pour les images créées avec la plateforme. Cela inclut le droit de vendre et de réimprimer les images et de les utiliser sur des produits dérivés. Nous avons déjà vu le premier cas de quelqu'un qui protège les droits d'auteur d'un travail d'IA.

Toutefois, les implications en matière de droits d'auteur de la formation d'un modèle d'IA sur des images existantes suscitent des inquiétudes. Getty Images a interdit l'utilisation du contenu de l'IA dans sa bibliothèque d'images de stock en raison de préoccupations relatives aux droits d'auteur, et certains politiciens demandent une législation spécifique pour clarifier la question.

Y a-t-il des restrictions sur DALL-E 2 ?

OpenAI affirme être en mesure de commencer à élargir l'accès grâce à des changements dans ses politiques et à des avancées dans l'atténuation des "préjugés et de la toxicité" dans les images générées par la plateforme.

L'entreprise indique que cette semaine, elle a apporté un changement qui poussera DALL-E 2 à générer des images de personnes qui "reflètent plus fidèlement la diversité de la population mondiale" si la race ou le sexe n'est pas spécifié dans l'invite textuelle.

L'entreprise indique qu'elle a également pris des mesures pour s'assurer que la plateforme rejette les téléchargements d'images contenant des visages humains d'apparence réaliste ou la ressemblance avec des personnalités publiques, telles que des politiciens ou des célébrités.

OpenAI indique qu'elle ne permet pas l'utilisation de DALL-E 2 pour créer des images susceptibles de causer du tort, par exemple des images montrant des actes autodestructeurs, des symboles haineux ou des actes illégaux.

L'entreprise a souligné qu'elle disposait de systèmes de surveillance automatisés et humains pour empêcher cela, ainsi que pour empêcher DALL-E 2 de mémoriser des visages qui apparaissent souvent en ligne.

restrictions sur DALLE 2
(Crédit photo : OpenAI)

Comment savoir si une image a été créée par DALL-E 2 AI ?

Images générées par DALL-E 2

Vous pouvez savoir si une image a été créée par DALL-E 2 car elle contient une signature qui ressemble à une rangée de carrés colorés en bas à droite de l'image (en supposant que l'image n'a pas été recadrée). Voir l'exemple ci-dessus.

Pouvez-vous enlever le filigrane de DALL-E 2 ?

Lorsque vous téléchargez une image créée dans DALL-E 2, elle comporte le filigrane de la bande de couleur en bas à droite de l'image. Toutefois, selon les conditions de DALL-E 2, ce filigrane peut être supprimé, ce qui, dans de nombreux cas, peut être nécessaire pour un travail commercial.

Il devrait être assez facile de supprimer le filigrane dans n'importe quelle application dotée d'un outil de suppression d'objet, de clonage ou de remplissage en fonction du contenu, par exemple Photoshop. Il existe également un moyen de télécharger directement l'image sans filigrane. Sur le bureau, vous pouvez cliquer avec le bouton droit de la souris sur l'image, choisir "Inspecter", puis rechercher l'URL windows.net. Copiez ce lien d'image et vous devriez constater que l'image ne contient pas de filigrane. Sur un téléphone portable, vous pouvez toucher et maintenir l'image sur la page de génération et cliquer sur "Enregistrer l'image".

Comment le nom de DALL-E a été formé ? 

Comment les créateurs de cette entreprise ont-ils trouvé le nom DALL-E ? Le nom est une combinaison de l'artiste Salvador Dali et du robot WALL-E de Pixar. Combinant à la fois l'art et l'animation numérique à l'aide de l'intelligence artificielle, le système DALL-E de cette entreprise laisse sa marque dans le monde de l'IA.

Quels sont les dispositifs de sécurité de DALL-E ?

La société continue de travailler sur les fonctions de sûreté et de sécurité au sein de son système. "Nous avons renforcé notre système de sécurité, en améliorant les filtres de texte et en réglant le système de détection et de réponse automatisées pour les violations de la politique de contenu."

Ces améliorations permettent également d'empêcher les personnes de créer des images violentes ou nuisibles en supprimant le contenu des ensembles de données d'apprentissage automatique. "Nous avons limité la capacité de DALL-E 2 à générer des images violentes, haineuses ou pour adultes.

En supprimant le contenu le plus explicite des données d'apprentissage, nous avons minimisé l'exposition de DALL-E 2 à ces concepts, a déclaré la société. "Nous avons également utilisé des techniques avancées pour empêcher les générations photoréalistes de visages d'individus réels, y compris ceux de personnalités publiques."

OpenAI a également créé une application appelée Moderation endpoint qui permet aux développeurs de protéger leurs applications contre les abus. Elle protège les utilisateurs en évaluant si le contenu est dangereux. "Le point de terminaison a été formé pour être rapide, précis et performant sur toute une gamme d'applications", a indiqué la société. OpenAI a prouvé ce point de terminaison à tous les détenteurs de comptes API (interface de programmation d'applications) OpenAI pour permettre un "écosystème d'IA plus sûr".

Pour s'assurer que l'IA n'est pas utilisée à mauvais escient, OpenAI ne générera pas d'imageurs si le filtre identifie des invites textuelles et des téléchargements d'images comme violant ses politiques.

Qu'est-ce que CLIP pour DALL-E ? 

DALL-E a été révélé à peu près en même temps que son autre réseau neuronal, le Contrastive Language-Image Pretraining (CLIP).

DALL-E - CLIP 1
DALL-E - CLIP 2
CLIP - DALL-E 2

Ce modèle est distinct de DALL-E et a été entraîné avec 400 millions de paires d'images dont le texte avait été préalablement supprimé. Son lien avec DALL-E consistait à comprendre et à classer les résultats de DALL-E en devinant quelle légende, sélectionnée parmi des milliers, serait la plus acceptable pour l'image.

CLIP créait des descriptions textuelles pour les images générées par le logiciel DALL-E. La méthode de DALL-E est appelée le clip inversé, ou unCLIP, parce qu'elle fait l'inverse de ce que fait CLIP, en générant des images à partir de texte au lieu de faire du texte à partir d'images.

Certains des liens figurant dans cet article peuvent être des liens d'affiliation, qui peuvent me procurer une rémunération sans frais pour vous si vous décidez d'acheter un plan payant.
Ce sont des outils que j'ai personnellement utilisés, que je soutiens et qui permette de vous offrir du contenu gratuit.
Qu'est-ce que DALL-E: transformation de texte en images ? (2023)
Sommaire
Téléchargements
Contenus associés
Autres Articles de Blog

D'autres lectures sont disponibles pour décortiquer tous les sujets au coeur des innovations stratégiques, technologiques et méthodologiques.