Des fictions numériques
Mots-clés: catharsis, arborescence, interactivité, génération, tempo, possibles, traduction
Texte: Aristote, La poétique, Seuil, 1980 – Lev Manovich, Language of new medias, MIT, 2001.
Questions: Le modèle aristotélicien pour définir la fiction narrative est-il adapté au numérique? Quels sont les modèles et les concepts pour comprendre et construire une fiction numérique? Comment scénariser une telle fiction?
Url et travaux consultés: Max Payne 2 In Memoriam # blast theory, http://www.canyouseemenow.co.uk/ http://faculty.risd.edu/faculty/bseamanweb/web/ http://www.netomat.net http://www.visualthesaurus.com http://www.mccoyspace.com/201/index.html http://download.specialforce.net/english/indexeng.htm http://www.vinylvideo.com/ http://www.genarts.com/karl/ http://www.iamas.ac.jp/~christa/index.html http://www.incident.net/works/sampling/ http://www.teleportacia.org/anna http://www.mat.ucsb.edu/~g.legrady/ http://www.uo.com/ http://www.immersence.com/ http://www.mongrelx.org/ http://www.jeffrey-shaw.net http://www.artcom.de/projects/t_vision/ http:://icwhen.com/the70s/1971.html http://www.rhizome.org/carnivore/ http://www.backspace.org/iod/ http://www.iath.virginia.edu/wax/ http://www.tmpspace.com
1. LA REPRÉSENTATION DE L’ÉCRAN
Comment la notion même d’écran met en cause la notion de mimésis. Simulation: L’écran (peinture, film, radar, tv, etc) est une surface rectangulaire représentant un monde virtuel et qui existe dans l’univers du spectateur sans complètement bloquer son champ de vision. La simulation est une utopie d’effacement de l’écran. Contrôle: Il y a d’un côté l’image comme représentation d’un univers illusoire et fictionnel et l’image comme simulation d’un panneau de contrôle (GUI, icones, menus, etc.) qui permet aux utilisateurs de manier leur ordinateur. Ce sont de nouvelles images qui qu’on peut nommer des images-interfaces. L’opposition entre représentation et contrôle est la même que l’opposition entre profondeur et surface: un écran d’ordinateur comme une fenêtre vers un espace illusoire et ce même écran comme un menu de contrôle plat. Action: Il y a les technologies qui produisent des illusions (peinture, mode, dioramas, film, etc) et les technologies de représentation qui permettent d’agir. Qui permettent aux utilisateurs de manipuler une réalité par des représentations cartographiques, architecturales, téléprésence, etc. Ce sont des images-instruments. Communication: Opposition entre les technologies de la représentation (film, audio, video, stockage digital) et les technologies de communication en temps-réel comme le télégraphe, téléphonem télex, télévision, téléprésence, tout ce qui commence par télé. Les technologies de la représentation produisent des objets inscrits dans le temps et l’espace qui ont des référents externes. Les technologies de la communication produisent leur référent par l’acte même qu’elles induisent: quels objets produit la téléculture. Information: Les nouveaux médias poursuivent deux objectifs contradictoires: d’un côté immerger l’utilisateur dans un univers et d’un autre côté donner un accès efficace aux informations (un moteur de recherche, une encyclopédie, etc.)
2. LES PRINCIPES DES NOUVEAUX MÉDIAS
Le numérique: Les objets médiatiques sont des représentations numériques ce qui a pour conséquence qu’ils peuvent être décrit formellement (mathématiquement). Une fonction mathématique peut servir à décrire une image par exemple. D’autre part peut être manipulé au niveau algorythmique. On peut enlever le bruit d’une photographie par exemple, augmenter le contraste. En bref les médias deviennent programmables. Convertir des données continues en représentation numérique se nomme la digitalisation qui effectue un sampling et une quantification. Il s’agit de sampler la donnée à un intervalle régulier, par exemple selon une grille de pixels. La fréquence du sampling se nomme la résolution. Le sampling transforme les données continues analogiques en données discrètes. Chaque sample est quantifié, on lui assigne une valeur numérique par exemple sur une échelle de 0 à 255 comme dans le cas d’une image 8 bits. Si le sampling n’est pas spécifique au numérique, la quantification l’est et c’est elle qui va permettre toutes les modifications. Les unités discrètes sont la condition du langage (phrase, mot, lettre). On peut associer la modernité à la discrétion parce que le travail en usine industrielle suppose un découpage du travail en unités minuscules et répétitives: c’est le travail à la chaine. La modularité: On peut nommer aussi ce princpe la structure fractale des nouveaux médias. La fractale a la même structure à différents niveaux. Les médias, des images, des sons, des formes, sont une collection d’éléments discrets qui peuvent être assemblés dans des éléments plus grands, par exemple un film director. Mais leur association ne leur fait pas perdre leur singularité. On peut à tout moment modifier un élément sans changer l’ensemble. Cette modularité fonde la logique orientée objets, cad l’indépendance des objets par rapport à leur assemblage ou, comme on voudra, à leur forme. Internet est également modulaire, nous vivons le flux comme un continuum mais il est possible de modifier n’importe quel élément: les pages HTML sont composées d’autres médias. Le Web est discret et non-hiérarchique (http://www.netomat.net). En changeant un élément on change des relations, la logique relationnelle devient la logique par excellence qu’on nommera structuration. L’automation: Du fait du codage numérique des médias et de leur structure modulaire, la création, manipulation et accès aux médias peuvent être en grande partie automatisés. L’intentionnalité humaine (cause effisciente) peut être déplacé du processus créatif. AI par exemple. Automatisation de l’accès aux médias (moteur d’image VIR). Le problème à la fin du XXème siècle n’est pas tant que créer de nouveaux documents, mais de savoir comment trouver le document qui existe déjà quelque part (postmodernisme). La variabilité: Un objet médiatique n’est pas fixé une bonne fois pour toute, mais peut exister dans des versions différentes et potentiellement infinies. Alors que l’objet industriel rêve de son identité à soi dans une reproductibilité sans différenciation, l’objet numérique est variable, en mutation, liquide. Il existe plusieurs versions d’un même document. On passe de la première version à la version finalisée d’un texte sur la même surface. Ce principe de variabilité est à relier au principe d’automation. Il s’agit d’une logique post-industrielle où les objets sont créés selon la demande, et juste à temps. Ceci est lié au fait que c’est la même machine qui sert de showroom et d’usine de production: l’ordinateur peut présenter les objets et les produire. Par exemple: des éléments sont sauvegardés dans une base de données. Plusieurs interfaces peuvent permettre d’accéder aux mêmes médias et en changent alors le contexte. Des informations concernant l’utilisateur peuvent être utilisées par le programme informatique pour customiser la composition des médias et pour même créer des médias. Par exemple les sites web dynamiques / aux infos des interfaces (résolution, pc mac, etc). Ou encore les menus interactifs (ou interactivité en branches) où le chemin se construit à mesure que les médias sont choisis, l’interface étant alors le résultat du processus cognitif de l’interacteur (http://www.visualthesaurus.com). L’hypermedia est un autre cas de variabilité, chaque chemin à un document défini une version différente du document lui-même car la manière d’y arriver le modifie en profondeur. Ou encore les réactualisations périodiques des informations (update). Un dernière cas de variabilité: la scalability cad le fait qu’un même document peut exister sous plusieurs versions et qualités, une version pour modem et une autre pour cable par exemple. Quicktime permet ainsi de générer des versions choisies selon la connection de chaque internaute. C’est un peu comme une carte avec différents niveaux de détails. En VRML le niveau de détails permet de charger des fichiers différents selon l’endroit où on est: si on est proche d’un objet alors une version haute définition, si on est loin une version basse définition. Un autre exemple est le streaming video sous REAL où ce qu’on voit est généré par la connexion réelle: que voit-on au juste? Le fichier sur le serveur ou dans une forme étrange de spécularité de soi-même? http://www.iath.virginia.edu/wax/ est un exemple de cette variabilité. L’interacteur peut changer le niveau de représentation et aller d’une image, au script complet ou à un film, ou à une scène en VRML,etc. The Birds de Stephen Mamber: spatialisation du temps cinématographique. http://www.mccoyspace.com/201/index.html Il y a bcp d’éléments techniques et sociaux // à cette variabilité: distinction entre algorythme et données, variables et constantes, etc. Le transcodage: La nécessité de faire dialoguer plusieurs machines ne s’effectuent pas par rapport au sens des données numériques, mais simplement par rapport aux leurs tailles, type de compression, type de format, date, etc. C’est une cosmogony proprement informatique qui n’a pas bcp de rapport avec la culture humaine. Il y a deux niveaux culturels, un niveau humain (encyclopédie, roman, composition, point de vue, mimesis et catharsis) et un niveau informatique (processus, traitement, saisie, fonction, variable, langage informatique et structure des données). Etant donné que les médias sont mémorisés, distribués, diffusés par des ordinateurs on peut raisonnablement penser que le niveau informatique va influencer notre compréhension des médias et jusqu’au niveau humain, ou encore que les deux niveaux ne sont pas étanches. Par exemple la base de données qui est simplement une manière de ranger l’information devient aujourd’hui un véritable modèle culturel. Ou la logique orienté objet. Le transcodage relève de la traduction: présuppose mathésis universalis, traduction universelle, etc… Nous passons de l’étude des médias à l’étude du software, cad le média comme capacité transformatrice comme telle.
url: http://download.specialforce.net/english/indexeng.htm http://www.vinylvideo.com/ http://www.genarts.com/karl/ http://www.iamas.ac.jp/~christa/index.html http://www.incident.net/works/sampling/
Pour résumer la différence entre médias numériques et analogiques: • Le numérique est discret. • Tous les médias numériques partagent le même code digital. Ainsi différents médias peuvent être joués sur la même machine. • Le numérique permet un accès aléatoire et non plus seulement séquentiel. Tous les éléments sont accessibles à la même vitesse, ils sont équidistants. • L’analogique entraîne une perte d’informations, un objet numérique contient un nombre fixe d’informations. • Les copies numériques sont ainsi identiques à elle-même (à critiquer, compression, erreurs, etc). • Le numérique est interactif. L’ordre des anciens médias est fixe et fait pour ainsi dire parti de la structure même des données. L’utilisateur peut définir l’ordre des éléments, il devient en quelque sorte un co-auteur (à critiquer car l’ellipse dans la narration littéraire, le détail manquant des objets dans les arts visuels et tout ce qui relève de la relation entre représentation et manque suppose que le spectateur se raconte quelque chose dans l’information manquante elle-même. Cette logique en creux n’est pas sans rapport avec l’interactivité).
3. BASE DE DONNÉES
La navigation continue dans un espace à la Tom Raider est devenue une véritable forme sociale.L’ordinateur est procédurale, participatif, spatial et encylcopédique, c’est-à-dire que c’est en même temps un espace navigable et une base de données, ou encore la même machine et les mêmes métaphores sont utilisées à la maison et au bureau. Il y a comme une tension malgré tout entre ces deux univers, entre un univers de recherche instrumentale d’informations et l’univers du loisir fictionnel. Cette opposition entre l’information et l’immersion est un cas particulier d’une opposition plus large entre action et représentation. L’information n’est plus seulement une forme du travail mais aussi du divertissement. La logique de la base de données: Il existe une opposition lointaine entre l’encyclopédie et la narration. La forme contemporaine de l’encyclopédie est la base de données que l’on peut simplement définir comme une collection structurée de documents. Une base de données permet de retrouver facilement et rapidement des informations. Il y a des bases hiérarchique, en réseau, relationnelle, orientée objet, etc. Toute la question est de savoir comment produire une histoire avec une base de données. Le Web, par exemple, avec sa formidable capacité à changer, muter de facon incessante n’est-il pas anti-narratif par excellence. Si des nouveaux éléments sont ajoutés au cours du temps le résultat est une collection pas une histoire. Or de nombreux projets artistiques comme IMMEMORY de Chris Marker, Olga Lialina (http://www.teleportacia.org/anna), Stephen Mamber (Digital Hitchcock) et surtout Georges Legradry ont créé des dispositifs narratifs qui utilisent des bases de données afin de proposer une structure d’information où les histoires sont organisées par rapport à des connections thématiques multiples. Données et algorythme: Bien sûr tout le numérique n’est pas base de données. Un jeu par exemple est expérimenté par les joueurs comme une narration, mais le niveau en-dessous est bien une collection structurée qui multiplie les possibles. La narration d’un jeu ne doit pas masquée qu’il s’agit souvent pour le joueur d’exécuter un algorythme, par exemple dans le jeu Tétris si un block tombe juste sur un autre block alors le block disparaît. Les jeux donnent une forme aux algorythmes, pour gagner il faut bien exécuter une équation. Ainsi le joueur tente de créer un modèle mental du modèle informatique, il tente de faire apparaître comme tel ce qui est visible indirectement, par les images, les sons, les actions, etc. Les données et les algorythmes sont deux types de logiciels complémentaires l’un de l’autres, des logiciels qui comportent une conception onotologique. Tout processus, toute tâche est réduite à un algorythme, cad une séquence d’opérations simples qu’un ordinateur peut exécuter pour accomplir une certaine tâche. Et d’un autre côté chaque objet du monde (la population d’un ville, le climat, le cerveau humain) est modelée comme une donnée structurée, cad une donnée qui peut être facilement trouvée et affichée, la vitesse devenant un critère ontologique. Algorythme et donnée structurée sont dans une relation symbiotique: le plus complexe est l’un, le plus simple doit être l’autre. Un programme lit une donnée, exécute un algorythme et écrit une nouvelle donnée qui est le résultat de ce traitement. Le modèle ontologique de l’informatique est: réalité > médias > données > base de données. Toute la question étant celle des critère d’indexation… c’est un peu la même question de celle de Borges qui décrit une carte aussi grande que le territoire. Il y a un paradoxe dans les données, par exemple du web: on remarque que les sites pornos utilisent les mêmes images, finalement très peu de sites ont des imags propres et de ce fait la même donnée produit plus d’index que le nombre de données elles-mêmes: navigons-nous dans les données ou les index? Navigons-nous dans le monde ou dans un méta-langage autophage? Base de données et narration: La base de données représente le monde comme une liste d’éléments. À l’opposé une narration créé une trajectoire de causes et d’effets. Les deux sont des ennemis naturels. Or dans l’informatique c’est la base de données qui règne, en-dessous il y a souvent une liste de documents et réaliser uen œuvre consiste souvent à créer une interface pour visualiser une base de données. Par exemple Legible City est une navigation dans une base de données textuelle, l’œuvre consistant à lui donner une forme de ville. On pourra dire que les objets numériques sont une ou plusieurs interfaces données à une base de données multimédias. On peut aussi dire qu’une narration interactive, ou hypernarration en analogie de l’hypertexte, est la somme de multiples trajectoires à travers une base de données. L’auteur ne saurait prévoir toutes les trajectoires mais il peut définir la logique de leurs connections cad la catégorisation des champs de la base, les relations et la manière d’aller chercher et d’afficher les informations. Paradigme et syntagme: L’opposition entre base de données et narration est du même ordre que l’oppsotion de De Saussure entre le paradigme et le syntagme. Le syntagme est une combinaison de signes qui a comme support l’espace. Le paradigme sont les unités qui ont quelque chose en commun et qui sont associées dans la théorie, par exemple les synonimes, dictionnaires, etc. Le syntagme est in praesentia, tandis que le paradigme est in absentia, les mots sont effectivement écrits sur du papier mais le modèle permettant de comprendre le sens des mots et de construire un monde est uniquement dans l’esprit de l’écrivain et du lecteur. De la même manière on dira que la base de données à partir de laquelle est construite la narration est implicite, c’est le paradigme qui défini un spectre de possibilité, tandis que la narration actualisée est explicite c’est le syntagme. Or le numérique inverse cette relation puisque la base de donnéesparadigmatique a une existence matérielle tandis que la narration syntagmatique est dématérialisée. Ou en d’autres termes: une narration est simplement un ensemble de liens, les éléments eux-mêmes sont dans la base de données. La narration est donc virtuelle et la base de données matérielle. A la manière de la construction d’une phrase, l’interacteur construit des phrases en choisissant chaque séquence provenant du paradigme, le seul problème est de savoir quelle peut bien être la grammaire d’un tel enchaînement. Base de données et cinéma: Le numérique est un nouveau champ de bataille entre la base de données et la narration car même s’Il est impossible de trouver une encyclopédie sans aucun effet narratif, il s’agit de deux genres distincts. Il y aurait tout lieu de penser que le numérique est aussi psychologique et entraîne des conséquences sur l’individu. Par exemple le fait que les GUI est tel un miroir où l’utilisateur est toujours représenté sous la forme d’un curseur, ce serait là une forme de narcissisme et il faudrait élaborer une métapsychologie du numérique. Ou encore la capacité informatique à produire des variations infinies, de filtrer, transformer quelque chose en autre chose, devient une ontologie culturelle. Comment les bases de données et la narration peuvent fonctionner l’un avec l’autre? Comment notre capacité à stocker bcp d’informations, à les classifier, indexer, lier, chercher, permet l’émergence de nouvelles narrations? Voir Greenaway et Drowning by Numbers comme narration de base de données minimales. Si les éléments (d’un film) existe dans une dimension (le temps du film, une liste sur une page de scénario, etc) c’est qu’ils ont un ordre. Donc la seule manière de créer une pure base de données et de la spatialiser, de distribuer ses éléments dans l’espace (par exemple Greenaway, 100 objets pour représenter le monde) L’homme à la caméra de Vertov est sans doute le plus grand exemple d’un imaginaire de la base de données: tout filmer, montrer l’hétérogène, le lier, le délier, imaginer. Toutefois la grammaire du numérique ne se stabilisera sans aucun doute pas comme le cinéma, car innovation permanente = autre modèle d’obsolescence que l’industrie.