Καινοτόμες Εφαρμογές Συστημάτων Επεξεργασίας Φυσικού Λόγου και Ψηφιακών Μέσων στο Θέατρο και τις Παραστατικές Τέχνες (NLP Theatre)
Το έργο χρηματοδοτείται στο πλαίσιο της Ενιαίας Δράσης Κρατικών Ενισχύσεων Έρευνας, Τεχνολογικής Ανάπτυξης και Καινοτομίας «ΕΡΕΥΝΩ – ΔΗΜΙΟΥΡΓΩ – ΚΑΙΝΟΤΟΜΩ».
Διάρκεια έργου: 9/2019 – 9/2022
Συνεργάτες:
Κέντρο Καινοτόμων Τεχνολογιών Α.Ε.
Καλλιτεχνική εταιρεία ΑΡΓΩ
Ερευνητικό Κέντρο “Αθηνά”
Διεθνές Πανεπιστήμιο της Ελλάδος
Αντικείμενο του έργου είναι η διερεύνηση νέων ψηφιακών τεχνικών και μέσων που θα προσφέρουν καινοφανείς, ελκυστικές, αλλά και προσβάσιμες εμπειρίες επαυξημένης πραγματικότητας στον θεατή. Το έργο θα εστιάσει στο τομέα των παραστατικών τεχνών, και ιδιαίτερα στο θέατρο, στοχεύοντας στη σχεδίαση, την υλοποίηση, τον πειραματισμό και την αποτίμηση τεχνολογιών και εργαλείων που θα διευρύνουν το σημειωτικό κώδικα μιας θεατρικής παράστασης παρέχοντας νέες δυνατότητες και αισθητικά μέσα στη σκηνική τέχνη, και εισάγοντας παράλληλες προσβάσιμες αφηγηματικές ροές.
Η προσέγγιση θα ακολουθήσει δύο διαστάσεις:
- Το άνοιγμα μιας θεατρικής παράστασης σε νέα μέσα και τεχνικές δυνατότητες που προσφέρουν οι σύγχρονες τεχνολογίες. Έμφαση θα δοθεί στην εισαγωγή σκηνικών στοιχείων που θα εντάσσονται αρμονικά και θα συνεισφέρουν σε μια επαυξημένη και πολυεπίπεδη θεατρική εμπειρία. Πέρα από τον φωτισμό, τις βιντεοπροβολές και τα ηχητικά αποσπάσματα, θα διερευνηθεί και η εισαγωγή ψηφιακών χαρακτήρων που θα ενταχθούν και θα συμμετέχουν στην παράσταση, εισφέροντας αισθητικά χαρακτηριστικά και σκηνικά σημεία πέρα από εκείνα που είναι εφικτά από φυσικούς ηθοποιούς.
- Την άρση των εμποδίων που αντιμετωπίζουν ευρείες ομάδες κοινού κατά την πρόσβασή τους σε μια θεατρική παράσταση, είτε πρόκειται για αισθητηριακά εμπόδια (για παράδειγμα, κάποια μορφή αναπηρίας) είτε γλωσσικά (για παράδειγμα, αλλόγλωσσο κοινό με χαμηλή ή καθόλου εξοικείωση με τη γλώσσα της παράστασης). Βασικά στοιχεία προσβασιμότητας αποτελούν οι υπέρτιτλοι, η απόδοση της παράστασης σε νοηματική γλώσσα και η ακουστική περιγραφή της, ενώ ενδιαφέρον παρουσιάζει και η μεταγλωττισμένη απόδοση της παράστασης.
Κύριο συστατικό των παραπάνω παρεμβάσεων αποτελεί η τεχνολογία αυτόματης παρακολούθησης της χρονικής ροής μιας παράστασης. Με βάση αυτή, ποικίλα σκηνικά στοιχεία που θα έχουν σχεδιαστεί και σκηνοθετηθεί εκ των προτέρων και θα έχουν αντιστοιχηθεί σε κατάλληλα σημεία του κειμένου της παράστασης, θα ενεργοποιούνται αυτόματα ενώ οι συνοδευτικές ροές προσβασιμότητας θα συγχρονίζονται δυναμικά ώστε να ακολουθούν πιστά τη σκηνική δράση.
Innovative Applications of Natural Language Processing and Digital Media in Theatre and Performing Arts
Partners:
The aim of the project is to investigate new digital techniques and tools, offering the audience innovative,attractive, enhanced and, at the same time, accessible experiences. The project will focus on performing arts,particularly theater, aiming at designing, implementing, experimenting and evaluating technologies and tools that will expand the semiotic code of a theatrical performance by offering new opportunities and aesthetic means in stage art and by introducing parallel accessible narrative flows. The approach will follow two dimensions:(a) The opening of a theatrical performance to new means and technical opportunities offered by modern technologies. Emphasis will be placed on the introduction of stage elements which will be smoothly integrated in the performance and will contribute to an enhanced multilevel theatrical experience. In addition to lighting,video projections and audio interventions, the introduction of digital characters who will be integrated in thetheatrical performance will also be explored, introducing aesthetic features and performance means beyondthose that are feasible by natural actors.(b) Removing obstacles faced by broad audiences when accessing a theatrical performance, whether sensoryobstacles (for example, some form of disability) or language-related obstacles (for example, foreign audienceswith little or no skills in the performance language). Basic accessibility elements are super-titles, interpretationof the show in sign language and its acoustic description, while the voice translation of the performance is alsoan interesting feature.
The main component of the above interventions is the technology of automatically monitoring the flow of aperformance. On this basis, a variety of scene elements that have been designed and directed in advance andhave been matched to appropriate parts of the show’s text will be automatically activated, while accompanyingaccessibility streams will be dynamically synchronized to closely follow the scene action. Within the project,basic and applied research will be carried out on modern technologies of speech and language processing,multimodal interaction and embodied communication, with the aim of extending them beyond the technologicalstate-of-the-art and adapting them to the particular requirements of a theatrical performance. However, theirvalue is not limited to theater, but can be extended to other forms of art, whether performing arts or not, whichcould benefit, functionally and/or aesthetically, from the introduction of such innovative elements. An equallyimportant goal of the project is the investigation of critical questions such as:
From the creatives’ perspective, the artistic value of the proposed interventions. The question is whetherthese new tools can offer new aesthetic means of artistic creation.
- From the audience perspective, whether the introduction of such features can make the theatrical experiencemore interesting, attractive and immersive. Of particular interest is children’s theater, as it often includes intenseimaginative and surrealistic elements, while children’s audiences are more positively predisposed to suchexperiences.
- The role of these technologies in removing a variety of barriers (accessibility, language, geographical),opening theatrical performances to major additional audiences and contributing to increased audience traffic.To this end, within the project two experimental theatrical performances will be set up, which will be selected,adapted and enhanced on the basis of these new technological tools. The first performance will be a children’stheatrical play, which will be a mid-term presentation of the project’s results, while the second one will be aGreek tragedy, which will incorporate a wider range of relevant technologies in more technologically matureversions.