CC BY
32
UDC 004.92 + 791.6 + 791.4
DOI:DOI: 10.30628/1994-9529-2023-19.2-171-213
EDN: JPBTJP
Received 15.05.2023, revised 25.06.2023, accepted 30.06.2023
ARTEM N. ZORIN*
Saratov Chernyshevsky State University, 83, korp. 11, Astrakhanskaya, Saratov 410012, Russia;
MIPT University,
9, Insitutsky pereulok, 141701 Dolgoprudny, Moscow Oblast, Russia
Researcher ID: D-3015-2017 ORCID: 0000-0002-2342-4039 E-mail: [email protected]
DANIIL A. YAKHAMOV
Saratov State Conservatory, 1, Stolypina prospect, 410012 Saratov, Russia Researcher ID: IYJ-1408-2023 ORCID: 0009-0006-3908-4071 E-mail: [email protected]
For citation
Zorin, A.N., & Yakhamov, D.A. (2023). Performing Capture in Video Games and New Acting Practice in the Post-Digital Era. Nauka Televidenya—TheArt and Science of Television, 19 (2), 171-213. https://doi.org/10.30628/1994-9529-2023-19.2-171-213, https://elibrary.ru/JPBTJP
Performing Capture
in Video Games and New Acting Practice in the Post-Digital Era**
Abstract. Motion capture technology for creating an animated image of an artist is becoming increasingly widespread in animation, cinema, and computer games. The motion capture methodology allows translating the acting into different virtual worlds and implementing creative data such as plasticity, voice, drama, in completely unexpected forms, which expand the boundaries of
* Corresponding author.
" Translated by Maria S. Berlova, Cand. Sci. in Art Studies, PhD in Theater Studies, Independent Researcher.
traditional artistic anthropology and the psychology of art. The most multilevel and multi-variant form of motion capture, performing capture, can reflect the plasticity of the artist in the finest details. This article raises the question of the need to study new aspects of the methodology of acting creativity. This question arises in the process of creating images of computer games, against the background of scientific understanding of various forms of motion capture technology and their modeling in the digital environment. The ways the artist exists during the implementation of scenarios of high-budget computer game projects are characterized by multivariance in the development of the image when setting the most important tasks in a situation of multiplicity of game strategies, by an expansion of understanding the original event, and by the dynamics of the role pattern. The interactive nature of gaming projects requires an understanding of the categories of actor existence in the synthesis of classical (Stanislavsky system) and post-dramatic theatrical approaches. Keywords: performing capture, acting skills, post-digital art, L.A. Noire, Death Stranding
УДК 004.92 + 791.6 + 791.4
DOI: 10.30628/1994-9529-2023-19.2-171-213
EDN: JPBTJP
Статья получена 15.05.2023, отредактирована 25.06.2023, принята 30.06.2023
АРТЕМ НИКОЛАЕВИЧ ЗОРИН* Саратовский национальный исследовательский государственный университет им. Н. Г. Чернышевского, 410012, г. Саратов, ул. Астраханская, д. 83, корп. 11, Московский физико-технический университет, 141701, г. Долгопрудный, Институтский переулок, д. 9.
Researcher ID: D-3015-2017 ORCID: 0000-0002-2342-4039 E-mail: [email protected]
ДАНИИЛ АЛЕКСАНДРОВИЧ ЯХАМОВ
Саратовская государственная консерватория им. Л.В. Собинова, 410012, г. Саратов, пр-т им. Петра Столыпина, д. 1 Researcher ID: IYJ-1408-2023 ORCID: 0009-0006-3908-4071 E-mail: [email protected]
* Автор, ответственный за переписку
Для цитирования
Зорин А.Н., Яхамов Д.А. Performing capture в видеоиграх и новая актерская практика постцифровой эпохи. К постановке проблемы // Наука телевидения. 2023. 19 (2). С. 171-213. DOI: https://doi.org/10.30628/1994-9529-2023-19.2-171-213. EDN:JPBTJP
Performing Capture в видеоиграх и новая актерская практика постцифровой эпохи
Аннотация. Технологии захвата движения артиста для создания ани-мированного образа получают все более широкое распространение в мультипликации, кинематографе и компьютерных играх. Методика захвата движения motion capture позволяет переводить актерскую игру в иные виртуальные миры и реализовать собственные творческие данные — пластические, голосовые, драматические — в совершенно неожиданных формах, расширяющих границы традиционной художественной антропологии и психологии искусства. Самая многоуровневая и многовариантная форма захвата движения — performing capture — дает возможность отразить пластику артиста в самых мелких деталях и подробностях. В статье ставится вопрос о необходимости исследования новых аспектов методологии актерского творчества, возникающих в процессе создания образов компьютерных игр, на фоне научного постижения различных форм технологий захвата движений и их моделирования в цифровой среде. Способы существования артиста при реализации сценариев высокобюджетных проектов компьютерных игр характеризуются поливариантностью развития образа при постановке сверхзадачи в ситуации множественности игровых стратегий, расширением представления об исходном событии и динамике рисунка роли. Интерактивная природа игровых проектов требует осмысления категорий актерского существования в синтезе классических (система Станиславского) и постдраматических театральных подходов.
Ключевые слова: performing capture, мастерство актера, искусство постцифровой эпохи, L.A. Noire, Death Stranding
INTRODUCTION
Information technologies define the development vector of all human activities—from economics and politics to creativity. With the birth of cinema in the late 19th century, new conditions arose for an actor to create a role. This led to the emergence of plots that went beyond traditional dramaturgy, which over time changed the approaches to the ways in which an artist exists on stage. A century later, in the 2000s, the rapid development of the video game industry brought new adjustments to the forms of the acting profession. Until recently, video games were considered a niche, even an exotic entertainment sphere, but the digital revolution has put the gaming industry on par with the film industry. The involvement of professional screenwriters, directors, and actors in the creation of games has become common practice. Today, there are many major Triple-A projects—high-budget game "blockbusters" that immerse the audience in fantastic unexplored worlds, with plots that have long stories featuring colorful characters, richly detailed nuances. And filmmakers creating films based on these game worlds.
The expansion of the boundaries of acting roles in the post-digital era reveals a combination of traditional and innovative ones in 3D spaces. Studying this area requires the application of cognitive approaches in the research of computer modeling technologies (motion capture or motion scan, performance capture), the actualization of the psychology of creativity (psychology of an artist's behavior, semiotics of kinetics, behavioral models and reactions), as well as the methodology of acting mastery in the whole variety of traditions of national schools and methods.
Due to the avalanche-like growth of mastering the potential of artificial intelligence (AI), the prospect of its use attracts more and more attention from researchers around the world. AI's capabilities are being applied to various areas of the socio-economic sphere, including various forms of art and entertainment technologies. In the summer of 2023 in the USA, negotiations between the united trade union of artists of the Screen Actors Guild and the American Federation of Television and Radio Artists (SAG-AFTRA) with the Guild of Film Producers reached a deadlock, which lead to a large-scale strike.1 One of the main points of the demands was to limit the involvement of artificial intelligence technologies in films when working with images of actors' works from the past and replacing the work of live artists with these reconfigured older imagings. While AI is currently only able to successfully replace extras and deceased stars, the film community is already expressing concern about this and is striving to prevent sharp antagonism of professional interests in the industry in the foreseeable future. The boom in artificial
-Sperling, N. (2023, June 5). Actors authorize potential strike with Hollywood writers still picketing. New York Times. Retrieved June 26, 2023, from https://www.nytimes.com/2023/06/05/ business/media/hollywood-actors-strike-vote.html
intelligence (AI) has also revealed the problem of its creativity limits: processing a large amount of information in search of an "average" solution leads not to the creation of breakthrough or masterpiece creative achievements or statements, but to their gradual degradation. Now AI is able to replicate a star's image or to create the illusion of naturalness of an average performer. AI is also massively involved in the production of unsophisticated sitcoms, but whether it can create unique artistic images—this question remains open.
The problem of widespread development of AI in the cinema sphere still lies in the field of artistic futurology and is somewhat aside from the stated theme. Currently, there is not enough full understanding of another phenomenon in the previous stages of creative mastery of digitization—the new range of artistic possibilities of the artist when working with performance capture technology in an interactive gaming space. Framing this issue requires first defining the current criteria and possibilities of the actor's existence when creating computer game characters based on the experiences of their understanding by artists, as well as the project creators and critics. In perspective, a broader study of the experience of artists in high-budget computer game projects will allow an evaluation of the deep interaction of current forms of different areas of art in the 21st century. The increasing demand of the audience for the transformation of the space of traditional theatrical and cinema halls in terms of expanding its interactive possibilities (participative/ immersive theater, VR-theater) allows for a gradual transfer experimental experiences of contemporary theater and cinema direction into the communicative world of the computer game, by filling it with relevant aesthetic content.
The artistic aspect of the artist's work in projects that are built within the technology of motion capture (abbreviated as mocap, motion capture) remains on the periphery of research attention. Shifting the emphasis from the main line of technology study towards performance capture—translating the image in the fullness of human reactions within the artistic-image reality—dictates the need to consider this phenomenon in the syncretism and uniqueness of its aesthetic nature.
MOTION CAPTURE TECHNOLOGY OF AN ARTIST METHODOLOGICAL APPROACHES
The history of creating motion capture technology, its development, and theoretical foundations in research literature are presented quite fully (Lewkowicz & Delevoye-Turrell, 2016; Pavlyuk et al., 2020).
The book that has become a classic, Understanding Motion Capture for Computer Animation by Alberto Menache, in addition to conducting a tour of
the evolution of 3D scanning technology, analyzes developments in the field of digital design, cinema, games, medicine, sports, and security engineering that emerged at the beginning of the 2000s. It accumulates information about modern achievements, methodology, and development in the current motion capture industry and provides a complete understanding of ways to capture the plasticity from traditional camera use to an analysis of electromagnetic field sensor vibrations. In this book, attention is drawn to the difference between motion capture and performance capture (the technology of digital motion capture of an actor):
Motion capture is the process of recording a live motion event and translating it into usable mathematical terms by tracking a number of key points in space over time and combining them to obtain a single three-dimensional representation of the performance. (...) Performance animation refers to the actual performance that is used to bring a character to life, regardless of the technology used. (...) Motion capture is the collection of data that represents motion, whereas performance animation is the final product of a character driven by a performer. (Menache, 2000, p. 1)
With the development of technology and graphics, both in games and movies, the combination of performance capture is increasingly being used instead of motion capture. This emphasizes the merits of actors—both those responsible for the character movements and the celebrities who give faces and voices to the computer models. Collaboration with dozens or even hundreds of actors has long become an integral part of production, and for Keanu Reeves or Mads Mikkelsen to participate in game development today is as exciting as starring in a blockbuster.2 The development of technology in performance capture and its perception as a way of projecting a direct image of a person into digital reality opens the psychological effect of "reviving" a persona in virtual space (rather than digitally dehumanizing it). This can be considered as an effect opposing the phenomenon of the uncanny valley (Mori, 2012)—the fear of an artificially created human or android image.3
2 Kubrak, N. (2020, March 5). How motion capture works: Evolution and purchasing. DTF. Retrieved April 30, 2023, from https://dtf.ru/cinema/109583-kak-rabotaet-motion-capture-evolyuciya-i-zakulise
3 The phenomenon of the uncanny valley as a way to influence the emotions of the audience (Kaku, 2015, pp. 318-320), a communicative model in the aesthetics of cinema (Kozlova, 2021; Krivulya, 2022) or stage space, for example, in the production of the famous performative theater troupe Rimini Protocol (Vellington, 2021) has been analyzed quite comprehensively.
Currently, mocap technology is primarily based on complex, fairly expensive markets and sensors attached to the body, whereas digital human plastic processing based on artificial intelligence is becoming a new, affordable option for creating a full-fledged projection of the human image in films and animation.
The appearance of a maximally plausible human-form modulator, MetaHuman, on the Unreal Engine 5 software platform by Epic Games Creator, based on a large array of processed mocap data, is beginning to be seen as a psychological threshold for overcoming the uncanny valley effect by the viewer—a modern 3D human model that is available for production in the mass segment of computer images is perceived organically. The comfort of the viewer's impression of a character, that is created by using this application for modeling game situations, sometimes provokes curious situations:
The Russian studio Tallbays has been working on the immersive simulator Militsioner for several years, the trailer of which caused a great stir on the Internet. After the original model of the gigantic Militiaman was replaced by a "digital human" from MetaHuman Creator, the developers were hit with a barrage of criticism from the gaming community. The fact is that the new realistic image of the Militiaman no longer caused the effect of the uncanny valley, and unlike the previous version, no longer scared players. The developers plan to change the current model again, by returning its grotesque features.4
G.P. Panos sees the development of mocap technology as prospects for the digital archiving of humanity, virtual documenting of human existence. From the fear of the digital transition, Panos' hypothesis leads to reflections on the prospects of a post-digital society in the coordinates of the ideas of "Russian cosmism" of Fedorov (Panos, 1994). It is these prospects that define the new contours of metahumanism.
Ricardo Tobon's book The Mocap Book: A Practical Guide to the Art of Motion Capture (Tobon, 2010) not only provides information on the history of technology, but also offers a detailed guide to mastering the process of digital recording. This includes stages from selecting equipment depending on the tasks, improving animation and integrating files that include image capture, tracking, editing, and integrating visual layers, animation, and motion coordination. It also reveals the possibilities of mocap as one of the technologies of contemporary art.
Mocap and its derivatives have become an organic part of narrative games with multi-level storytelling, masterful dialogues, and subtexts that are revealed
4 Balbery, L. (2022, March 10). MetaHuman Creator: Everything you need to know about the new tool for creating realistic 3D characters. Skillbox Media. Retrieved April 30, 2023, from https:// skillbox.ru/media/gamedev/metahuman-creator-vsye-chto-nuzhno-znat-o-novom-instrumente-dlya-sozdaniya-realistichnykh-personazhe/#stk-7
in both non-verbal situations and in scenes created with the nuance of digital capture and the transmission of human plasticity.
Recognizing the limits of mocap possibilities in screen art and games, modern researchers are looking for the boundaries of permissible realistic perception of synchronization of movement and speech in mocap, as cinema once came to a 24-frame standard. At this stage, desynchronization between sound and articulation of 500 ms (milliseconds) is allowed as such a limit of realism, only beyond this interval the viewer will be able to feel the unreality of communication. Such a discovery makes it possible to make adjustments at various hardware levels, which allows maintaining the realism of 3D models and makes the technology more in demand and accessible (Nirme et al., 2020).
Let us leave aside the philosophical logic of reasoning about the simulacratic nature of 3D modeling images. (The sociocultural phenomenon of the dystopian climax of the plot about an android who has stepped from the electronic era into real life, on the example of Westworld—a film by Michael Crichton (1973) and a series by Jonathan Nolan and Lisa Joy (2016-2022), has been considered in detail: as a reflection of the ideas of modern philosophy (South & Engels, 2018), as a transformation of social psychology under the influence of new media and technologies (Langley et al., 2018), and as a convergence of epic genres of art and, in particular, cinema in the process of comprehending the possibilities of digital reality (Zorin, 2020).) In the general aesthetic context, the triumphant development of 3D modeling anthropology, as S.S. Kozlova argues in her dissertation research, reflects the vectors of transformation of the nature of corporeality on the modern screen and, accordingly, in public consciousness, and becomes a projection of general doubts and fears for the modern man. In the "plot of corporeality," which is key for screen culture, "the dynamics of digitalization of corporeality works, and the configuration of the character's body is extremely unpredictable and far from anthropomorphism—this is a 'body-space.' The configuration of the body is determined by digital space, the ghostliness of its borders" (Kozlova, 2021, p. 44).
The aesthetic component of this phenomenon is increasingly coming to the forefront. A.A. Titorenko in his article on the metaphysics of games raises the question of the theatrical component in the structure of game content: from the model of the modern hero as a "player in the theater of life" (Titorenko, 2010, p. 158) the author moves to the theatrical nature of the mocap technology itself, when as a result of creating a 3D image, there is an impression that "the actor's work remains unchanged, be it work in cinema, or video games, or on stage"—because "you empathize with video game characters just like their big stage brethren" (Titorenko, 2010, p. 160). From the point of view of traditional ideas about an actor's existence, lifelikeness and theatricality are in contradictory relationships in this case.
A.V. Sazikov and V.D. Evallyo, while analyzing a variety of scientific problems related to new technologies that lead to a constant transformation of art forms, note the emergence of new definitions of the post-digital era.
Post-digital art is defined as creative activity aimed at the humanizing of computer technology through the interaction between digital, biological, cultural, and spiritual systems. The combination of analog and digital methods represents the modern world as hybrid, in which digital and real are equal (Sazikov & Evallyo, 2023, pp. 206-207).
Technological possibilities of mocap were initially shaped in artistic animation, and now in this field, they are in demand most fully and broadly. Animation discoveries influenced game cinematography and largely shaped the aesthetics of computer games. This animation direction of mocap evolved parallelly, but in the last 15 years, cross-genre intersections have led to the total mutual influence of cinema and the digital gaming industry—in the genre nature, peculiarities of plot-building, and creation of suspense (psychological tension), overcoming physical boundaries, and experiments in acting existence. In computer games, this legacy is reflected in the bidirectionality of performing capture technology development: creating unique animated images based on the actor's motion capture (multiplication) and digitally recreating in the game the most authentic image created by the artist, both coinciding with the real performer and different in external characteristics (cinematization with elements of theatricalization).
In the first case, motion capture expands the possibilities of the performer, as the artist is now not limited by his physical data and bodily nature in creating a character. It was these prospects, harking back to the foundations of animation, that were in demand in the first popular film projects with extensive use of mocap—in Avatar by J. Cameron (2009) and adaptations of J.R.R. Tolkien's novels by P. Jackson. Benedict Cumberbatch, thanks to mocap, was able to play the dragon Smaug—the main antagonist in the second part of the film trilogy The Hobbit: The Desolation of Smaug (2013). During the shooting, the famous artist had to physically convey his vision of the image, similar to how a freshman student of a theater institute might show animal observation sketches in their first exam. Cumberbatch crawled, wagged an imaginary long tail, accurately conveying the plasticity and movements of a lizard-like mystical creature. If an actor fails to originally perform such work, even with the careful refinement of the avatar by the creators of animation and graphics, discrepancies in the final image with the artistic task set may become noticeably manifest.
Fig. 1. Benedict Cumberbatch in the studio recording of movements in mocap technology to create the image of the dragon Smaug in The Hobbit: The Desolation ofSmaug (2013).5
Such an approach in creating a character refers to the acting system of Mikhail Chekhov, who considered imagination to be the main skill of an actor as a creative unit. "In this task, in Chekhov's opinion, the actor must be assisted by his physical data: poses, gestures, facial expressions, rhythm, habits. Mikhail Chekhov claimed that movement defines the image and gives rise to the necessary feeling" (Polishchuk, 2010, p. 173). The most important role in the development of human mocap technology was performed by the experiences of V. E. Meyerhold's acting biomechanics, which has become almost an independent field of study of modern cognitology. In turn, theatrical biomechanics and experiences in the field of post-drama were the result of Meyerhold's search for points of contact between theater and the growing power of cinema, "when meeting a live actor, the edges of cinematization were discovered—it turned out that the theater remains itself, and the cinema retains its uniqueness within the 'alien' artistic system. And Meyerhold sought cinematographic effects with theatrical means" (Matvienko, 2009, p. 301).
The development of technology in transferring the image of an artist into the world of computer games is becoming the point of intersection of processes that were clearly defined at the end of the 1960s—the digital gamification of social space and the manifestation of principles of performative aesthetics on stage and in the space of museum actionism. The new game aesthetics (an alternative to the total dominance of card games of previous centuries) as an aesthetics of involvement (Kirkpatrick, 2007; Sergeyeva & Orekh, 2021, pp. 17-19) resonates with the emphasis on immersion and the breaking of the 'fourth wall' in
5 See image source: https://www.youtube.com/watch?v=sXN9IHrnVVU (25.04.2023).
modern post-drama. The principles of a post-digital society and elements of new socialization, that are reflected, formed, and predicted in the modern gaming space, correlate with the participatory nature of the modern world-theater.
Amy Borsuk, as an example of the ideal symbiosis of live and digital theater, the combination of a careful classical reading of a play with the triumph of digital gaming technology, analyzes the production of The Tempest by the Royal Shakespeare Theatre (RSC) in collaboration with the Imaginarium studio in 2016 (Borsuk, 2019, p. 12), where inventive use was made of performance capture in an innovative and costly technological version. Intel acted as a sponsor of the mocap technology of the performance, noting in its press release that the group of creators—people of the theater and technologists—had managed to achieve interaction between digital avatars and live artists in real-time after a year of research. To correspond to the spontaneity of live theater, the "avatar" was modeled using 336 joint sensors, that capture the movements of all human body joints, "and is powered by a PC that has 50-million times more memory than the one that put man on the moon" (Borsuk, 2019).
In the end, the creators of the performance themselves perceived interaction with a digital character not as a sufficiently typical on-screen (cinematic) insertion, but as a kind of digital puppet theater, where the artist in sensors acted as a puppeteer in relation to his character, who is capable, in the eyes of the viewers, to instantly transform into not only a human but also a fantastic being.
This experiment on a 21st century stage can be interpreted as an attempt to recreate the sociocultural context of the theater of the Shakespearean era over a four-hundred-year distance, something the creators of the performance themselves insisted on. The genre of masque, as well as the masquerade with its cult of the most complex and sophisticated stage engineering, was a distinguishing feature of the theater and ritualized court life of the era of King James I, which succeeded the Elizabethan era and completed the period of the rise of the theater of Shakespearean times. Thus, the RSC in this production seemed to continue, while experimenting, two lines of historical development of the theater, which were marked since the time of Shakespeare—the drama-centricity of the Elizabethan scene and the technological innovations of the Jacobean one. And although Amy Borsuk poses a rhetorical question about the new role of man in art and the potential threat to the figure of an actor on stage, it is clear that this example demonstrates the height of precise acting possibilities within the post-digital realities of theatrical art.
In the theater, digital technologies of the future are capable of replacing the technologies of the past by expanding the capabilities of technical workshops and enhancing the visual side of the performance, but they do not allow for serious predictions of the replacement of a creative personality at the center of
the art. Similar processes can be noted in the art of cinema, genetically related to the theater. The video game industry initially appeared as being isolated from the art entertainment sphere, and yet, as technology develops and is used in complex creative projects with constantly improving technological capabilities, it has finally acquired the character of a new form of art, even from the perspective of researchers.
Famous classical composers created musical games-constructor, based on the art of combinatorics (ars combinatoria). The authors of such musical games included, among others, such celebrated musicians as W.A. Mozart, J. Haydn, J.F. Kirnberger, C.F.E. Bach. These types of games included tables with musical fragments, the order of which was determined by rolling dice. As a result, even a player not familiar with the basics of musical composition could construct countless pieces corresponding to aesthetic canons. This phenomenon of musical culture of the 17th-18th centuries became an important milestone in the formation of the principles of European musical composition.6 Postmodern aesthetics demanded this direction in various variations—from the travel book, most vividly represented by Hopscotch by J. Cortázar (1963), to interactive cinema that appeared in the second half of the 20th century. The literary principle of multiple plot development options, mastered by game cinematography as early as in Rashomon by A. Kurosawa (1950), formed a new genre by the mid-1960s, but the developing game industry took over this initiative in the 1980s.
A number of contemporary game projects are perceived as cross-genre manifestations of interactive cinema. It is when the game participant has the opportunity to interact with characters which are recreated by actors through performing capture in multifaceted expressions of subtle nuances of psychological reactions (Samoylova, 2014). For instance, like in games like Detroit Became Human, Heavy Rain, and L.A. Noir, which directly allude to the memory of the genre. One of the signs of recognition of video games as a new area of contemporary art was the emergence in 2003 of a separate direction and nomination block of the British Academy of Film and Television Arts (BAFTA) award in the field of video games.
Game developers often note that they are inspired by their favorite movies. For instance, the famous game designer Hideo Kojima, who is a creator of the renowned Metal Gear Solid game series, is a passionate cinephile whose projects are filled with references to film plots and imagery. The convergence of the gamified world and traditional screen art occurs through pervasive intertextuality at the narrative level, as well as through the technological solution
6 L.L. Gerver, M.R. Chernaya, A.V. Lebedeva, L.V. Kirillina and others wrote in detail about ars combinatoria in the art of music.
of performance capture, which accurately conveys an actor's performance. It becomes abundantly clear that the quality of a game's plot depends not only on the technical advancements in motion capture but also on the form of the actor's presence. Such film stars as Norman Reedus, Keanu Reeves, Willem Dafoe, Elliot Page, Vin Diesel, Charles Dance, and many others actively participate in the development of computer-based productions.
There are a number of video games where the plot and acting aren't paramount, leading to the problem of outsourced production, where an actor under the direction of the producer fulfills purely technical tasks.
The work of an artist in the performing capture technology in the gaming industry (and often in the film industry) is not always based on the methods of the Stanislavsky system—working within the aesthetics of "montage of attractions" excludes a focus on deep psychology. Recalling Kevin Spacey's experience, who played Jonathan Irons in the popular shooter game Call of Duty: Advanced Warfare (2014):
No makeup, no hair, nothing. They put dots on your face. Then you get into a kind of jumpsuit, which is exceedingly unattractive. A bunch of rubber-dot things all over that. They make you go into a room, and you have to do all kinds of physical things. (...) They're making sure your body is going to be actually captured. So you have to do all these things, and get your legs moving, incredibly stupid things that you wouldn't do in a yoga class.7 At the present stage of development of the industry, this approach mainly concerns secondary characters. In the case of the main characters, the technology requires a great deal of subtlety from the artist—moreover, in a game project, which is more tense and complex professionally due to the polyvariant development of the plot, noted earlier.
The tendency to underestimate the work of artists can currently be perceived as one of the problems in the industry. This affects, among other things, research approaches that ignore the acting component and focus on visual-graphics, sound, and script-dramatic components of the artistic whole. Actor Andy Serkis, who is called the "king of mocap," expressed indignation in one of his interviews about the critics' misunderstanding of the specifics of an actor's work in computer games. "They'll say things like, 'Serkis lent his voice to' or 'inspired the emotions' or 'lent his movements to' or 'emotionally retained the backbone of,' as opposed to 'performed the role.'"8 Journalists are partly right,
7 Suellentrop, C. (2014, Oct. 31). Casting the single-player movie star. New York Times. Retrieved April 30, 2023, from https://www.nytimes.com/2014/11/02/arts/video-games/kevin-spacey-stars-in-call-of-duty-advanced-warfare.html
8 Hurt, H. (2012, June 24). When will a motion-capture actor win an Oscar? Wired. Retrieved April 30, 2023, from https://www.wired.com/2012/01/andy-serkis-oscars/
as the final result is significantly influenced by the animator, who completes the processing of the digital image. Working with 3D motion-capture animation is a symbiosis of the actor's work and technology, just like in any other field where the modern artist exists. Without the performer himself, even the most perfect program will not be able to create a complete image.
Andy Serkis led an acting troupe in the development of the game Heavenly Sword. The creative director and author of the story was Tameem Antoniades— three years later, Serkis directed motion capture scenes with him in the game Enslaved: Odyssey to the West (Andy played an ape). Three years passed between these two projects, and motion capture technology didn't undergo significant changes. But the difference in the actors' experience was substantial. In Heavenly Sword, the performers demonstrated excessive theatricality on stage, and their acting seemed exaggerated. In the work on Enslaved, the actors existed more naturally and accurately. "Anything you can do in a movie you can do in a video game in terms of acting performance and subtlety", noted T. Antoniades.9 Using this work as an example, one can conclude about the contradictory nature of an artist's experience: on one hand, intensive interaction with motion capture technology "tempers" the actor and allows him to master the nuances of existence in this form of acting; on the other hand, some vagueness of the dramatic image solution is likely connected with the lack of an overarching goal of the role—a clear climactic point of the image, to which the actor aspires when working in the classical dramatic tradition. In most game scripts, the artist, unlike traditional role preparation, does not seek a single, most successful solution to the character's reaction to the same situation. Instead, he creates a broad gallery of invariant episodes with a wide spectrum of emotions, that are realized in various contextual and situational versions of the plot development as the player chooses strategies and character interactions. In the history of cinema, an analogy to this kind of work can be found in the plot of Akira Kurosawa's Rashomon, where the actors convincingly demonstrate four different interpretations of the same event. This requires serious professional training and skillful mastery of the craft. It should be noted that working in the genre of a high-budget multi-episode TV saga in the 21st century sets a new high bar for the skill of contemporary artists.
9 Kyllo, B. (2011, March 7). Performance capture injects emotion into virtual worlds. CBC. Retrieved April 30, 2023, from https://www.cbc.ca/news/science/performance-capture-injects-emotion-into-virtual-worlds-1.1104828
FROM L.A. NOIRE TO DEATH STRANDING.
3D NOIR AND ART HOUSE OF COMPUTER GAMES
The implementation of image capture technology was marked by the use of the motion scan system in the creation of the interactive movie genre game L.A. Noire by Rockstar. The game's space extensively recreates the virtual settings of a major metropolis in post-war America. The player, a detective, who is investigating crimes, constantly makes conclusions about the truthfulness or falsity of characters' statements, by carefully observing their facial expressions and body language. Consequently, it was impossible to use computer-simulated characters; each game episode was played out in the studio by artists dressed in motion capture suits, under the gaze of 32 cameras used by the Motion scan system, which modeled a three-dimensional image based on capturing movement from different angles.10 This unique game combined the substantial features of American fiction, classic film noir, and at the same time managed to convey elements of authenticity in acting in the invariant development of the plot and game dramaturgy in the action-adventure genre.
The game was deliberately styled as a retro-serial (it is noteworthy that most of the actors who participated in the development of L.A. Noire starred in Matthew Weiner's cult Mad Men). Each investigation was taken out in a separate story, only partially related to the game's overall plot.
The authors of L.A. Noire use memories, projections into the character's past, which refer to elements of film noir aesthetics. Thus, in the system of film noir characters, there are specific genre types—femme fatales, omnipresent reporters, etc. Particularly clear noir masks in this game are described for the detective heroes.
The high level of professionalism of the actors forces the player to be maximally involved in the communicative details of the investigation—they have to figure out the character and degree of sincerity of the character. Reacting to nuances of behavior (expression of the eyes, facial expressions, voice intonation), the player must choose one of three possible perceptions: lie, doubt, or truth. Each choice determines the further development of the plot.
Interaction with characters in L.A. Noire makes up a significant part of the gameplay. For this, Brendan McNamara, the founder of Team Bondi, developed a new technology—Motion Scan. This technology differs from the aforementioned classic early version of motion capture in that it captures not the movements of the actor, but their entire face, recorded from 32 cameras, transferred to the game software, and attached to the character model. This is one stage of character animation when the actor plays scenes while sitting on a chair, and all his emotions,
10 Kubrak, N. (2020, March 5). How motion capture works: Evolution and behind the scenes. DTF. Retrieved April 30, 2023, from https://dtf.ru/cinema/109583-kak-rabotaet-motion-capture-evolyuciya-i-zakulise
feelings, and experiences are conveyed solely through facial expressions. In another stage, motion capture of the actor's arms, legs, torso, and head is performed using special suits with sensors. As a result, the entire spectrum of emotions seems truly believable.
The facial animation capture technology works not only to create an effect of realism, but also directly affects the gameplay when the person sitting in front of the screen must scrutinize faces, think, analyze, by trying to connect conclusions into the overall picture of the case under investigation.
The work of recreating the era is colossal. The first one and a half years, developers dedicated to studying newspapers of that time, real Los Angeles, various authentic objects that later became part of the plot "evidence." As a result, the city, its streets, interiors and exteriors, cars, and costumes of people, the very rhythm of urban life, turned out to be incredibly accurate.
The actor who played the role of Detective Rusty Galloway in one of the interviews noted that he was incredibly struck by the level of detail that Brendan McNamara managed to create in this game.11 The composer of the music, Andrew Hale, who wrote compositions for L.A. Noire, also noted a focus on authenticity in creating the mood. The game's soundtrack was inspired by the movies of the 1940s. Musical director Ivan Pavlovich pointed out that Rockstar's emphasis on authenticity and realism in depiction, in creating the atmosphere of the city and the images of the characters, inspired the composers.
The cinematic quality of the game was of such a high level that L.A. Noire was submitted for inclusion in the Tribeca Film Festival of 2011.12
Aaron Staton, who played the lead role, noted the technical difficulties of working on the role with the use of digital capture technologies. For example, all dialogue scenes had to be performed by the artist without a partner. "A lot of that was a challenge, sitting in the chair and sort of trying to imagine those cues; whereas on a set, be it film, TV, or on a stage, there would be an actor present to give you that cue,"13 he said. The process was very long—for every short episode, one had to sit in place, without changing position, for an hour and a half to two hours. The shooting process of the game using performance capture technology lasted about three months and became routine, but it was a great school for the actors.14
11 Gaudiosi, J. (2011, May 11). LA Noire: interview with actor Michael McGrady. Gamesradar. Retrieved April 30, 2023, from https://www.gamesradar.com/la-noire-interview-with-actor-michael-mcgrady/
12 Tribeca. (n.d.). L.A. Noire. Tribeca Film Festival. Retrieved April 30, 2023, from https://www. tribecafilm.com/festival/archive/512cde961c7d76e0460004e9-l-a-noire
13 McInnis, S. (2011, May 13). An interview with Aaron Staton of L.A. Noire. Gamespot. Retrieved April 30, 2023, from https://www.gamespot.com/articles/an-interview-with-aaron-staton-of-la-noire/1100-6313171/
14 Parker, R. (2021, May 17). "L.A. Noire" turns 10: Cast of the video game made up of several "Mad Men" alums looks back at making the imaginative title. The Hollywood Reporter. Retrieved April
Fig. 2-3. Aaron Staton in the role of Cole Phelps and Michael McGrady in the role of Finbarr "Rusty" Galloway on the set of the game L.A. Noire and their images in the game.15
Comparing his work in the game and in the retro series Mad Men with a similar historical-cultural context, Staton considered his characters to be completely different, although they transmitted the behavioral codes of the same era. His character in the game, Cole Phelps, had a more complex set of initial circumstances and events that the artist could rely on when working on the character—reactions to various crimes, the military syndrome (PTSD) after participating in the war, the aftermath of which the creators immersed in the noir atmosphere. Ken from Mad Men existed in more comfortable conditions.16
The video game Death Stranding became a legend even before its release. Its creator, Hideo Kojima, managed to put together a 30-million-dollar budget for the project and assemble a team of world cinema stars—Norman Reedus, Lea Seydoux, Mads Mikkelsen, Margaret Qualley, Tommy Jenkins, Lindsay Wagner, Elle Fanning, and Ciorí Tsutsuna.
The world in which the plot of Death Stranding unfolds is a hostile environment, reminiscent of Tarkovsky's Stalker (already reflected in the gaming space in an earlier game of the same name), but having its own fundamental differences. The game's narrative world is deep and convoluted, difficult for the player to understand and appreciate even on an intuitive level. This is largely explained by a strong cinematic intertextual background, that includes films like The Shape of Water, Edge of Tomorrow, Crimson Peak, The Lobster, and the Hobbit
30, 2023, from https://www.hollywoodreporter.com/business/digital/l-a-noire-10-video-game-mad-men-4160607/
15 See image source: https://www.pcgameshardware.de/LA-Noire-Complete-Edition-Spiel-11476/ News/LA-Noire-Darsteller-beantworten-Fanfragen-zu-Motion-Capturing-850340/galerie/1576440/ (30.04.2023).
16 McInnis, S. (2011, May 13). An interview with Aaron Staton of L.A. Noire. Gamespot. Retrieved April 30, 2023, from https://www.gamespot.com/articles/an-interview-with-aaron-staton-of-la-noire/1100-6313171/
trilogy, which provoke immersion into the world of Death Stranding in order to understand all its details and nuances.
The main character, played by Norman Reedus, is engaged in delivering cargo from one point to another. This is no simple delivery, as the United States has been devastated by an invasion of ghostly creatures from the afterlife, who came into the world of the living after a catastrophe (at this starting point of the plot, one can find a direct analogy with a similar storyline in the novel Roadside Picnic by the Strugatsky brothers, which became the basis for Tarkovsky's Stalker).
On the surface, the game might seem like a "courier simulator"— a significant portion of the gameplay is spent simply moving from point A to point B. However, this is not aimless wandering, but a genuine hero's journey, in which both the character and player gain a philosophical experience.
Hideo Kojima himself realized that there must be a fine line between a media art author's work and the player's entertainment.
I want to keep a balance between art and entertainment so that the author's statement can be combined with what people are used to getting from games. Sometimes I watch very art-house, independent films, but I want to reach the point where both indie film lovers and Marvel movie fans can enjoy my game.17 When selecting Hollywood actors, Hideo Kojima did not forecast the outcomes of the future project. Norman Reedus agreed to the lead role in Death Stranding, having only been acquainted with the idea of the video game. The popularity of the actors matched the high ambition of the project. Speaking of the main character, no one doubted that Norman Reedus was an excellent fit. His experience in the legendary series The Walking Dead already created the necessary background for the game's character. To a greater extent, Sam (the main character) was created by Reedus himself. His unique facial expressions and the image of a tough, silent, and serious man who had seen his fair share of hardships in life aligned very well with what was happening in the post-apocalyptic world of the video game. Kojima, when approving actors for the role, relied on his experience and understanding of contemporary cinema. The game's creator admitted that for many years, since the days of the Bond series, he had been a fan of Mads Mikkelsen and specifically sought his contact to invite him to the game. Therefore, the choice of Mikkelsen for the role of the main antagonist was obvious to Hideo Kojima. It is noteworthy that in choosing actors, the author of the project relied on their typecasting and past experience in films. Attention should also be paid to Guillermo del Toro, who is not an actor in this project, but during
17 Smirnov, A. (2018, June 28) Hideo Kojima talks about working with actors of Death Stranding. DTF. Retrieved April 30, 2023, from https://dtf.ru/games/22358-hideo-kodzima-rasskazal-o-rabote-s-akterami-death-stranding
the creation of Silent Hills was a manager at the same level as Hideo. Therefore, his role in the game was comparable—a character who introduces the player to the world of Death Stranding, becomes a kind of Virgil in the circles of man-made hell—somewhat reminiscent not of the traditional assistant, but of Verge from Lars von Trier's The House That Jack Built.
The cinematic intertextuality that permeates the atmosphere of Kojima's game deserves separate art-historical analysis, which is necessary for evaluating the phenomenon of this game that transcends the boundaries of auteur cinema and gaming saga.
CONCLUSION
The evolution of technology—from dubbing, which establishes a distance between the on-screen performer and their acoustic double, to performance capture—leads to the creation of new professional roles and provides the artist with rich opportunities for multifaceted talent development, for example, in recreating images of fantastical creatures endowed with anthropomorphic plasticity. Motion capture and other similar discoveries are the logical result not only of the development of the post-digital era, but also the evolution of the acting profession. In new forms of the artistic process, the entire arsenal of capabilities of the national acting schools of the world's leading theater centers is in demand and utilized. In many countries, young artists begin to master the profession with sketches based on observations of animals. Working in digital space activates the entire repertoire of professional acting skills. The increasing need to create virtual characters, who are acting in multivariant given circumstances, challenges the artist to perfect the professional apparatus and especially the mastery of the sketch method. Constructing interactive gaming reality also demands the actor's experience of interaction with the active audience of participatory theater. Just as silent cinema learned the laws of the circus and pantomime, and sound cinema learned from musical theater and Stanislavsky's system, interactive video-world integrates experiments of post-dramatic theater, its performativity, and its drive to overcome the principle of the fourth wall.
The 3D characters of computer games and VR performances often differ from stage heroes due to their alternate biological nature, which puts the performer's task in creating images beyond human essence, but undoubtedly represents a creative challenge within the evolution of the acting profession.
Emerging opinions and even fears that the large amount of data obtained as a result of successful projects created by motion capture programs might
gradually replace the artist with a virtual image based on AI, do not take into account the stages of work on a unique character in combination with various factors of the acting profession. A modern computer game project or film, if it offers unique original content, is the result of complex interaction on the set by members of a large creative team, where performers are required to have a whole arsenal of skills and techniques from various styles and schools of dramatic art. At this stage of the development of digital motion capture technology, professional educational institutions which prepare actors are just beginning to explore new stylistic possibilities within the gaming video industry.
Modern high-budget projects of a triple-A level from large game studios and companies with multi-million dollar budgets are gradually approaching the point where they become as independent a field of art as literature, theater, and cinema. In famous game projects, huge virtual worlds are created with many extremely detailed character personalities, a high level of gaming space modeling, and plot detailing, written by a large team of screenwriters and in essence and volume comparable to works of artistic literature. While analyzing how this direction has progressed over the past decades, one can conclude that new modernizations of motion capture and performance capture technologies require a reassessment of the potential of the gaming industry in interaction with other areas of art, primarily theater and cinema, and also the need for a new
approach in examining how the array of professional actor qualities are formed.
* * *
ВВЕДЕНИЕ
Информационные технологии определяют вектор развития всех направлений деятельности человека — от экономики и политики до творчества. С рождением кинематографа в конце XIX века возникли новые условия для создания роли актером, это привело к появлению сюжетов, выходящих за рамки традиционной драматургии, что со временем изменило подходы к способам существования артиста уже на сцене. Спустя столетие, в 2000-е, стремительное развитие индустрии видеоигр внесло новые коррективы в формы бытования актерской профессии. До недавних пор видеоигры считались нишевой, даже экзотической развлекательной сферой, но цифровая революция поставила игровую индустрию вровень с индустрией кино. Привлечение профессиональных сценаристов, режиссеров, актеров к созданию игр уже вошло в повсеместную практику. На сегодняшний день существует
множество больших Triple-A проектов — высокобюджетных игровых «блокба-стеров», погружающих аудиторию в фантастические неизведанные миры, сюжеты которых представляют собой длинные истории с участием колоритных персонажей, насыщенные детально проработанными нюансами. А кинематографисты на основе игровых миров снимают фильмы.
Расширение границ актерских амплуа в постцифровую эпоху обнаруживает сочетание традиционного и новаторского в 3D пространствах. Изучение этой области требует применения когнитивных подходов в исследовании технологий компьютерного моделирования (motion capture или motion scan, performance capture), актуализации психологии творчества (психология поведения артиста, семиотика кинетики, поведенческие модели и реакции), а также методологии актерского мастерства во всем многообразии традиций национальных школ и методов.
В связи с лавинообразным ростом освоения потенциала искусственного интеллекта (ИИ) перспектива его использования привлекает все большее внимание исследователей во всем мире. Возможности ИИ примеряются к различным областям социально-экономической сферы, в том числе к различным формам искусства и развлекательным технологиям. Летом 2023 года в США зашли в тупик переговоры объединенного профсоюза артистов Гильдии киноактеров и Американской федерации артистов телевидения и радио (SAG-AFTRA) с Гильдией кинопродюсеров, что может стать причиной масштабной забастовки1. Одним из главных пунктов требований стало ограничение привлечения в кинокартины технологий искусственного интеллекта при работе с изображениями актерских работ прошлого и замены ими работы живых артистов. Пока ИИ способен только успешно заменять массовку и ушедших из жизни звезд, однако кинематографическое сообщество уже сейчас выражает обеспокоенность по этому поводу и стремится предотвратить острый антагонизм профессиональных интересов в отрасли в обозримом будущем. Бум по поводу искусственного интеллекта поставил вопрос о пределах его креативности: обработка большого массива информации при поиске «усредненного» решения приводит не к созданию прорывных или шедевральных творческих достижений или высказываний, а к их постепенной деградации. Сейчас ему под силу скопировать звездный образ или создать иллюзию естественности некоего среднестатистического исполнителя. Он массово привлекается к производству незамысловатых ситкомов, но сможет ли создать уникальные художественные образы — этот вопрос пока остается открытым.
1 Sperling, N. (2023, June 5). Actors Authorize Potential Strike With Hollywood Writers Still Picketing. New York Times. https://www.nytimes.com/2023/06/05/business/media/hollywood-actors-strike-vote.html (26.06.2023)
Проблема широкого развития ИИ в киносфере пока лежит в области художественной футурологии и находится несколько в стороне от заявленной темы. Сейчас недостаточно полно осмыслен другой феномен предшествующего этапа творческого освоения цифровизации — новый диапазон художественных возможностей артиста при работе с технологией performance capture в интерактивном игровом пространстве. Постановка этой проблемы требует вначале определения актуальных критериев и возможностей актерского существования при создании компьютерных игровых образов на основе первых опытов осмысления их артистами, а также создателями проектов и критиками. В перспективе более широкое изучение опыта работы артистов в высокобюджетных проектах компьютерных игр позволит оценить глубинное взаимодействие актуальных форм разных областей искусства XXI века. Возрастающий запрос зрительской аудитории в необходимости трансформации пространства традиционного театрального и кинозала в плане расширения его интерактивных возможностей (партисипативный/иммерсивный театр, VR-театр) позволяет постепенно переносить экспериментальные опыты современной театральной и кинорежиссуры в коммуникативный мир компьютерной игры, наполняя его актуальным эстетическим содержанием.
Художественный аспект работы артиста в проектах, построенных в рамках технологии motion capture (сокр. mocap, захват движения), остается пока на периферии исследовательского внимания. Смещение акцента с магистральной линии изучения технологии в сторону performance capture — трансляции изображения в полноте человеческих реакций внутри художественно-образной реальности — диктует необходимость рассматривать это явление в синкретизме и уникальности его эстетической природы.
ТЕХНОЛОГИИ ЗАХВАТА ДВИЖЕНИЯ АРТИСТА.
МЕТОДОЛОГИЧЕСКИЕ ПОДХОДЫ
История создания технологии motion capture, ее развитие и теоретические основы в исследовательской литературе представлены достаточно полно (Lewkowicz, Delevoye-Turrell, 2016; Павлюк, Филипишин, Янушевский, 2020).
Ставшая классической книга Альберто Меначе Understanding Motion Capture for Computer Animation, помимо экскурса в эволюцию технологии 3D-сканинга, анализирует разработки в области цифрового дизайна, кино, игр, медицины, спорта и инженерии безопасности, появившиеся к началу
2000-х годов. Она аккумулирует информацию о современных достижениях, методологии и развитии в текущей индустрии motion capture и дает полное представление о способах захвата пластики от традиционного использования камер до анализа колебаний датчиков электромагнитных полей. Именно в этой книге обращается внимание на различие между motion capture (захват движения) и performance capture/ performance animation (технология цифрового захвата движений актера): «Motion capture фиксирует событие в реальном времени и переводит его в цифровой контекст. Эта технология способна преобразовать живое исполнение в цифровое. (...) В отличие от него, performance animation — это реальное представление в цифровом пространстве, которое оживляет персонажа. (...) Если motion capture — это набор данных, представляющих движение, то performance capture — это персонаж, которого представляет актер» (Menache, 2000, p. 1).
«С развитием технологий и графики, как в играх, так и в кино, все чаще вместо motion capture употребляют сочетание performance capture. Таким образом подчеркивают заслуги актеров — как тех, кто отвечает за движения персонажей, так и знаменитостей, дарящих компьютерным моделям лица и голоса. Сотрудничество с десятками или даже сотнями актеров давно стало неотъемлемой частью производства, а для Киану Ривза или Мадса Миккельсена участвовать в разработке игры сегодня так же захватывающе, как и сниматься в блокбастере»2.
Эволюция технологии в performance capture и восприятие ее как способа проецирования непосредственного образа человека в цифровой реальности открывает психологический эффект «оживления» персоны в виртуальном пространстве (а не омертвения в цифре). Это может рассматриваться как эффект, противостоящий феномену зловещей долины (Mori, 2012) — страху перед искусственно созданным образом человека или ан-дроидом3.
В настоящее время эта технология основана на сложных, достаточно дорогостоящих маркерах и датчиках, закрепляемых на теле, в то время как цифровая обработка пластики человека на основе технологий искусственного интеллекта становится новым доступным вариантом создания полноценной проекции человеческого образа в кино и анимации.
2 Кубрак, Н. (2020, 5 марта). Как работает Motion Capture: эволюция и закулисье. DTF: [Интернет-издание]. https://dtf.ru/cinema/109583-kak-rabotaet-motion-capture-evolyuciya-i-zakulise (30.04.2023).
3 Феномен зловещей долины как способ воздействия на зрительские эмоции (Каку, 2015, с. 318-320), коммуникативная модель в эстетике кино (Козлова, 2021; Кривуля, 2022) или сценическом пространстве, например, в постановке знаменитой перформативной театральной труппы Rimini Protocol (Веллингтон, 2021) проанализирован достаточно разносторонне.
Появление максимально правдоподобного модулятора человеческих образов MetaHuman на программной платформе Unreal Engine 5 от компании Epic Games Creator на основе большого массива обработанных данных захвата mocap начинает рассматриваться как психологический порог преодоления эффекта зловещей долины зрителем — современная 3D-модель человека, доступная для производства в массовом сегменте компьютерных изображений, воспринимается органично. Комфортность зрительского впечатления от персонажа, созданного при использовании этого приложения для моделирования игровых ситуаций, провоцирует порой курьезные ситуации: «Российская студия Tallbays уже несколько лет работает над им-мерсивным симулятором Militsioner, трейлер которого в свое время вызвал большой ажиотаж в Сети. После того, как изначальную модель гигантского Милиционера заменили "цифровым человеком" из MetaHuman Creator, на разработчиков обрушился шквал критики со стороны игрового сообщества. Все дело в том, что новый реалистичный образ Милиционера больше не вызывал эффекта зловещей долины и, в отличие от прошлой версии, уже не так пугал игроков. Разработчики планируют снова изменить текущую модель, вернув ей гротескные черты»4. Г.П. Панос видит в развитии mocap-технологии перспективы для цифрового архивирования человечества, виртуального документирования человеческого существования. От страха перед цифровым переходом гипотеза Паноса переносит к размышлениям о перспективах постцифрового общества в координатах идей «русского космизма» Федорова (Panos, 1994). Именно такие перспективы и определяют новые очертания метагуманизма.
Книга Рикардо Тобона The Mocap Book: A Practical Guide to the Art of Motion Capture (Tobon, 2010) не только предоставляет сведения по истории технологии, дает подробное руководство по освоению процесса цифровой записи движений от этапов выбора аппаратуры в зависимости от задач, улучшения анимации и интеграции файлов, включающих захват изображения, отслеживание, монтаж и интеграцию изобразительных слоев, анимацию и координацию движений объектов, но и раскрывает возможности mocap как одной из технологий современного искусства.
Mocap и ее производные стали органичной частью сюжетных игр с многоуровневым повествованием, мастерскими диалогами и подтекстами, раскрывающимися и в невербальных ситуациях, и в сценах, создаваемых с нюансировкой цифрового захвата и передачей человеческой пластики.
4 Балбери, Л. (2022, 10 марта). MetaHuman Creator: все, что нужно знать о новом инструменте для создания реалистичных персонажей в 3D. SkillboxMedia: [Интернет-издание]. https:// sk¡llbox.ru/med¡a/gamedev/metahuman-creator-vsye-chto-nuzhno-znat-o-novom-¡nstrumente-dlya-sozdan¡ya-real¡st¡chnykh-personazhe/#stk-7 (30.04.2023)
Признавая предельность возможностей mocap в экранном искусстве и играх, современные исследователи ищут границы допустимого реалистического восприятия синхронизации движения и речи в mocap, как когда-то кино пришло к 24-кадровому стандарту — на данном этапе в качестве такого предела реалистичности допускается рассинхронизация между звуком и артикуляцией в 500 мс, только за пределами этого интервала зритель сможет ощутить нереальность коммуникации. Такое открытие дает возможность вносить коррективы на разных аппаратных уровнях, что позволяет сохранять реалистичность 3D-модели и делает технологию более востребованной и доступной (Nirme ets, 2020).
Оставим в стороне философскую логику рассуждений о симу-лякративности образов 3D-моделирования. (Социокультурный феномен антиутопического апогея сюжета об андроиде, перешагнувшем из электронной эпохи в настоящую жизнь, на примере «Мира Дикого Запада» — фильма Майкла Крайтона (1973) и сериала Джонатана Нолана и Лизы Джой (2016-2022), рассматривался достаточно подробно — как отражение развития идей современной философии (South, Engels, 2018), трансформации социальной психологии под воздействием новых медиа и технологий (Langley, Goodfriend, Cain, 2018), конвергенции эпических жанров искусства и, в частности, кино в процессе осмысления возможностей цифровой реальности (Зорин, 2020)). В общеэстетическом контексте триумфальное развитие антропологии 3й-моделирования, как убеждает в своем диссертационном исследовании С.С. Козлова, отражает векторы трансформации природы телесности на современном экране и, соответственно, в общественном сознании, становится проекцией общих для современного человека сомнений и страхов. В ключевом для экранной культуры «"сюжете телесности" работает динамика цифровизации телесности, а конфигурация тела персонажа предельно непредсказуема и далека от антропоморфности — это "тело-пространство". Конфигурацию тела определяет цифровое пространство, призрачность его границ» (Козлова, 2021, с. 44).
Эстетическая составляющая этого феномена все явственнее выходит на первый план. А.А. Титоренко в своей статье о «Метафизике игр» ставит вопрос о театральной составляющей в структуре игрового контента: от модели современного героя как «игрока в театре жизни» (Титоренко, 2010, с. 158) автор переходит к собственно театральной природе технологии mocap, когда в результате создания 3D-образа возникает впечатление, что «работа актера остается неизменной, будь то работа в кино, или видеоигре, или на сцене» — ведь «персонажам видеоигры сопереживаешь так же, как их братьям по цеху с большой сцены» (Титоренко, 2010, с. 160). С точки зрения традиционных представлений об актерском существовании жизне-
подобие и театральность оказываются в данном случае в противоречивых отношениях.
А.В. Сазиков и В.Д. Эвалльё, анализируя многообразие научных проблем, связанных с новыми технологиями, приводящими к постоянной трансформации форм искусства, отмечают появление новых дефиниций постцифровой эпохи. «Постцифровое искусство определяется как творческая деятельность, направленная на гуманизацию компьютерных технологий посредством взаимодействия между цифровыми, биологическими, культурными и духовными системами. Комбинирование аналогового и цифрового методов представляет современный мир как гибридный, в котором цифровое и реальное равноправны» (Сазиков, Эвалльё, 2023, с. 206-207).
Технологические возможности mocap изначально формировались в художественной анимации, и сейчас в этой области они востребованы наиболее полно и широко. Анимационные открытия влияли на игровой кинематограф и во многом сформировали также эстетику компьютерных игр. Это анимационное направление mocap развивалось параллельно, однако в последние 15 лет кросс-жанровые пересечения привели к тотальному взаимовлиянию кино и цифровой игровой индустрии — в жанровой природе, особенностях сюжетосложения и создании саспенс (психологического напряжения), преодолении границ телесности и экспериментах в актерском существовании. В компьютерных играх это наследие отразилось в двунаправленности развития технологии performing capture: создании уникальных анимированных образов на основе захвата движений актера (мультиплицирование) и цифровое воссоздание в игре максимально достоверного образа, созданного артистом, как совпадающего с реальным исполнителем, так и иным по внешним характеристикам (кинофикация с элементами театрализации).
В первом случае захват движения расширяет возможности исполнителя, так как теперь артист не ограничен своими физическими данными и телесной природой при создании персонажа. Именно эти перспективы, восходящие к основам анимации, были востребованы в первых популярных кинопроектах с широким использованием mocap — в «Аватаре» Д. Кэмерона (2009) и экранизациях П. Джексоном романов Дж. Р. Р. Толки-на. Бенедикт Камбербэтч, благодаря mocap, смог сыграть дракона Смауга — главного антагониста во второй части кинотрилогии «Хоббит: Пустошь Смауга» (2013). На съемках знаменитый артист должен был пластически передать свое видение образа, подобно тому как студент-первокурсник театрального института на первом экзамене показывает этюды-наблюдения за животными. Он ползал, вилял воображаемым длинным хвостом, детально точно передавая пластику и движения ящероподобного мистического
существа. Если актеру не удается оригинально проделать такого рода работу, то даже при тщательной доработке аватара создателями анимации и графики могут ощутимо проявиться несоответствия итогового образа поставленной художественной задаче.
Рис. 1. Бенедикт Камбербетч на студийной записи движений в технологии mocap для создания образа дракона Смауга в фильме «Хоббит: Пустошь Смауга» (2013)5
Такой подход в создании персонажа отсылает к актерской системе Михаила Чехова, считавшего воображение основным навыком актера как творческой единицы. «В этой задаче, по мнению Чехова, актеру должны помочь его физические данные: позы, жесты, мимика, ритм, привычки. Михаил Чехов утверждал, что движение определяет образ и рождает нужное чувство» (Полищук, 2010, с. 173) . Важнейшую роль в развитии технологий захвата движения человека сыграли опыты открытой В. Э. Мейерхольдом актерской биомеханики, ставшей практически самостоятельной областью изучения современной когнитологии. В свою очередь, театральная биомеханика и опыты в области постдрамы явились итогом поиска Мейерхольдом точек соприкосновения между театром и набирающим силу кинематографом, когда «при встрече же с живым актером обнаружились и грани кинофикации — выяснилось, что театр остается собой, а кино сохраняет особость в пределах "чужой" художественной системы. И Мейерхольд добивался кинематографических эффектов собственно театральными средствами» (Матвиенко, 2009, с. 301).
Развитие технологий переноса образа артиста в мир компьютерной игры становится точкой пересечения процессов, четко обозначившихся
5 Источник изображения см. / See the image source: https://www.youtube.com/ watch?v=sXN9IHrnVVU (25.04.2023).
в конце 1960-х годов — цифровой геймификации социального пространства и манифестации принципов перформативной эстетики на сцене и в музейном акционистском пространстве. Новая игровая эстетика (альтернатива тотальному доминированию карточной игры прежних столетий) как эстетика вовлечения (Kirkpatrick, 2007; Сергеева, Орех, 2021, с. 17-19) перекликается с установками на иммерсивность и разрушение «четвертой стены» в современной постдраме. Принципы постцифрового общества и элементов новой социализации, отражающейся, формирующейся и прогнозируемой в современном игровом пространстве, коррелируют с парти-сипативностью современного мира-театра.
Эми Борсук, как пример идеального симбиоза живого и цифрового театра, соединения бережного классического прочтения пьесы с торжеством игровых цифровых технологий, анализирует постановку «Бури» труппой Королевского Шекспировского театра (RSC) совместно со студией Imaginarium в 2016 году (Borsuk, 2019, p. 12), где изобретательно использовалась performance capture в инновационном и дорогостоящем технологическом варианте. Спонсорами mocap-технологии спектакля выступила Intel, отметившая в своем новостном релизе, что группе создателей — людям театра и технологам — по итогам года исследований удалось добиться взаимодействия цифровых аватаров с живыми артистами в режиме реального времени. Чтобы соответствовать спонтанности живого театра, "аватар" был смоделирован с использованием 336 датчиков суставов, фиксирующих движения всех суставов человеческого тела, а также оснащен компьютером, «объем памяти которого в 50 миллионов раз больше, чем у вычислительной машины, рассчитавшей полет человека на Луну» (Borsuk, 2019, p. 1).
В итоге сами создатели спектакля воспринимали взаимодействие с цифровым персонажем не как уже достаточно типичную экранную (ки-нофикационную) вставку, а как своего рода цифровой кукольный театр, где артист в датчиках выступал в роли кукловода по отношению к своему герою, способному мгновенно, на глазах зрителей превратиться не только в человеческое, но и в фантастическое существо.
Этот эксперимент на сцене ХХ1века может интерпретироваться как попытка воссоздания социокультурного контекста театра шекспировской эпохи через четырехсотлетнюю дистанцию, на чем настаивали сами создатели спектакля. Жанр маски, как и маскарадность с ее культом сложнейшей и изысканной сценической инженерии, были отличительной чертой театра и ритуализованной придворной жизни эпохи короля Якова I, сменившей елизаветинскую эпоху и завершившей период взлета театра шекспировского времени. Таким образом, RSC в этой постановке словно бы продолжал, экспериментируя, две линии исторического развития театра, обозначившихся со
времен Шекспира, — драмацентризм елизаветинской сцены и технологические инновации якобитской. И хотя Эми Борсук ставит риторический вопрос о новой роли человека в искусстве и потенциальной угрозе фигуре актера на сцене, очевидно, что этот пример демонстрирует высоту именно актерских возможностей в постцифровых реалиях театрального искусства.
В театре цифровые технологии будущего оказываются способны заменить технологии прошлого — расширить возможности технических цехов и усилить зрелищную сторону спектакля — но не позволяют всерьез прогнозировать замещение творческой личности, стоящей в центре искусства. Аналогичные процессы могут быть отмечены и в искусстве кино, генетически связанном с театром. Индустрия видеоигр, появившаяся как изолированная от искусства развлекательная сфера, по мере развития технологий и их использования в сложных творческих проектах при постоянно совершенствующихся технологических возможностях окончательно приобретает характер новой формы искусства — в том числе в глазах исследователей.
Известные композиторы-классики создавали музыкальные игры-конструкторы, основанные на искусстве комбинаторики (ars combinatoria). Авторами таких музыкальных игр были, в том числе, и такие прославленные музыканты, как В.А. Моцарт, Й. Гайдн, И.Ф. Кирнбергер, К.Ф.Э. Бах. В игры этого типа входили таблицы с музыкальными фрагментами, порядок расположения которых определялся с помощью игральных костей. В результате даже не владеющий азами музыкальной композиции игрок мог сконструировать бесчисленное количество музыкальных пьес, соответствующих эстетическим канонам. Само это явление музыкальной культуры XVII —XVIII вв. стало важной вехой в становлении принципов европейской музыкальной композиции6. Постмодернистская эстетика востребовала это направление в самых разных вариантах — от книги-путешествия, в наиболее яркой форме представленной «Игрой в классики» Х. Картасара (1963), до возникшего во второй половине ХХ века интерактивного кино. Сам литературный принцип множественности вариантов развития сюжета, освоенный игровым кинематографом еще в «Расемоне» А. Куросавы (1950), сформировал новый жанр уже к середине 1960-х годов, однако развивающаяся игровая индустрия в 1980-е перехватила эту инициативу.
Ряд современных игровых проектов воспринимаются как кросс-жанровые проявления интерактивного кино — когда участник игры получает возможность взаимодействия с персонажами, воссозданными артистами благодаря performing capture в поливариантных проявлениях пластических нюансов психологических реакций (Самойлова, 2014). Напри-
6 Подробно об ars combinatoria в музыкальном искусстве писали Л.Л. Гервер, М.Р. Черная, А.В. Лебедева, Л.В. Кириллина и др.
мер, в играх Detroit Became Human, Heavy Rain, L.A. Noir — прямо отсылающих к памяти жанра. Одним из знаков признания видеоигр новой областью современного искусства стало появление в 2003 году отдельного направления и блока номинаций премии Британской академии кино и телевизионных искусств BAFTA в области видеоигр.
Разработчики игр нередко отмечают, что вдохновляются любимыми фильмами, например, знаменитый геймдизайнер Хидео Кодзима, создатель известной серии игр Metal Gear Solid — страстный киноман, чьи проекты полны отсылов к сюжетам и образам кинематографа. Сближение гейми-фицированного мира и традиционного искусства экрана возникает и через сквозной интертекст на уровне нарратива, а также через технологическое решение performance capture, детально передающее игру артиста. Становится предельно ясно, что качественный сюжет игры зависит не только от технического развития в области захвата движений, но и от формы актерского существования. Такие звезды кино, как Норман Ридус, Киану Ривз, Ульям Дефо, Эллиот Пейдж, Вин Дизель, Чарльз Дэнс и многие другие активно принимают участие в разработке компьютерных постановок.
Существует ряд видеоигр, в которых сюжет и актерская игра стоят не на первом месте, и возникает проблема аутсорсингового производства, когда артист под диктовку режиссера-постановщика выполняет чисто технические задачи.
Работа артиста в технологии performing capture в игровой индустрии (а зачастую и в кинематографической) не всегда основана на методах системы Станиславского — работа в эстетике «монтажа аттракционов» исключает установку на глубинный психологизм. По воспоминаниям Кевина Спейси, сыгравшего Джонатана Айронса в популярной компьютерной игре жанра шутер Call of Duty: Advanced Warfare (2014): «Ты приходишь, они расставляют тебе точки по всему лицу, одевают в черный обтягивающий костюм, а на голову надевают шлем с камерой, которая светит фонарем прямо в глаза. Потом заводят в пустое помещение с коробками и говорят, мол, залезь на эти коробки, поставь руку сюда, будто опираешься обо что-то, спустись с коробок, сядь на стул и закончи свою часть диалога — снято! Сказать, что это очень странно, — не сказать ничего. Но на готовом видео ты стоишь в вертолете и держишься рукой за крышу, а потом запрыгиваешь в джип и уезжаешь. В мыслях только: "Что за черт? Это и близко не походит на работу в театре"»7. На современном этапе развития индустрии такой подход в основном касается второстепенных персонажей. В случае с глав' Логунов, И. (2014, 3 ноября). Кевин Спейси рассказал об участии в Call of Duty: Advanced Warfare. Igromania: [Интернет-издание]. https://www.igromania.ru/news/51208/Kevin_ Speysi_rasskazaLob_uchastii_v_CalLof_Duty_Advanced_Warfare.html (30.04.2023).
ными героями технология требует от артиста большой тонкости — причем в игровом проекте, более напряженной и сложной в профессиональном плане в силу поливариантности развития сюжета, отмеченной ранее.
Склонность недооценивать работу артистов на данный момент можно воспринимать как одну из проблем индустрии. Это влияет, в том числе, на исследовательские подходы, игнорирующие актерскую составляющую и концентрирующие внимание на визуально-графическом, звуковом и сценарно-драматургическом компонентах художественного целого. Актер Энди Серкис, которого называют «королем мокапа», в одном из своих интервью выразил негодование по поводу непонимания критиками специфики работы актера в компьютерных играх. «Они будут говорить что-то вроде: "Серкис одолжил свой голос", или "дал эмоции", или "одолжил свои движения", или "эмоционально удержал стержень", в отличие от "исполнил роль"»8. Отчасти журналисты правы, так как на итоговый результат немалое влияние оказывает аниматор, который завершает обработку цифрового образа. Работа с использованием 3D-анимации захвата движения — это симбиоз работы актера и технологии, как и в любой другой сфере, где существует современный артист. Без самого исполнителя даже самая совершенная программа не сможет создать полноценный образ.
Энди Серкис руководил актерской труппой в разработке игры Heavenly Sword. Креативным директором и автором сюжета был Тамим Антониадес — с ним через три года Серкис режиссировал сцены motion capture в игре Enslaved: Odyssey to the West (Энди сыграл обезьяну). Между двумя этими проектами прошло три года, технология motion capture не претерпела сильных изменений. Но разница в существовании актеров был весомой. В Heavenly Sword исполнители демонстрировали на площадке чрезмерную театральность, их игра казалась преувеличенной. В работе над Enslaved: Odyssey to the West актеры существовали более естественно и точно. «Все, что вы можете сделать в кино, вы можете сделать и в видеоигре с точки зрения актерского мастерства и тонкости», — отмечал Т. Антониадес9. На примере этой работы можно сделать вывод о противоречивости опыта работы артиста: с одной стороны, интенсивное взаимодействие с технологией захвата движения «закаляет» актера и позволяет ему освоить нюансы существования в этой форме актерской игры, с другой — некоторая расплывчатость драматического решения образа, вероятно, связана
8 Hurt, H. (2012, June 24). When Will a Motion-Capture Actor Win an Oscar? Wired: [Интернет-издание]. https://www.wired.com/2012/01/andy-serkis-oscars/ (30.04.2023)
9 Kyllo, B. (2011, March 7). Performance capture injects emotion into virtual worlds. CBC. https:// www.cbc.ca/news/science/performance-capture-mjects-emotion-mto-virtual-worlds-1.n04828 (30.04.2023)
с отсутствием сверхзадачи роли — четкой кульминационной точки образа, к которой стремится актер при работе в классической драматургической традиции. В большинстве игровых сценариев артист, в отличие от традиционной работы над ролью, не ищет единственный, наиболее удачный вариант решения реакции героя на одну и ту же ситуацию. Он создает широкую галерею инвариантных эпизодов с широким спектром эмоций, реализующихся в разных контекстуальных и ситуативных версиях развития сюжета в процессе выбора игроком стратегии и характера взаимодействия между персонажами. В истории кинематографа аналогию с работой такого рода можно обнаружить в сюжетной канве «Расемона» Акиры Куросавы, где актеры равно убедительно демонстрируют четыре разных варианта трактовки одного и того же события. Это требует серьезной профессиональной закалки и искусного владения школой. Здесь надо заметить, что работа в жанре многосерийной высокобюджетной телесаги в XXI веке формирует новую высокую планку мастерства современных артистов.
ОТ L.A. NOIRE К DEATH STRANDING.
3D-НУАР И АРТ-ХАУС КОМПЬЮТЕРНЫХ ИГР
Знаковым в реализации технологии захвата изображения стало использование системы motion scan при создании игры в жанре интерактивного фильма L.A. Noire от компании Rockstar. Пространство этой игры масштабно воссоздает виртуальные декорации крупного мегаполиса послевоенной Америки. Игрок-детектив, расследующий преступления, постоянно делает заключения об истинности или ложности показаний персонажей, внимательно наблюдая за их мимикой и пластикой. Поэтому использовать смоделированные компьютером персонажи было невозможно, каждый игровой эпизод отыгрывался в студии артистами, облаченными в костюмы с датчиками motion capture, под прицелом 32 камер, используемых системой Motion scan, моделирующей объемное изображение на основе захвата движения камерами с разных ракурсов10. Эта уникальная игра соединила содержательные черты американской новеллистики, классического кинонуара и в то же время сумела передать элементы подлинности актерской игры в инвариантном развитии сюжета и игровой драматургии в жанре action-adventure.
10 Кубрак, Н. (2020, 5 марта). Как работает Motion Capture: эволюция и закулисье. DTF: [Интернет-издание]. https://dtf.ru/cinema/109583-kak-rabotaet-motion-capture-evolyuciya-i-zakulise (30.04.2023).
Игра намеренно была стилизована под ретро-сериал (примечательно, что большинство актеров, принявших участие в разработке L.A. Noire, снимались в культовых «Безумцах» Мэттью Вайнера). Каждое расследование было вынесено в отдельную историю, лишь отчасти соотнесенную с общим сюжетом игры.
Авторы L.A. Noire используют воспоминания, проекции в прошлое героя, отсылающие к элементам киноэстетики нуара. Так, в системе персонажей кинонуара есть определенные жанровые типажи — роковые женщины, вездесущие репортеры и т.д. Особенно четко нуарные маски в этой игре прописаны для героев-детективов.
Высокий уровень профессионализма актеров заставляет максимально вовлечь игрока в коммуникативные детали расследования — ему приходится разгадывать характер и степень искренности персонажа. Реагируя на нюансы поведения (выражение глаз, мимику, интонации голоса), игрок должен выбрать один из трех возможных вариантов его восприятия: ложь, сомнение или правда. Выбор определяет дальнейшее развитие сюжета.
Взаимодействие с персонажами в L.A. Noire составляет большую часть игрового процесса. Для этого Бренданом МакНамарой, основателем Team Bondi, была разработана новая технология — Motion Scan. От упомянутой классической ранней версии motion capture данная технология отличается тем, что она захватывает не движения актера, а полностью его лицо, которое записывается с 32 камер, переносится в игровую программу и прикрепляется к модели персонажа. Это одна стадия анимации героя, когда актер отыгрывает сцены, сидя на стуле, и все его эмоции, чувства и переживания транслируются только с помощью мимики. На другой стадии с помощью специальных костюмов с датчиками производится захват движения актера — рук, ног, туловища, головы. В результате весь спектр эмоций выглядит по-настоящему живым.
Технология захвата лицевой анимации работает не только для создания эффекта реалистичности, но и напрямую влияет на игровой процесс, когда сидящий перед экраном должен всматриваться в лица, думать, анализировать, пытаясь соединить выводы в общую картину расследуемого дела.
Работа по воссозданию эпохи колоссальна. Первые полтора года разработчики посвятили изучению газет того времени, реального Лос-Анджелеса, разного рода аутентичных предметов, вошедших в дальнейшем в число сюжетных «вещдоков». В результате город, его улицы, интерьеры и экстерьеры, машины и костюмы людей, сам ритм городской жизни получились предельно достоверными.
Актер, исполнивший роль детектива Расти Галлоуэя, в одном из интервью отметил, что был невероятно поражен уровнем детализации, ко-
торый удалось создать Брендану МакНамаре в этой игре11. Автор музыки Эндрю Хейл, сочинивший композиции для L.A. Noire, тоже отмечал установку на аутентичность при создании настроения. Саундтрек к игре был вдохновлен фильмами 1940-х годов. Музыкальный руководитель Иван Павлович отметил, что акцент Rockstar на аутентичность и реализм в изображении, в создании атмосферы города и образов героев вдохновил композиторов.
Степень кинематографичности игры была настолько высокой, что L. A. Noire была заявлена на участие в кинофестивале Tribeca-201112.
Аарон Стэтон, исполнявший главную роль, отметил технические сложности работы актера над ролью с применением цифровых технологий захвата. Так, все диалоговые сцены артист должен был исполнять без партнера. «Во многом это было непросто — сидеть в кресле и как бы пытаться представить эти реплики, в то время как на съемочной площадке, будь то фильм, телевидение или сцена, присутствовал актер, который давал вам эту реплику»13. Процесс был очень долгим — ради каждого короткого эпизода приходилось сидеть на месте, не меняя позы по полтора-два часа. Съемочный процесс игры в технологии performance capture длился около трех месяцев и становился рутинным, однако стал для актеров большой школой14.
Рис. 2 и 3. Аарон Стэтон в роли Коула Фелпса и Майкл МакГрейди в роли Финбарра «Расти» Галлоуэя на съемочной площадке игры L.A. Noire и их образы в игре15
11 Gaudiosi J. (2011, May 11). LA Noire: interview with actor Michael McGrady. Gamesradar. https:// www.gamesradar.com/la-noire-interview-with-actor-michael-mcgrady/ (30.04.2023).
12 L.A. Noire. Tribeca Film Festival: [Официальный сайт]. https://www.tribecafilm.com/festival/ archive/512cde961c7d76e0460004e9-l-a-noire (30.04.2023)
13 McInnis, S. (2011, May 13). An interview with Aaron Staton of L.A. Noire. Gamespot. https://www. gamespot.com/articles/an-interview-with-aaron-staton-of-la-noire/1100-6313171/ (30.04.2023).
14 Parker, R. (2021, May 17). "L.A. Noire" Turns 10: Cast of the Video Game Made Up of Several "Mad Men" Alums Looks Back at Making the Imaginative Title. The Hollywood Reporter. https:// www.hollywoodreporter.com/business/digital/l-a-noire-10-video-game-mad-men-4160607/ (30.04.2023).
15 Источник изображения см. / See the image source: https://www.pcgameshardware.de/ LA-Noire-Complete-Edition-Spiel-11476/News/LA-Noire-Darsteller-beantworten-Fanfragen-zu-Motlon-Capturing-850340/galerie/1576440/ (30.04.2023).
Сравнивая работу в игре и в ретро-сериале «Безумцы» со схожим историко-культурным контекстом, Стэтон считал своих персонажей совершенно разными, хотя они и транслировали поведенческие коды одной эпохи. Его герой в игре Коул Фелпс обладал более сложным набором исходных обстоятельств и событий, на которые мог опираться артист в работе над образом — реакция на различные преступления, военный синдром после участия в войне, последствия которой создатели длили в атмосфере нуара. Кен из «Безумцев» существовал в более комфортных условиях16.
Видеоигра Death Stranding стала легендой еще до своего релиза. Ее создателю Хидео Кодзиме удалось найти 30-миллионный бюджет для проекта и собрать команду из звезд мирового кино — Нормана Ридуса, Леу Сейду, Мадса Миккельсена, Маргарет Куэлли, Томми Дженкинса, Линдси Вагнер, Эль Фаннинг и Сиори Куцуна.
Мир, в котором разворачивается сюжет Death Stranding, представляет собой враждебную среду, напоминающую «Сталкера» Тарковского (уже от-рефлексированного в игровом пространстве в более ранней одноименной игре), но имеющую свои принципиальные отличия. Игровой сюжетный мир — глубокий и запутанный, который трудно сразу понять и оценить игроку даже на интуитивном уровне. Во многом это объясняется мощным киноин-тертекстуальным бэкграундом, включающим как минимум ленты «Формула воды», «Грань будущего», «Багровый пик», «Лобстер», трилогию «Хоббита», провоцирующим погрузиться в мир Death Stranding, чтобы разобраться во всех его деталях и тонкостях.
Главный герой, которого сыграл Норман Ридус, занимается доставкой грузов из одного пункта в другой. Это непростая доставка, так как Соединенные Штаты разрушены вторжением призрачных существ из загробного мира, которые после катастрофы попали в мир живых (в этой стартовой точке сюжета можно найти прямую аналогию с близкой фабульной линией в романе «Пикник на обочине» братьев Стругацких, ставшем основой для «Сталкера» Тарковского).
Внешне игра может показаться «симулятором курьера» — большую часть игрового времени занимает обыкновенное перемещение из точки А в точку Б. Однако это не бесцельное странствование, а подлинный путь героя, в котором он, как и игрок, обретает мировоззренческий опыт.
Сам Кодзима осознавал, что должна существовать тонкая грань между авторским произведением медиаискусства и развлечением игрока. «Мне хочется сохранить баланс между искусством и развлечением, чтобы
16 McInnis, S. (2011, May 13). An interview with Aaron Staton of L.A. Noire. Gamespot. https://www. gamespot.com/articles/an-interview-with-aaron-staton-of-la-noire/1100-6313171/ (30.04.2023).
авторское высказывание могло сочетаться с тем, что люди привыкли получать от игр. Иногда я вижу очень артхаусные, независимые фильмы, но мне хочется достигнуть той точки, когда как любители инди-кино, так и любители фильмов Marvel смогут насладиться моей игрой»17.
Подбирая голливудских актеров, Хидео Кодзима не прогнозировал итогов будущего проекта. Норман Ридус согласился на главную роль в Death Stranding, познакомившись только с идеей видеоигры. Популярность актеров соответствовала высокой амбициозности проекта. Говоря о главном герое, никто не сомневался, что Норман Ридус отлично на нее подходил. Его опыт в ставшем легендарным сериале The Walking Dead уже обеспечивал необходимый бэкграунд для создания персонажа игры. В большей степени Сэма (главного героя) и создал сам Ридус. Его уникальная мимика и образ сурового, повидавшего немало трудностей в жизни, молчаливого и серьезного человека очень удачно соотносились с происходящим в атмосфере по-стапокалиптичного мира видеоигры. Кодзима при утверждении актеров на роль ориентировался на свой опыт понимания современного кинематографа. Создатель игры признавался, что на протяжении многих лет, еще со времен «бондианы», являлся фанатом Мадса Миккельсена и специально искал его контакты, чтобы пригласить в игру. Поэтому выбор Миккельсена на роль главного антагониста был для Хидео Кодзима очевиден. Примечательно, что в выборе актеров автор проекта опирался на их амплуа и прошлый опыт в кино. Стоит также обратить внимание на Гильермо дель Торо: он здесь не актер, но во время создания Silent Hills был менеджером на одном уровне с Хидео. Поэтому и его роль в игре была сопоставима — персонаж, знакомящий игрока с миром Death Stranding, становится своего рода Вергилием в кругах рукотворного ада — чем-то напоминая не традиционного помощника, а Верджа из «Дома, который построил Джек» Ларса фон Триера.
Кинематографическая интертекстуальность, пронизывающая атмосферу игры Кодзимы, заслуживает отдельного искусствоведческого разбора, который необходим при оценке феномена этой игры, преодолевающего границы авторского кино и игровой саги.
17 Смирнов, А. (2018, 28 июня) Хидео Кодзима рассказал о работе с актерами Death Stranding. DTF. https://dtf.ru/games/22358-hideo-kodzima-rasskazal-o-rabote-s-akterami-death-stranding (30.04.2023).
ЗАКЛЮЧЕНИЕ
Эволюция технологий — от озвучивания, устанавливающего дистанцию между репрезентируемым на экране исполнителем и его акустическим дублером, до performance capture — приводит к созданию новых профессиональных амплуа и дает артисту богатые возможности для разностороннего раскрытия таланта, например, при воссоздании образов фантастических существ, наделяемых антропоморфной пластикой. Motion capture и другие подобного рода открытия — закономерный итог не только развития постцифровой эпохи, но и эволюции актерской профессии. В новых формах художественного процесса востребован и используется весь арсенал возможностей национальных актерских школ крупнейших театральных центров мира. Во многих странах молодые артисты начинают постигать профессию с этюдов на основе наблюдений за животными. Работа в цифровом пространстве активизирует весь багаж актерских профессиональных навыков. Возрастающая потребность в создании виртуальных персонажей, действующих в поливариантных предлагаемых обстоятельствах, ставит перед артистом задачи совершенствования профессионального аппарата и особенно — владения этюдным методом. Конструирование интерактивной игровой реальности востребует и актерский опыт взаимодействия с активным зрителем партисипативного театра. Подобно тому, как немое кино осваивало законы цирка и пантомимы, звуковое кино — музыкального театра и системы Станиславского, интерактивный видеомир интегрирует эксперименты постдраматического театра, его перформативность и тягу к преодолению принципа четвертой стены.
3D-персонажи компьютерных игр и VR-представлений нередко отличаются от героев сцены иной биологической природой, что ставит перед исполнителем задачу по созданию образов, запредельных для его человеческой сущности, но, безусловно, является креативным вызовом в рамках эволюции актерской профессии.
Возникающие мнения и даже опасения по поводу того, что большой массив данных, получаемых в результате успешных проектов, созданных программами захвата движения, может привести к постепенной замене артиста виртуальным образом на основе ИИ, не учитывают этапы работы над уникальным характером персонажа в сочетании множества факторов актерской профессии. Современный проект компьютерной игры или фильм, если он предлагает уникальный оригинальный контент, — итог сложного взаимодействия на площадке членов большой творческой команды, где от исполнителей требуется владение целым арсеналом навыков и приемов самых разных стилей и школ драматического искусства. Причем на данном этапе развития технологий цифрового захвата движения профессиональ-
ные учебные заведения, занимающиеся подготовкой актеров, только приступают к изучению новых стилевых возможностей в рамках игровой видеоиндустрии.
Современные высокобюджетные проекты triple-A уровня больших игровых студий и компаний с многомиллионными бюджетами постепенно приближаются к тому, чтобы стать такой же самостоятельной областью искусства, как литература, театр и кино. В знаменитых игровых проектах создаются огромные виртуальные миры с множеством глубоко проработанных характеров персонажей, высоким уровнем моделирования игрового пространства и детализации сюжета, которые пишутся большой командой сценаристов и по своей сути и объему сопоставимы с произведениями художественной литературы. Анализируя то, как это направление прогрессирует на протяжении последних десятилетий, можно сделать вывод, что новые модернизации технологий motion capture и performance capture требуют переоценки потенциала игровой индустрии во взаимодействии с иными областями искусства, в первую очередь, театром и кино, а также заставляют по-новому взглянуть на формирование комплекса профессиональных качеств актера.
REFERENCES
1. Borsuk, A. (2019). Innovating Shakespeare: The politics of technological partnership in the Royal Shakespeare Company's The Tempest (2016). Humanities, 8 (1), article 42. https://doi.org/10.3390/h8010042
2. Kaku, M. (2015). Budushchee razuma [The future of the mind] (N. Lisova, Trans.; K. Toms, Ed.). Moscow: Alpina non-fiction.
3. Kirkpatrick, G. (2007). Between art and gameness: Critical theory and computer game aesthetics. Thesis Eleven, 89 (1), 74-93. https://doi. org/10.1177/0725513607076134
4. Kozlova, S.S. (2021). Dinamika telesnosti v syuzhete kinematograficheskogo proizvedeniya [The dynamics of corporality in the plot of a cinematic work] [PhD thesis in Art Studies]. Moscow.
5. Krivulya, N.G. (2022). Mekhanomorfizm: ot mekhanicheskoy kukly k kiborgam. Transformatsiya animatsionnogo personazha v usloviyakh dominirovaniya tekhnogennoy paradigmy [Mechanomorphism—from mechanical dolls to cyborgs: How animation characters transform under the dominating technogenic paradigm]. Nauka Televidenya—The Art and Science of Television, 18 (1), 159-194. https://doi.org/10.30628/1994-9529-2022-18.1-159-194, https:// www.elibrary.ru/axznom
6. Langley, T., Goodfriend, W., & Cain, T., (Eds.). (2018). Westworld psychology: Violent delights. New York: Sterling Publishing Company.
7. Lewkowicz, D., & Delevoye-Turrell, Y. (2016). Real-Time Motion Capture Toolbox (RTMocap): An open-source code for recording 3-D motion kinematics to study action-effect anticipations during motor and social interactions. Behavior Research Methods, 48 (1), 366-380. https://doi.org/10.3758/s13428-015-0580-5
8. Matvienko, K. (2009). Vs. Meyerhold i kino: Ot "Portreta Doriana Greya" k "Lesu" [Meyerhold and Cinema: From The Picture of Dorian Gray to The Forest]. Voprosy teatra, (1-2), 285-301. https://elibrary.ru/kuadub
9. Menache, A. (2000). Understanding motion capture for computer animation. San Diego: London: San Francisco: Morgan Kaufmann.
10. Mori, M. (2012). The uncanny valley. IEEE Robotics & Automation Magazine, 19 (2), 98-100. https://doi:10.1109/MRA.2012.2192811
11. Nirme, J., Haake, M., Gulz, A., & Gullberg, M. (2020). Motion capture-based animated characters for the study of speech-gesture integration. Behavior Research Methods, 52 (3), 1339-1354. https://doi.org/10.3758/s13428-019-
01319-w
12. Panos, G.P. (1994). Using virtual reality to document human existence. VR and Persons with Disabilities: Conference Proceedings. Retrieved January 30, 2023, from http://www.personafoundation.org/personaform.htm
13. Pavlyuk, E.N., Filipishin, D.A., & Yanushevsky, D.R. (2020). Obzor metodov primeneniya tekhnologiy motion capture i matte painting v sovremennom iskusstve [Overview of methods of applying motion capture and matte painting technologies in contemporary art]. In S.A. Zori, O.I. Fedyaev & A.V. Grigor"ev, (Eds.), Programmnaya inzheneriya: Metody i tekhnologii razrabotki informatsionno-vychislitel'nykh sisteme (PHVS-2020) [Software engineering: Methods and technologies for the development of information and computing systems (PIIVS-2020)] (Vol. 2, pp. 149-154). Donetsk: Donetsk National Technical University. https://www.elibrary.ru/ssfcap
14. Polishchuk, V. (2010). Akterskiy trening Mikhaila Chekhova, sdelavshiy zvezdami Merilin Monro, Dzheka Nikolsona, Kharvi Keytelya, Breda Pitta, Al' Pachino, Roberta de Niro i eshche 165 obladateley premii "Oskar" [Mikhail Chekhov's acting training, which made stars of Marilyn Monroe, Jack Nicholson, Harvey Keitel, Brad Pitt, Al Pacino, Robert De Niro and 165 other Oscar winners]. Moscow: AST.
15. Samoylova, E.O. (2014). Osobennosti vizualizatsii v interaktivnom kino i komp'yuternykh igrakh [Peculiarities of visualization in interactive movies and computer games]. Aktual'nye voprosy obshchestvennykh nauk: Sotsiologiya, politologiya, filosofiya, istoriya, Vol. 7-8, 47-52. Novosibirsk: SibAK. https:// sibac.info/conf/social/xxxix/39085
16. Sazikov, A.V., & Evallyo, V.D. (2023). Mezhdunarodnaya nauchno-prakticheskaya konferentsiya "Mediaiskusstvo — XXIvek. Genezis,
khudozhestvennye programmy, voprosy obrazovaniya" [Media Art—XXI Century: Genesis, Art Programs, Education Problems International Scientific Conference]. Nauka Televidenya—The Art and Science of Television, 19 (1), 201-223. https://doi.org/10.30628/1994-9529-2023-19.1-201-223, https:// www.elibrary.ru/rcnhum
17. Sergeyeva, O.V., Orekh, E.A. (2021) Ot analitiki dinamicheskikh obrazov Zhilya Deleza k issledovaniyu vizual'nosti ser'eznykh komp'yuternykh igr [From Gilles Deleuze's analysis of dynamic images to the exploration of the visuality of serious computer games]. Nauka Televidenya—The Art and Science of Television, 17 (4), pp. 11-30. https://doi.org/10.30628/1994-9529-2021-17.4-11-30, https:// www.elibrary.ru/pvvnnq
18. South, J.B., & Engels, K.S. (Eds.). (2018). Westworld and philosophy: If you go looking for the truth, get the whole thing. Hoboken, NJ: Wiley-Blackwell.
19. Titorenko, A.A. (2011). Metafizika videoigr [Metaphysics of video games]. Nauka Televidenya—The Art and Science of Television, 8, 149-161. https:// www.elibrary.ru/xcfjvj
20. Tobon, R. (2010). The Mocap Book: A Practical Guide to the Art of Motion Capture. Orlando: Foris Force.
21. Vellington, A. T. (2021). Android/artist v epokhu mul'timedial'nosti [Android/ artist in the new multimedia era]. Teatr. Zhivopis'. Kino. Muzyka, (1), 138-154. https://doi.org/10.35852/2588-0144-2021-1-138-154, https://www.elibrary.ru/ywvzrk
22. Zorin, A.N. (2020). "Mir Dikogo Zapada": Ot evolyutsii k revolyutsii vesterna [Westworld: From evolution to revolution of the western]. Nauka Televidenya—The Art and Science of Television, 16 (3), 61-85. https://doi.org/10.30628/1994-9529-2020-16.3-61-85, https://www.elibrary.ru/cftsnd
ЛИТЕРАТУРА
1. Веллингтон, А. Т. (2021). Андроид/артист в эпоху мультимедиальности. Театр. Живопись. Кино. Музыка, (1), 138-154. https://doi.org/10.35852/2588-0144-2021-1-138-154, https://www.elibrary.ru/YWVZRK
2. Зорин, А.Н. (2020). «Мир Дикого Запада». От эволюции к революции вестерна. Наука телевидения, 16 (3), 61-85. https://doi.org/10.30628/1994-9529-2020-16.3-61-85, https://www.elibrary.ru/CFTSND
3. Каку, М. (2015). Будущее разума (Н. Лисова, пер.; К. Томс, ред.). Москва: Альпина нон-фикшн.
4. Козлова, С.С. (2021). Динамика телесности в сюжете кинематографического произведения [дис. ... канд. искусствовед.: 17.00.03, Москва].
5. Кривуля, Н.Г. (2022). Механоморфизм: от механической куклы к киборгам. Трансформация анимационного персонажа в условиях доминирова-
ния техногенной парадигмы. Наука телевидения, 18 (1), 159-194. https://doi. org/10.30628/1994-9529-2022-18.1-159-194, https://www.elibrary.ru/AXZNOM
6. Матвиенко, К. (2009) Вс. Мейерхольд и кино: От «Портрета Дориана Грея» к «Лесу». Вопросы театра. Proscenium, 1-2, 285-301. https://elibrary. ru/kuadub
7. Павлюк, Е.Н., Филипишин, Д.А., Янушевский, Д.Р. (2020). Обзор методов применения технологий motion capture и matte painting в современном искусстве. С.А. Зори, (ред.-сост.), Программная инженерия: методы и технологии разработки информационно-вычислительных системе (ПИ-ИВС-2020): сб. науч. тр. III Международной научно-практической конференции (Т. 2, с. 149-154). Донецк: Донецкий национальный технический университет. https://www.elibrary.ru/SSFCAP
8. Полищук, В. (2010). Актерский тренинг Михаила Чехова, сделавший звездами Мэрилин Монро, Джека Николсона, Харви Кейтеля, Брэда Питта, Аль Пачино, Роберта де Ниро и еще 165 обладателей премии «Оскар». Москва: ACT.
9. Сазиков, А.В., Эвалльё, В.Д. (2023). Международная научно-практическая конференция «Медиаискусство — XXI век. Генезис, художественные программы, вопросы образования». Наука телевидения, 19 (1), 201-223. https://doi.org/10.30628/1994-9529-2023-19.1-201-223, https://www.eli bra ry. ru/RCNHUM
10. Самойлова, Е.О. (2014). Особенности визуализации в интерактивном кино и компьютерных играх. Актуальные вопросы общественных наук: социология, политология, философия, история, (40), 47-52. https://www. elibrary.ru/SKICFB
11. Сергеева, О.В., Орех, Е.А. (2021). От аналитики динамических образов Жиля Делёза к исследованию визуальности серьезных компьютерных игр. Наука телевидения, 17 (4), 11-30. https://doi.org/10.30628/1994-9529-2021-17.4-11-30, https://www.elibrary.ru/PVVNNQ
12. Титоренко, А.А. (2011). Метафизика видеоигр. Наука телевидения, 8, 149-161. https://www.elibrary.ru/XCFJVJ
13. Borsuk, A. (2019). Innovating Shakespeare: The Politics of Technological Partnership in the Royal Shakespeare Company's The Tempest (2016). Humanities, 8 (1), article 42. https://doi.org/10.3390/h8010042
14. Kirkpatrick G. (2007). Between art and gameness: Critical theory and computer game aesthetics. Thesis Eleven, 89 (1), 74-93. https://doi. org/10.1177/0725513607076134
15. Langley, T., Goodfriend, W., Cain, T., (Eds.). (2018). Westworld Psychology: Violent Delights. New York: Sterling Publishing Company.
16. Lewkowicz, D., Delevoye-Turrell, Y. (2016). Real-Time Motion Capture Toolbox (RTMocap): an open-source code for recording 3-D motion kinematics to study action-effect anticipations during motor and social interactions. Behavior Research Methods, 48 (1), 366-380. https://doi.org/10.3758/s13428-015-0580-5
17. Menache, A. (2000). Understanding Motion Capture for Computer Animation. San Diego: London: San Francisco: Morgan Kaufmann.
18. Mori, M. (2012). The Uncanny Valley. IEEE Robotics & Automation Magazine, 19 (2), 98-100. https://doi:10.1109/MRA.2012.2192811
19. Nirme, J., Haake, M., Gulz, A. et al. (2020). Motion capture-based animated characters for the study of speech-gesture integration. Behavior Research Methods, 52 (3), 1339-1354. https://doi.org/10.3758/s13428-019-01319-w
20. Panos, G.P. (1994). Using Virtual Reality to Document Human Existence. VR and Persons with Disabilities. Conference Proceedings. http://www. personafoundation.org/personaform.htm (30.01.2023).
21. South, J.B., Engels, K.S. (Eds.). (2018). Westworld and Philosophy: If You Go Looking for the Truth, Get the Whole Thing. Hoboken, NJ: Wiley-Blackwell.
22. Tobon, R. (2010). The Mocap Book: A Practical Guide to the Art of Motion Capture. Orlando: Foris Force.
Авторский вклад
А.Н. Зорин — концептуализация, методология, сбор материала и разработка проблемы исследования, редактирование по замечаниям рецензента, общее руководство.
Д.А. Яхамов — сбор материала и разработка проблемы исследования, анализ видеоигр.
Authors' contributions
Artem Zorin conceptualized the general idea, elaborated the methodology, collected the material and developed the research problem, edited the text according to the reviewer's comments, and provided general guidance.
Daniil Yakhamov collected the material and developed the research problem, as well as analyzed video games.
ABOUT THE AUTHORS ARTEM N. ZORIN
Dr. Sci. (Philology), Professor at the Department
of Literary Criticism and Journalism,
Saratov Chernyshevsky State University,
83, korp. 11, Astrakhanskaya, Saratov 410012, Russia;
Professor at the Humanities & Social Sciences Center,
MIPT University,
9, Insitutsky pereulok, 141701 Dolgoprudny, Moscow Oblast, Russia
Researcher ID: D-3015-2017
ORCID: 0000-0002-2342-4039
E-mail: [email protected]
DANIIL A. YAKHAMOV
Student of the Theater Institute, Department of Actor's Skill,
Saratov State Conservatory,
1, Stolypina prospect, 410012 Saratov, Russia
Researcher ID: IYJ-1408-2023
ORCID: 0009-0006-3908-4071
E-mail: [email protected]
СВЕДЕНИЯ ОБ АВТОРАХ
АРТЕМ НИКОЛАЕВИЧ ЗОРИН
доктор филологических наук, профессор кафедры
общего литературоведения и журналистики,
Саратовский национальный исследовательский
государственный университет им. Н. Г. Чернышевского,
410012, г. Саратов, ул. Астраханская, д. 83, корп. 11,
профессор Учебно-научного центра
гуманитарных и социальных наук,
Московский физико-технический университет,
141701, г. Долгопрудный, Институтский переулок, д. 9
Researcher ID: D-3015-2017
ORCID: 0000-0002-2342-4039
E-mail: [email protected]
ДАНИИЛ АЛЕКСАНДРОВИЧ ЯХАМОВ
студент Театрального института, кафедра мастерства актера,
Саратовская государственная консерватория им. Л.В. Собинова,
410012, г. Саратов, пр-т им. Петра Столыпина, д. 1
Researcher ID: IYJ-1408-2023
ORCID: 0009-0006-3908-4071
E-mail: [email protected]
