Jithin babu Pozhamkandath Thilakan

• The acoustic and auditory properties of individual musical instruments have been extensively studied over recent decades, however, their sonic interplay within a musical ensemble remains under-explored. Given their considerable importance across various fields, aspects of ensemble sound, such as blending of instruments, perceptual relevance of directivity of instruments, and the role of room acoustics, demand comprehensive evaluations and an interdisciplinary approach. This study aims to improve the perceptually motivated acoustic representation of instruments in joint performance in both real and virtual acoustic domains, by exploring different stages of these aspects in musically realistic contexts. An explorative listening test with live string ensemble performance suggested that the characteristics of the acoustic environment considerably influence the blending of violins playing in unison. Combining methods of Machine Learning and Music Information Retrieval, a computational modelling approach is proposed to classify sound samples from an ensemble recording according to perceived blending. Proving this classification to be effective for monophonically rendered sound samples of two violins from in-situ environments, without requiring the individual source recordings marks a first step towards comprehensive blending modelling. Furthermore, the applicability of close-microphone recordings for auralization of a perceptually convincing ensemble sound was successfully demonstrated. Advancing previous research in directivity perception, it could be demonstrated that the room acoustics have a greater impact on the orientation perception of sources than their directivity. By involving instruments with distinct radiation directivities in a variety of acoustic environments, the major acoustical parameters influencing the orientation perception have been explored. Examining musical instruments with their inherent dynamic directivity against loudspeakers in in-situ conditions showed that their distinction becomes obscured under specific acoustic conditions. These findings led to a pilot study on the perceptual relevance of high-order directivity modelling of individual sources forming an ensemble. Results indicate, that even with an increasing number of sources, their detailed directivity characteristics remain pivotal for auralizing ensemble performance. The role of room acoustics in shaping the overall blending is shown to be dependent on the source-level blending. A computational model for predicting overall perceived blending in musical performance using source-level blending ratings and room acoustical parameters was suggested and validated. Analysis of its feature importance revealed that the room acoustic contribution to the overall blending impression is nearly as significant as the blending between instruments at the source level. By emphasizing and detailing relations between musical blending, directivity perception, and auralization aspects, this thesis contributes to the advancement of ensemble sound research and offers insights pertinent to music performance and perception research, virtual acoustics, and related fields.
• Die akustischen und auditiven Eigenschaften einzelner Musikinstrumente wurden in den letzten Jahrzehnten ausführlich untersucht - ihr klangliches Zusammenspiel in einem Ensemble ist jedoch vergleichsweise wenig erforscht. Aspekte des Ensembleklangs wie die Klangverschmelzung, der Beitrag der Abstrahlcharakteristik für die Klangformung und der Einfluss der Raumakustik sind für verschiedene Fachgebiete von Bedeutung und erfordern daher eine ganzheitliche Betrachtung und einen interdisziplinären Ansatz. Ziel dieser Arbeit ist es daher, die perzeptiv relevanten akustischen Darstellungen gemeinsam klingender Instrumente für sowohl reale als auch virtuelle akustische Umgebungen zu verbessern. Dazu werden verschiedene Abstufungen dieser Aspekte in musikalisch realistischen Kontexten untersucht. Ein explorativer Hörtest anhand von live Einspielungen eines Streicherensembles ergab, dass die raumakustischen Eigenschaften die Klangverschmelzung unisono spielender Violinen erheblich beeinflussen. Durch die Kombination von Methoden des maschinellen Lernens und des Music Information Retrieval wird ein Modellierungsansatz vorgestellt der es erlaubt, Klangbeispiele aus einer Ensembleaufnahme nach dem Grad der wahrgenommenen Klangverschmelzung zu klassifizieren. Diese Klassifikationsmethode kommt dabei ohne nahmikrofonierte, quellgetrennte Signale aus und wurde vielmehr anhand von monophonen Raumklangaufnahmen von zwei Violinen unter realen Aufführungsbedingungen validiert. Diese Methodik stellt einen erfolgversprechenden ersten Schritt hin zu einer ganzheitlichen Modellierung von Klangverschmelzung dar. Darüber hinaus wird gezeigt, dass Nahmikrofonaufnahmen geeignet sind um einen perzeptiv überzeugenden Ensembleklang zu auralisieren. In Weiterentwicklung früherer Forschungen zur Richtwirkungswahrnehmung konnte gezeigt werden, dass die Raumakustik einen größeren Einfluss auf die Wahrnehmung der Orientierung einer Quelle hat als deren Richtwirkung. Anhand von Instrumenten mit unterschiedlichen Hauptabstrahlrichtungen in verschiedenen akustischen Umgebungen wurden die akustischen Parameter identifiziert welche die Orientierungswahrnehmung hauptsächlich bedingen. Für Musikinstrumente als Quellen mit inhärent dynamischer Richtwirkung zeigte sich im in-situ Vergleich zu Lautsprechern, dass bestimmte raumakustische Bedingungen die Unterscheidbarkeit erschweren. Diese Erkenntnis inspirierte eine Pilotstudie zur Detailtreue der Richtcharakteristikmodellierung von Quellen innerhalb eines Ensembles in Bezug auf die Wahrnehmung des Gesamtklangs. Diese zeigt, dass selbst bei einer zunehmenden Anzahl von Quellen deren spezifische Richtcharakteristik weiterhin von entscheidender Bedeutung für die Auralisierung von Ensembledarbietungen ist. Die Rolle der Raumakustik bei der Gestaltung von Ensembleklang hängt dabei von der Klangverschmelzung auf Quellenebene ab. Ein Modell zur Vorhersage der insgesamt wahrgenommenen Verschmelzung einer Musikdarbietung wird vorgeschlagen und validiert, das auf akustischen Parametern basiert und mit subjektiven Einschätzungen der Klangverschmelzung auf Quellenebene trainiert wird. Eine Merkmalsanalyse ergab dabei, dass die Raumakustik fast genauso wichtig ist für den Gesamteindruck von Ensembleklang wie die Klangverschmelzung der einzelnen Instrumente auf Quellenebene. Durch die Herausarbeitung und Verdeutlichung der Zusammenhänge zwischen musikalischer Verschmelzung, Richtwirkungswahrnehmung und Auralisation trägt diese Arbeit zur Weiterentwicklung der Ensembleklangforschung bei und bietet Erkenntnisse, die für die Musikaufführungs- und Musikwahrnehmungsforschung, die virtuelle Akustik und verwandte Bereiche relevant sind.