東華大學圖書館 |

Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing = = Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing.

紀錄類型:	書目-電子資源 : Monograph/item
正題名/作者:	Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing =/
其他題名:	Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing.
作者:	Jimenez, Rafael Zequeira.
出版者:	Ann Arbor : ProQuest Dissertations & Theses, : 2022,
面頁冊數:	127 p.
附註:	Source: Dissertations Abstracts International, Volume: 83-11, Section: B.
Contained By:	Dissertations Abstracts International83-11B.
標題:	Usability. -
電子資源:	http://pqdd.sinica.edu.tw/twdaoapp/servlet/advanced?query=29071206
ISBN:	9798426876187

Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing = = Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing.
Jimenez, Rafael Zequeira.

Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing =Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing. - Ann Arbor : ProQuest Dissertations & Theses, 2022 - 127 p.

Source: Dissertations Abstracts International, Volume: 83-11, Section: B.

Thesis (Ph.D.)--Technische Universitaet Berlin (Germany), 2022.

This item must not be sold to any third party vendors.

Crowdsourcing has emerged as a competitive mechanism to conduct user studies on the Internet. Users in crowdsourcing perform small tasks remotely from their computer or mobile device in exchange for monetary compensation. Nowadays, multiple crowdsourcing platforms offer a fast, low cost and scalable approach to collect human input for data acquisition and annotations. However, the question remains whether the collected ratings in an online platform are still valid and reliable. And if such ratings are comparable to those gathered in a constrained laboratory environment. There is a lack of control to supervise the participant and often not enough information about their playback system and background environment. Therefore, different quality control mechanisms have been proposed to ensure reliable results and monitor these factors to the extent possible.The quality of the transmitted speech signal is essential for telecommunication network providers. It is an important indicator used to evaluate their systems, services, and to counterbalance potential issues. Traditionally, subjective speech quality studies are conducted under controlled laboratory conditions with professional audio equipment. This way, good control over the experimental setup can be accomplished, but with some disadvantages: conducting laboratory-based studies is expensive, time-consuming, and the number of participants is often relatively low. Consequently, the experiment outcomes might not be representative of a broad population.In contrast, crowdsourcing represents an excellent opportunity to move such listening tests to the Internet and target a much wider and diverse pool of potential users at a fraction of the cost and time. Nevertheless, the implementation of existing subjective testing methodologies into an Internet-based environment is not straightforward. Multiple challenges arise that need to be addressed to gather valid and reliable results.This dissertation evaluates the impact of relevant factors affecting the results of speech quality assessment studies carried out in crowdsourcing. These factors relate to the test structure, the effect of environmental background noise, and the influence of language differences. To the best of the author's knowledge, these influencing factors have not yet been addressed.The results indicate that it is better to offer test tasks with a number of speech stimuli between 10 and 20 to encourage listener participation while reducing study response times. Additionally, the outcomes suggest that the threshold level of environmental background noise for collecting reliable speech quality scores in crowdsourcing is between 43dB(A) and 50dB(A). Also, listeners were more tolerant of the TV-Show noise compared to the street traffic noise when executing the listening test. Furthermore, the feasibility of using web-audio recordings for environmental noise classification is determined. A Multi-layer Perceptron Classifier with an adam solver achieved an accuracy of 0.69 in noise classification. In contrast, a deep model based on a "Long Short-Term Memory'' architecture accomplished an RMSE of 4.58 on average (scale of 30.6dBA to 81.3dBA) on the test set for noise level estimation.Finally, an experiment was performed to determine if it is possible to gather reliable speech quality ratings for German stimuli with native English and Spanish speakers in a crowdsourcing environment. The Person correlation to the laboratory results was strong and significant, and the RMSE low despite the listeners' mother tongue. However, a bias was seen in the quality scores collected from the English and Spanish crowd-workers, which was then corrected with a first-order mapping.

ISBN: 9798426876187Subjects--Topical Terms:

3681540
Usability.

Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing = = Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing.
LDR:09115nmm a2200325 4500 001 2350714
005 20221020130426.5
008 241004s2022 ||||||||||||||||| ||eng d
020 $a 9798426876187
035 $a (MiAaPQ)AAI29071206
035 $a (MiAaPQ)TechBerlin_1130313461
035 $a AAI29071206
040 $a MiAaPQ $c MiAaPQ
100 1 $a Jimenez, Rafael Zequeira. $3 3690220
245 1 0 $a Analysis of Influencing Factors in Speech Quality Assessment Using Crowdsourcing = $b Analyse der Einflussfaktoren bei der Bewertung der Sprachqualitat Durch Crowdsourcing.
260 1 $a Ann Arbor : $b ProQuest Dissertations & Theses, $c 2022
300 $a 127 p.
500 $a Source: Dissertations Abstracts International, Volume: 83-11, Section: B.
500 $a Advisor: Moller, Sebastian;Hohlfeld, Oliver;Pocta, Peter;Kupper, Axel.
502 $a Thesis (Ph.D.)--Technische Universitaet Berlin (Germany), 2022.
506 $a This item must not be sold to any third party vendors.
520 $a Crowdsourcing has emerged as a competitive mechanism to conduct user studies on the Internet. Users in crowdsourcing perform small tasks remotely from their computer or mobile device in exchange for monetary compensation. Nowadays, multiple crowdsourcing platforms offer a fast, low cost and scalable approach to collect human input for data acquisition and annotations. However, the question remains whether the collected ratings in an online platform are still valid and reliable. And if such ratings are comparable to those gathered in a constrained laboratory environment. There is a lack of control to supervise the participant and often not enough information about their playback system and background environment. Therefore, different quality control mechanisms have been proposed to ensure reliable results and monitor these factors to the extent possible.The quality of the transmitted speech signal is essential for telecommunication network providers. It is an important indicator used to evaluate their systems, services, and to counterbalance potential issues. Traditionally, subjective speech quality studies are conducted under controlled laboratory conditions with professional audio equipment. This way, good control over the experimental setup can be accomplished, but with some disadvantages: conducting laboratory-based studies is expensive, time-consuming, and the number of participants is often relatively low. Consequently, the experiment outcomes might not be representative of a broad population.In contrast, crowdsourcing represents an excellent opportunity to move such listening tests to the Internet and target a much wider and diverse pool of potential users at a fraction of the cost and time. Nevertheless, the implementation of existing subjective testing methodologies into an Internet-based environment is not straightforward. Multiple challenges arise that need to be addressed to gather valid and reliable results.This dissertation evaluates the impact of relevant factors affecting the results of speech quality assessment studies carried out in crowdsourcing. These factors relate to the test structure, the effect of environmental background noise, and the influence of language differences. To the best of the author's knowledge, these influencing factors have not yet been addressed.The results indicate that it is better to offer test tasks with a number of speech stimuli between 10 and 20 to encourage listener participation while reducing study response times. Additionally, the outcomes suggest that the threshold level of environmental background noise for collecting reliable speech quality scores in crowdsourcing is between 43dB(A) and 50dB(A). Also, listeners were more tolerant of the TV-Show noise compared to the street traffic noise when executing the listening test. Furthermore, the feasibility of using web-audio recordings for environmental noise classification is determined. A Multi-layer Perceptron Classifier with an adam solver achieved an accuracy of 0.69 in noise classification. In contrast, a deep model based on a "Long Short-Term Memory'' architecture accomplished an RMSE of 4.58 on average (scale of 30.6dBA to 81.3dBA) on the test set for noise level estimation.Finally, an experiment was performed to determine if it is possible to gather reliable speech quality ratings for German stimuli with native English and Spanish speakers in a crowdsourcing environment. The Person correlation to the laboratory results was strong and significant, and the RMSE low despite the listeners' mother tongue. However, a bias was seen in the quality scores collected from the English and Spanish crowd-workers, which was then corrected with a first-order mapping.
520 $a Crowdsourcing hat sich als wettbewerbsfahiger Mechanismus zur Durchfuhrung von Nutzerstudien im Internet herauskristallisiert. Diese Benutzer fuhren kleine Aufgaben aus der Ferne von ihrem Computer oder Mobilgerat aus und erhalten dafur eine finanzielle Entschadigung. Heutzutage bieten mehrere Crowdsourcing-Plattformen einen schnellen, kostengunstigen und skalierbaren Ansatz, um menschliche Eingaben fur die Datenerfassung und Annotationen zu sammeln. Es bleibt jedoch die Frage, ob die gesammelten Bewertungen in einer Online-Plattform noch gultig und zuverlassig sind, und ob solche Bewertungen mit denen vergleichbar sind, die in einer Laborumgebung gesammelt wurden. Es fehlt die Kontrolle, um den Teilnehmer zu uberwachen, und oft gibt es nicht genugend Informationen uber das Wiedergabesystem und die Hintergrundumgebung. Daher wurden verschiedene Qualitatskontrollmechanismen vorgeschlagen, um zuverlassige Ergebnisse zu gewahrleisten und diese Faktoren so weit wie moglich zu uberwachen.Die Qualitat des ubertragenen Sprachsignals ist fur Anbieter von Telekommunikationsnetzen essentiell. Sie ist ein wichtiger Indikator, um ihre Systeme und Dienste zu bewerten und um moglichen Problemen entgegenzuwirken. Traditionell werden Studien zur subjektiven Sprachqualitat unter kontrollierten Laborbedingungen mit professionellem Audio-Equipment durchgefuhrt. Auf diese Weise kann eine gute Kontrolle uber den Versuchsaufbau erreicht werden, allerdings mit einigen Nachteilen: Es ist teuer, zeitaufwendig und die Anzahl der Teilnehmer ist oft relativ gering. Folglich sind die Ergebnisse des Experiments moglicherweise nicht reprasentativ fur eine breite Population.Im Gegensatz dazu stellt Crowdsourcing eine hervorragende Moglichkeit dar, solche Hortests ins Internet zu verlagern und einen viel groseren und vielfaltigeren Pool von potenziellen Nutzern zu einem Bruchteil der Kosten und des Zeitaufwands anzusprechen. Dennoch ist die Implementierung bestehender subjektiver Testmethoden in eine internetbasierte Umgebung nicht einfach. Es ergeben sich mehrere Herausforderungen, die angegangen werden mussen, um valide und zuverlassige Ergebnisse zu erhalten.Diese Dissertation evaluiert den Einfluss relevanter Faktoren, die die Ergebnisse von Studien zur Bewertung der Sprachqualitat, die im Crowdsourcing durchgefuhrt werden, beeinflussen. Diese Faktoren beziehen sich auf die Teststruktur, den Einfluss von Umgebungsgerauschen und den Einfluss von Sprachunterschieden. Nach bestem Wissen des Autors sind diese Einflussfaktoren bisher noch nicht behandelt worden.Die Ergebnisse deuten darauf hin, dass es besser ist, Testaufgaben mit einer Anzahl von Sprachstimuli zwischen 10 und 20 anzubieten, um die Horerbeteiligung zu fordern und gleichzeitig die Reaktionszeiten der Studie zu reduzieren. Daruber hinaus deuten die Ergebnisse darauf hin, dass der Schwellenwert des Umgebungsgerausches fur die Erfassung zuverlassiger Sprachqualitatswerte beim Crowdsourcing zwischen 43dBA und 50dBA liegt. Auserdem waren die Horer bei der Durchfuhrung des Hortests toleranter gegenuber dem Larm der TV-Show als gegenuber dem Strasenverkehrslarm. Daruber hinaus wird die Machbarkeit der Verwendung von Web-Audio-Aufnahmen fur die Klassifizierung von Umgebungsgerauschen ermittelt. Ein Multi-Layer-Perceptron-Klassifikator mit einem "Adam''-Solver erreichte bei der Gerauschklassifikation eine Genauigkeit von 0,69. Im Gegensatz dazu erreichte ein tiefes Modell, das auf einer "Long Short-Term Memory"-Architektur basiert, einen RMSE von durchschnittlich 4,58 (Skala von 30,6dBA bis 81,3dBA) auf dem Testset zur Gerauschpegelschatzung.Schlieslich wurde ein Experiment durchgefuhrt, um festzustellen, ob es moglich ist, zuverlassige Sprachqualitatsbewertungen fur deutsche Stimuli mit englischen und spanischen Muttersprachlern in einer Crowdsourcing-Umgebung zu sammeln. Die Personenkorrelation zu den Laborergebnissen war stark und signifikant, und der RMSE trotz der Muttersprache der Horer niedrig. Allerdings wurde eine Verzerrung in den von den englischen und spanischen Crowd-Workern gesammelten Qualitatsbewertungen festgestellt, die dann mit einem Mapping erster Ordnung korrigiert wurde.
590 $a School code: 1119.
650 4 $a Usability. $3 3681540
650 4 $a Internet. $3 527226
650 4 $a Multimedia. $2 gtt $3 1000510
650 4 $a Telecommunications systems. $3 649821
650 4 $a Communications networks. $3 3564745
650 4 $a Listening. $3 530843
650 4 $a Audio recordings. $3 3544031
650 4 $a Crowdsourcing. $3 3377825
650 4 $a Speech. $3 530580
650 4 $a Variance analysis. $3 3544969
650 4 $a Computer science. $3 523869
650 4 $a Electrical engineering. $3 649834
690 $a 0544
690 $a 0984
710 2 $a Technische Universitaet Berlin (Germany). $3 3480527
773 0 $t Dissertations Abstracts International $g 83-11B.
790 $a 1119
791 $a Ph.D.
792 $a 2022
793 $a English
856 4 0 $u http://pqdd.sinica.edu.tw/twdaoapp/servlet/advanced?query=29071206