Skip to content

Overview

Approaches

  1. Path 1: HCI
    • Use VR testbed to identify optimal perceptual perturbations for improving target speaker intelligibility.
    • Objective measures of listening effort via EEG/fNIRS/pupil dilation
  2. Path 2: SP
    • Use neuro-inspired approaches (oscillations, neuro-architectures, SSN, neural representations) for SOTA models
    • Cross-modal fusion, using Gaze, MC Audio, and Video
  3. Combine
    • Use outcomes of Path 2 to segregate target speaker speech
    • Use outcomes of Path 1 to implement and evaluate speaker separation on smart glasses

Orga

  • Anmeldung
    • Früher anmelden, Bearbeitung kann sich ziehen
    • Potentiell schon Ende April anmelden
    • 2 Seiten Forschungsskizze
      • Basierend auf CHAIS Proposal
      • Allgemeiner halten als Forschungsprojekt
      • Titel Richtung "speech enhancement in multi-speaker environments"
  • Immatrikulation bei Uni Hamburg
  • Erste paper üblich nach 6-12 Monaten (eher später)
  • Erwartungen für Cum Diss
    • Timo: 3 long paper (or 2 short for each long)
    • Frank: 4-6 long paper

Conferences

SP

HCI

  • ISMAR (AR)
  • SIGCHI
  • ACM SIGACCESS (accessibility!)
  • UIST (interfaces)
  • SIGCHI SUI (Spatial User Interaction)
  • Mensch und Computer

Journals

SP

HCI

  • ACM CHI
  • INTERACT
  • HHAI

UKE

  • Nature
  • Nature Neurosci
  • Current Biology
  • Science Adv
  • PNAS
  • PLoS Biology

Resources