Closing the gaps: applicability of missing data handling techniques for urban runoff quality time series

# Maskininlärning ökar datakvaliteten i urbana dagvattenmätningar Sensorer för realtidsövervakning av urbana dagvattensystem genererar omfattande data, men utrustningsfel och miljöstörningar skapar informationsluckor som försvagar beslutsfattandet. Forskare vid Luleå tekniska universitet och NTNU jämförde traditionella interpolationsmetoder med neurala nätverk för att återskapa dessa datahål i tidsserier från vägavrinning. Enkla interpolationsmetoder visade hög övergripande noggrannhet, men neurala nätverk överträffade dem under perioder med kraftiga fluktuationer – exakt när stormvattenhanteringen behöver mest tillförlitlig information. Skillnaden blir kritisk vid design av reningsanläggningar och prediktiva system för översvämningsrisker. Resultaten visar att valet av metod beror på specifika datakvalitetsvillkor och användningskontext. För infrastrukturplanerare innebär detta att investeringar i sensorövervakning kräver lämplig datalösning för att maximera informationsvärdet och minska osäkerheten i dimensioneringsbeslut.

<p>Adoption of sensor-based on-site monitoring in urban-water engineering enables the collection of high-resolution data, but malfunctions and environmental disturbances can pose a serious challenge in uptake and use, as they result in data gaps and loss of information. One solution to handle these data gaps is the use of machine-learning (ML) algorithms. This study compared widely used deterministic interpolation methods and data-driven methods – particularly neural networks – for reconstructing extended data gaps in urban runoff quality time series. The analysis is based on runoff water quality data from a small and relatively homogeneous section of an urban road. While simpler interpolation methods achieved high overall accuracy, ML models outperformed the simpler methods during highly dynamic periods – those that are typically more challenging to capture and often of particular interest in stormwater management contexts. The findings highlight both the limitations and the potential of each approach, emphasizing the particular importance of understanding context and data conditions when selecting the most suitable method for the task.</p>