По факту надо для каждой точки от лидара сказать что за точка: дорога? авто? человек? И т.д. Для картинок это работает хорошо, но у облаков точек есть свои нюансы, среди которых размер, разные корректировки, артефакты...
Я не настолько профи чтобы говорить подробно об этом, но знаю что дождь/туман мешают: создают шум и в некоторых случаях отражают луч в другое место(что по сути тоже шум). Можно либо этот шум отсеивать перед расспознанием либо создать модель устойчивою к шуму. Некоторые комбинируют лидар с картинкой с камер(правда из всех датасетов только с ваймо это получится нормально). Сейчас популярен метод проэкции 3д облака на 2д поверхность(т.е. картинку), обработка картинки обычными моделями для картинок(с парой модификаций) и потом коректировка ошибок из за 3д->2д. Все это можно делать в риалтайме