Нет. Я перепутал, в самом package.json обычный json, никаких тебе камментов и никаких ключей без кавычек. Правда вручную этот файл редко кто правит.
Я перепутал с конфигами разных билд-систем, вроде webpack, но в них как раз не json, а обычный js, и расширение файла соответствующее.