Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2020 June 03

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Но работает (с)
источник

AP

Alex Panso in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Dan • Captain
Но работает (с)
))) значит надо не трогать
источник

AS

Alex Surname in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Alex Dev
какую БД использует телеграмм на сервере  есть инфа ? или как думаете
у них исходники открыты вроде, посмотри
источник
2020 June 04

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Я снова хотел бы обратиться с проблемами сборки mmdetection. Уже часов 14 бьюсь над различными версиями торча и куды, проект стоит.
Сейчас основная ошибка, к которой получилось свести установку такая:
#define CHECK_CUDA(x) AT_CHECK(x.type().is_cuda(), #x, " must be a CUDAtensor ")
                                          ^
   /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:9:3: note: in expansion of macro ‘CHECK_CUDA’
      CHECK_CUDA(dets);
      ^
   In file included from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/ATen/Tensor.h:3:0,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/ATen/Context.h:4,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/ATen/ATen.h:5,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/types.h:3,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/data/dataloader_options.h:4,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/data/dataloader/base.h:3,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/data/dataloader/stateful.h:3,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/data/dataloader.h:3,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/data.h:3,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/csrc/api/include/torch/all.h:4,
                    from /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/torch/extension.h:4,
                    from /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:2:
   /home/s57/anaconda3/envs/open-mmlab/lib/python3.7/site-packages/torch/include/ATen/core/TensorBody.h:268:30: note: declared here
      DeprecatedTypeProperties & type() const {
                                 ^~~~
   /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:4:23: error: ‘AT_CHECK’ was not declared in this scope
    #define CHECK_CUDA(x) AT_CHECK(x.type().is_cuda(), #x, " must be a CUDAtensor ")
                          ^
   /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:4:23: note: in definition of macro ‘CHECK_CUDA’
    #define CHECK_CUDA(x) AT_CHECK(x.type().is_cuda(), #x, " must be a CUDAtensor ")
                          ^~~~~~~~
   /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:4:23: note: suggested alternative: ‘DCHECK’
    #define CHECK_CUDA(x) AT_CHECK(x.type().is_cuda(), #x, " must be a CUDAtensor ")
                          ^
   /media/s57/2C7DB1632F1E7FB3/Projects/nn-tablerec/mmdetection/mmdet/ops/nms/src/nms_cuda.cpp:4:23: note: in definition of macro ‘CHECK_CUDA’
    #define CHECK_CUDA(x) AT_CHECK(x.type().is_cuda(), #x, " must be a CUDAtensor ")
                          ^~~~~~~~
   ninja: build stopped: subcommand failed.
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
CUDA 10.1 , рантайм и компилятор. Все версии система обнаруживает, в конде установлен cudatoolkit
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Сейчас пробую запустить через докер, используя этот файл (с небольшими изменениями)
https://github.com/open-mmlab/mmdetection/blob/v1.2.0/docker/Dockerfile
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Почему-то получается, что torch.cuda.is_available() is False (хотя на хосте CUDA, опять же, установлена. Читал на гитхабе что-то про nvidia-docker, но он, кажется, уже не нужен на свежих версиях докера.
источник

S

Sergey in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Изменения такие:
ARG PYTORCH="1.4"
ARG CUDA="10.1"
ARG CUDNN="7"

FROM pytorch/pytorch:${PYTORCH}-cuda${CUDA}-cudnn${CUDNN}-devel
...
RUN git clone --branch v1.2.0 https://github.com/open-mmlab/mmdetection.git /mmdetection
WORKDIR /mmdetection
ENV FORCE_CUDA="1"
RUN pip install "git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI"
RUN pip install --no-cache-dir -v -e .
...
источник

PK

Pavel Kirpich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Гайз, как замерить сколько потребляет тессеракт на моем компе? Хочу такой же мощности на сервере сделать
источник

I

Infatum in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Jürgen Romins
Так вроде дока у гугла норм
Неа, там пример со страктом две, а откуда его импортировать и как - поиграй в угадайку
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Pavel Kirpich
Гайз, как замерить сколько потребляет тессеракт на моем компе? Хочу такой же мощности на сервере сделать
Ну, условно RAM и нагруженность можно поглядеть в диспетчере. Если точнее за нагрузку проца - на вскидку не знаю, но рам можно почитать и поссчитать максимум.
Также можно создать ВМ и просто поиграться с ее ресурсами
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
если чего-то более - нужно знать число параметров алгоритма и т.п. * float (и т.п. и т.д.) и таким образом приблизительно рассчитать
источник

PK

Pavel Kirpich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Сяп, посмотрю
источник

ss

sanders sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Привет, всем.
Пытаюсь реализовать CVAE+GAN на pytorch для своей задачи по статье с хабра [https://habr.com/ru/post/332074/].
Это оригинальная статья [https://arxiv.org/pdf/1512.09300.pdf].

Ниже питоновский скрипт с моей реализацией. Внимание на функции gan_loss_function, kld_loss_function, bce_loss_function и на epoch_training.

Может, кто реализовывал подобное?

Я не уверен в реализации лоссов и в самом алгоритме обучения (описан в epoch_training).

Ниже вывод в консоль. Спасибо
источник

ss

sanders sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

ss

sanders sh in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

ММ

Мария Мусорина... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
❗️✋привет! нужен профессиональный совет. Где можно найти высококлассного эксперта - Архитектора Big Data?
источник

PK

Pavel Kirpich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Мария Мусорина
❗️✋привет! нужен профессиональный совет. Где можно найти высококлассного эксперта - Архитектора Big Data?
В Яндекс облаке, мейле и других крупных компаниях
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Мария Мусорина
❗️✋привет! нужен профессиональный совет. Где можно найти высококлассного эксперта - Архитектора Big Data?
Оформляйте вакансию с указанием технологического стека, требований и зарплаты. Опубликуем в канале с вакансиями @datasciencejobs
источник

ММ

Мария Мусорина... in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
🙏🏻спасибо
источник