Лучше сразу используйте Ubuntu LTS, поскольку в нём уже есть все необходимые базовые компиляторы последних версий или же несложно обновиться до последних версий. В процессе сборки и запуска будет понятно, почему мы так резко перескочили с одной системы на другую, поменяли видеокарту и накинули своп.

mkdir -p pretrained/deepmask;
cd pretrained/deepmask
wget https://s3.amazonaws.com/deepmask/models/deepmask/model.t7
mkdir -p pretrained/sharpmask;
cd pretrained/sharpmask
wget https://s3.amazonaws.com/deepmask/models/sharpmask/model.t7
cd ~/deepmask/
th computeProposals.lua pretrained/deepmask # run DeepMask
th computeProposals.lua pretrained/sharpmask # run SharpMask
th computeProposals.lua pretrained/sharpmask -img /path/to/image.jpg

Смотрим trace. Хм… Очень похоже на то, что не хватает установленных зависимостей: cunn, cudnn установился криво. Ладно, переустанавливаем. Но дело не в них. Let's make an investigation! Проверяем дальше. Пробуем снова установить cutorch и… Бинго! Модуль cwrap не обнаружен.

Устанавливаем, что ж ещё остаётся делать.

luarockt install cwrap
luarockt install cutorch 

И тут мы снова получаем ошибку, что модуль cwrap не установлен. WTF? Не буду углубляться в механику LuaRocks, но именно пакет cwrap нельзя поставить вот так, сходу. Копаемся в помощнике и находим следующее: «в случае если пакет установлен, но по сути его нет, примените директиву --local». Пакет Шрёдингера. Вроде есть, но его нет. Ладно.

luarockt install --local wrap

И снова те же грабли. А вот это уже не смешно. Ставить всё это под sudo категорически не рекомендую. Ну вот зачем математическому пакету суперпользователь? Несколько шагов, которые помогают установить этот пакет из rockspec-файла. Проверьте пути LUA_PATH и LUA_CPATH и выполните следующие команды:

cd ~/torch
git clone https://github.com/torch/cwrap.git
cd cwrap
cmake .
cd ..
TORCH_LUA_VERSION=LUA52 ./install.sh
cd cwrap
luarocks make rocks/cwrap-scm-1.rockspec
luarocks install cutorch
luarocks install inn
luarocks install cunn
luarocks install cudnn

Found Environment variable CUDNN_PATH = /home/ubuntu/cuda/lib64/libcudnn.so.5-- ignore option dm
-- ignore option reload 
-- ignore option datadir
nthreads        16      2
-- ignore option rundir 
-- ignore option gpu
batch   500     32
| running in directory /home/ubuntu/deepmask/exps/deepmask/exp,batch=500,nthreads=16
| number of paramaters trunk: 15198016  
| number of paramaters mask branch: 1608768
| number of paramaters score branch: 526337
| number of paramaters total: 17333121  
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
/home/ubuntu/torch/install/bin/lua: ...e/ubuntu/torch/install/share/lua/5.2/threads/threads.lua:183: [thread 16 callback] /home/ubuntu/torch/install/share/lua/5.2/coco/CocoApi.lua:142: Expected value but found T_END at character 1

Если вас постигла такая замечательная ошибка, то нужно сделать просто серию замечательных шагов:

cd ~
rm -rf torch/
git clone https://github.com/torch/distro.git ~/torch --recursive
cd ~/torch;
bash install-deps;
TORCH_LUA_VERSION=LUA52 ./install.sh
git checkout 5961f52a65fe33efa675f71e5c19ad8de56e8dad
./clean.sh
bash install-reps
TORCH_LUA_VERSION-LUA52 ./install.sh
luarocks install cudnn
luarocks install cutorch # именно так! И не спрашивайте. Там ещё достаточно граблей
luarocks install cunn
luarocks install inn
luarocks install tds
luarocks install optim
luarocks install nnx
luarocks install image
cd ~/coco/
luarocks make LuaAPI/rocks/coco-scm-1.rockspec

Пересобрали. Доустановили. Запускаемся опять с теми же опциями и видим:

th train.lua -nthreads 16 -batch 500
-- ignore option rundir
-- ignore option dm
-- ignore option reload
-- ignore option gpu
-- ignore option datadir
nthreads        1       2
| running in directory /Users/ryan/mess/2016/34/deepmask/exps/deepmask/exp,nthreads=1
| number of paramaters trunk: 15198016
| number of paramaters mask branch: 1608768
| number of paramaters score branch: 526337
| number of paramaters total: 17333121
convert: data//annotations/instances_train2014.json --> .t7 [please be patient]
FATAL THREAD PANIC: (write) not enough memory
Поток в панике. Что делать? Тушить! Workaround на этот раз очень лайтовый. Даже не надо ничего пересобирать. Просто руками конвертируем аннотации тренировки и валидации. Ошибка чтения файлов лечится так же.
```bash
cd ~/deepmask/
th
coco = require 'coco'
coco.CocoApi("data/annotations/instances_train2014.json")
#Увидим строчки, которые ниже
#convert: data/annotations/instances_train2014.json --> .t7 [please be patient]
#converting: annotations
#converting: categories
#converting: images
#convert: building indices
#convert: complete [57.22 s]
#CocoApi

coco.CocoApi("data/annotations/instances_val2014.json")
#Увидим строчки, которые ниже
#convert: data/annotations/instances_val2014.json --> .t7 [please be patient]
#converting: annotations
#converting: categories
#converting: images
#convert: building indices
#convert: complete [26.07 s]
#CocoApi

Found Environment variable CUDNN_PATH = /home/ubuntu/cuda/lib64/libcudnn.so.5maxepoch   2       300
-- ignore option datadir
-- ignore option gpu
-- ignore option dm
nthreads        4       2
-- ignore option rundir 
-- ignore option reload 
| running in directory /home/ubuntu/deepmask/exps/deepmask/exp,maxepoch=2,nthreads=4
| number of paramaters trunk: 15198016  
| number of paramaters mask branch: 1608768
| number of paramaters score branch: 526337
| number of paramaters total: 17333121  
| start training

Кстати, важная пометка: чтобы увидеть, что что-то получилось, результаты тренировки нейросети и т.д., при работе через ssh используйте screen. Внезапно пропала связь и прочее? Не беда. Переподключились к машине, ввели screen -r — и мы снова видим то, на чём вылетели.

th train.lua -nthreads 16 -maxepoch 12
Found Environment variable CUDNN_PATH = /home/ubuntu/cuda/lib64/libcudnn.so.5-- ignore option reload
-- ignore option dm
maxepoch        12      300
-- ignore option gpu
nthreads        16      2
-- ignore option datadir
-- ignore option rundir
| running in directory /home/ubuntu/deepmask/exps/deepmask/exp,maxepoch=12,nthreads=16
| number of paramaters trunk: 15198016
| number of paramaters mask branch: 1608768
| number of paramaters score branch: 526337
| number of paramaters total: 17333121
| start training
[train] | epoch 00001 | s/batch 0.67 | loss: 0.31743
[train] | epoch 00002 | s/batch 0.67 | loss: 0.18296
[test]  | epoch 00002 | IoU: mean 054.60 median 061.36 suc@.5 062.63 suc@.7 036.53 | acc 092.91 | bestmodel *
[train] | epoch 00003 | s/batch 0.67 | loss: 0.16256
[train] | epoch 00004 | s/batch 0.67 | loss: 0.15217
[test]  | epoch 00004 | IoU: mean 059.10 median 065.86 suc@.5 068.97 suc@.7 043.31 | acc 093.93 | bestmodel *
[train] | epoch 00005 | s/batch 0.67 | loss: 0.14583
[train] | epoch 00006 | s/batch 0.67 | loss: 0.14183
[test]  | epoch 00006 | IoU: mean 056.79 median 064.92 suc@.5 065.88 suc@.7 042.34 | acc 094.27 | bestmodel x
[train] | epoch 00007 | s/batch 0.67 | loss: 0.13739
[train] | epoch 00008 | s/batch 0.67 | loss: 0.13489
[test]  | epoch 00008 | IoU: mean 059.53 median 067.17 suc@.5 069.44 suc@.7 045.33 | acc 094.69 | bestmodel *
[train] | epoch 00009 | s/batch 0.67 | loss: 0.13417
[train] | epoch 00010 | s/batch 0.67 | loss: 0.13290
[test]  | epoch 00010 | IoU: mean 061.80 median 069.41 suc@.5 072.71 suc@.7 048.92 | acc 094.67 | bestmodel *
[train] | epoch 00011 | s/batch 0.67 | loss: 0.13070
[train] | epoch 00012 | s/batch 0.67 | loss: 0.12711
[test]  | epoch 00012 | IoU: mean 060.16 median 067.43 suc@.5 070.71 suc@.7 046.34 | acc 094.85 | bestmodel x

sudo apt-get install zlib1g-dev binutils-dev libjemalloc-dev libssl-dev
sudo apt-get install libevent-dev
sudo apt-get install libsnappy-dev
sudo apt-get install libboost-all-dev libgoogle-glog-dev libgflags-dev liblz4-dev liblzma-dev libsnappy-dev
Linux:
cd ~/
git clone https://github.com/gflags/gflags.git

cd gflags
mkdir build && cd build
$ ccmake ..
  - Press 'c' to configure the build system and 'e' to ignore warnings.
# Обязательно включаем SHARED_LIB
  - Set CMAKE_INSTALL_PREFIX and other CMake variables and options.
# Жмём 'c' ещё раз
  - Continue pressing 'c' until the option 'g' is available.
# Жмём 'g' и радуемся
  - Then press 'g' to generate the configuration files for GNU Make.
cd ..
cmake -fpic -shared configure .
make
sudo make install

cd ~/
git clone https://github.com/google/glog.git
export LDFLAGS='-L/usr/local/lib'
cd glog
autoreconf -ivf
./configure
make
sudo make install

cd ~/
git clone https://github.com/google/double-conversion.git
cd double-conversion
cmake . -DBUILD_SHARED_LIBS=ON # не спрашивайте. ну не хавает 
#здесь cmake по дефолту -fpic -shared
make
sudo make install
Теперь для всех:
wget https://github.com/google/googletest/archive/release-1.8.0.tar.gz && tar zxf release-1.8.0.tar.gz && rm -f release-1.8.0.tar.gz && cd googletest-release-1.8.0 && cmake configure . && make && sudo make install

cd ~/folly
cmake -fpic -shared configure ..
make (optionally -j$(proc))
sudo make install

sudo apt-get install flex bison
git clone https://github.com/no1msd/mstch.git
cd mstch
cmake .
make
sudo make install
cd ~/
git clone https://github.com/facebook/wangle.git
cd wangle/wangle
cmake .
make
sudo make install
cd ~/
git clone https://github.com/facebook/zstd.git
cd zstd
make
sudo make install
cd ~/
git clone https://github.com/krb5/krb5.git
cd krb5/src
autoreconf -ivf
./configure
make
sudo make install
cd ~/fbthrift/build
cmake -fpic -shared configure .
make
sudo make install

Found Environment variable CUDNN_PATH = /home/ubuntu/cuda/lib64/libcudnn.so.5nn.Sequential {
  [input -> (1) -> (2) -> (3) -> (4) -> (5) -> (6) -> output]
  (1): nn.ParallelTable {
    input
      |`-> (1): nn.Sequential {
      |      [input -> (1) -> (2) -> (3) -> output]
      |      (1): NoBackprop: nn.Sequential {
      |        [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |        (1): nn.SpatialConvolution(3 -> 64, 7x7, 2,2, 3,3) without bias
      |        (2): inn.ConstAffine
      |        (3): nn.ReLU
      |        (4): nn.SpatialMaxPooling(3x3, 2,2, 1,1)
      |        (5): nn.Sequential {
      |          [input -> (1) -> (2) -> output]
      |          (1): nn.Sequential {
      |            [input -> (1) -> (2) -> (3) -> output]
      |            (1): nn.ConcatTable {
      |              input
      |                |`-> (1): nn.Sequential {
      |                |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |                |      (1): nn.SpatialConvolution(64 -> 64, 3x3, 1,1, 1,1) without bias
      |                |      (2): inn.ConstAffine
      |                |      (3): nn.ReLU
      |                |      (4): nn.SpatialConvolution(64 -> 64, 3x3, 1,1, 1,1) without bias
      |                |      (5): inn.ConstAffine
      |                |    }
      |                 `-> (2): nn.Identity
      |                 ... -> output
      |            }
      |            (2): nn.CAddTable
      |            (3): nn.ReLU
      |          }
      |          (2): nn.Sequential {
      |            [input -> (1) -> (2) -> (3) -> output]
      |            (1): nn.ConcatTable {
      |              input
      |                |`-> (1): nn.Sequential {
      |                |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |                |      (1): nn.SpatialConvolution(64 -> 64, 3x3, 1,1, 1,1) without bias
      |                |      (2): inn.ConstAffine
      |                |      (3): nn.ReLU
      |                |      (4): nn.SpatialConvolution(64 -> 64, 3x3, 1,1, 1,1) without bias
      |                |      (5): inn.ConstAffine
      |                |    }
      |                 `-> (2): nn.Identity
      |                 ... -> output
      |            }
      |            (2): nn.CAddTable
      |            (3): nn.ReLU
      |          }
      |        }
      |      }
      |      (2): nn.Sequential {
      |        [input -> (1) -> (2) -> output]
      |        (1): nn.Sequential {
      |          [input -> (1) -> (2) -> (3) -> output]
      |          (1): nn.ConcatTable {
      |            input
      |              |`-> (1): nn.Sequential {
      |              |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |              |      (1): nn.SpatialConvolution(64 -> 128, 3x3, 2,2, 1,1) without bias
      |              |      (2): inn.ConstAffine
      |              |      (3): nn.ReLU
      |              |      (4): nn.SpatialConvolution(128 -> 128, 3x3, 1,1, 1,1) without bias
      |              |      (5): inn.ConstAffine
      |              |    }
      |               `-> (2): nn.SpatialConvolution(64 -> 128, 1x1, 2,2) without bias
      |               ... -> output
      |          }
      |          (2): nn.CAddTable
      |          (3): nn.ReLU
      |        }
      |        (2): nn.Sequential {
      |          [input -> (1) -> (2) -> (3) -> output]
      |          (1): nn.ConcatTable {
      |            input
      |              |`-> (1): nn.Sequential {
      |              |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |              |      (1): nn.SpatialConvolution(128 -> 128, 3x3, 1,1, 1,1) without bias
      |              |      (2): inn.ConstAffine
      |              |      (3): nn.ReLU
      |              |      (4): nn.SpatialConvolution(128 -> 128, 3x3, 1,1, 1,1) without bias
      |              |      (5): inn.ConstAffine
      |              |    }
      |               `-> (2): nn.Identity
      |               ... -> output
      |          }
      |          (2): nn.CAddTable
      |          (3): nn.ReLU
      |        }
      |      }
      |      (3): nn.Sequential {
      |        [input -> (1) -> (2) -> output]
      |        (1): nn.Sequential {
      |          [input -> (1) -> (2) -> (3) -> output]
      |          (1): nn.ConcatTable {
      |            input
      |              |`-> (1): nn.Sequential {
      |              |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |              |      (1): nn.SpatialConvolution(128 -> 256, 3x3, 2,2, 1,1) without bias
      |              |      (2): inn.ConstAffine
      |              |      (3): nn.ReLU
      |              |      (4): nn.SpatialConvolution(256 -> 256, 3x3, 1,1, 1,1) without bias
      |              |      (5): inn.ConstAffine
      |              |    }
      |               `-> (2): nn.SpatialConvolution(128 -> 256, 1x1, 2,2) without bias
      |               ... -> output
      |          }
      |          (2): nn.CAddTable
      |          (3): nn.ReLU
      |        }
      |        (2): nn.Sequential {
      |          [input -> (1) -> (2) -> (3) -> output]
      |          (1): nn.ConcatTable {
      |            input
      |              |`-> (1): nn.Sequential {
      |              |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
      |              |      (1): nn.SpatialConvolution(256 -> 256, 3x3, 1,1, 1,1) without bias
      |              |      (2): inn.ConstAffine
      |              |      (3): nn.ReLU
      |              |      (4): nn.SpatialConvolution(256 -> 256, 3x3, 1,1, 1,1) without bias
      |              |      (5): inn.ConstAffine
      |              |    }
      |               `-> (2): nn.Identity
      |               ... -> output
      |          }
      |          (2): nn.CAddTable
      |          (3): nn.ReLU
      |        }
      |      }
      |    }
       `-> (2): nn.Identity
       ... -> output
  }
  (2): inn.ROIPooling
  (3): nn.Sequential {
    [input -> (1) -> (2) -> (3) -> output]
    (1): nn.Sequential {
      [input -> (1) -> (2) -> output]
      (1): nn.Sequential {
        [input -> (1) -> (2) -> (3) -> output]
        (1): nn.ConcatTable {
          input
            |`-> (1): nn.Sequential {
            |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
            |      (1): nn.SpatialConvolution(256 -> 512, 3x3, 2,2, 1,1) without bias
            |      (2): inn.ConstAffine
            |      (3): nn.ReLU
            |      (4): nn.SpatialConvolution(512 -> 512, 3x3, 1,1, 1,1) without bias
            |      (5): inn.ConstAffine
            |    }
             `-> (2): nn.SpatialConvolution(256 -> 512, 1x1, 2,2) without bias
             ... -> output
        }
        (2): nn.CAddTable
        (3): nn.ReLU
      }
      (2): nn.Sequential {
        [input -> (1) -> (2) -> (3) -> output]
        (1): nn.ConcatTable {
          input
            |`-> (1): nn.Sequential {
            |      [input -> (1) -> (2) -> (3) -> (4) -> (5) -> output]
            |      (1): nn.SpatialConvolution(512 -> 512, 3x3, 1,1, 1,1) without bias
            |      (2): inn.ConstAffine
            |      (3): nn.ReLU
            |      (4): nn.SpatialConvolution(512 -> 512, 3x3, 1,1, 1,1) without bias
            |      (5): inn.ConstAffine
            |    }
             `-> (2): nn.Identity
             ... -> output
        }
        (2): nn.CAddTable
        (3): nn.ReLU
      }
    }
    (2): nn.SpatialAveragePooling(7x7, 1,1)
    (3): nn.View(512)
  }
  (4): nn.ConcatTable {
    input
      |`-> (1): nn.Linear(512 -> 81)
      |`-> (2): nn.Linear(512 -> 81)
      |`-> (3): nn.Linear(512 -> 81)
      |`-> (4): nn.Linear(512 -> 81)
      |`-> (5): nn.Linear(512 -> 81)
      |`-> (6): nn.Linear(512 -> 81)
       `-> (7): nn.Linear(512 -> 324)
       ... -> output
  }
  (5): nn.ModeSwitch {
    input
      |`-> (1): nn.ConcatTable {
      |      input
      |        |`-> (1): nn.SelectTable(4)
      |         `-> (2): nn.SelectTable(7)
      |         ... -> output
      |    }
       `-> (2): nn.Sequential {
             [input -> (1) -> (2) -> output]
             (1): nn.ParallelTable {
               input
                 |`-> (1): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                 |`-> (2): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                 |`-> (3): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                 |`-> (4): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                 |`-> (5): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                 |`-> (6): nn.Sequential {
                 |      [input -> (1) -> (2) -> output]
                 |      (1): nn.SoftMax
                 |      (2): nn.View(1, -1, 81)
                 |    }
                  `-> (7): nn.Identity
                  ... -> output
             }
             (2): nn.ConcatTable {
               input
                 |`-> (1): nn.Sequential {
                 |      [input -> (1) -> (2) -> (3) -> output]
                 |      (1): nn.NarrowTable
                 |      (2): nn.JoinTable
                 |      (3): nn.Mean
                 |    }
                  `-> (2): nn.SelectTable(7)
                  ... -> output
             }
           }
       ... -> output
  }
  (6): nn.ParallelTable {
    input
      |`-> (1): nn.Identity
       `-> (2): nn.BBoxNorm
       ... -> output
  }
}
{
  1 : 
    {
      1 : CudaTensor - size: 2x81
      2 : CudaTensor - size: 2x324
    }
}
{
  1 : 
    {
      1 : CudaTensor - size: 2x3x224x224
      2 : CudaTensor - size: 2x5
    }
}
{
  1 : 0.17677669529664
  2 : 0.25
  3 : 0.35355339059327
  4 : 0.5
  5 : 0.70710678118655
  6 : 1
  7 : 1.4142135623731
}