Singularity - Revision history

Mauferrari: /* Singularity */

2024-11-13T18:43:07Z

‎Singularity

Mauferrari: /* Dicas de Uso */

2024-06-10T17:08:19Z

‎Dicas de Uso

Mauferrari: /* Singularity CE v4.x ( Community Edition, freeware, versão em todas as máquinas a partir de jun/2024) */

2024-06-10T15:09:52Z

‎Singularity CE v4.x ( Community Edition, freeware, versão em todas as máquinas a partir de jun/2024)

Othiago: /* Versão em uso no VeRLab/JLab */

2024-06-08T13:56:10Z

‎Versão em uso no VeRLab/JLab

Othiago: /* Singularity CE v3.x ( Community Edition, freeware, versão em todas as máquinas a partir de mar/2022) */

2024-06-08T13:55:22Z

‎Singularity CE v3.x ( Community Edition, freeware, versão em todas as máquinas a partir de mar/2022)

Rada: Adicionei uma seção de dicas de uso que ajuda a usar o Singularity.

2024-05-30T18:21:30Z

Adicionei uma seção de dicas de uso que ajuda a usar o Singularity.

Mauferrari: /* Versão em uso no VeRLab/JLab */

2024-03-14T16:13:01Z

‎Versão em uso no VeRLab/JLab

Mauferrari: atualizar .img para .sif

2023-07-13T20:10:14Z

atualizar .img para .sif

Mauferrari: /* Regras de bom uso dos recursos */

2023-07-13T20:09:33Z

‎Regras de bom uso dos recursos

Mauferrari: adicionou magritte na lista de máquinas com /srv/forge. Retirou links singularity v2.x, não tem mais máquinas com ele na rede

2023-04-27T16:01:50Z

adicionou magritte na lista de máquinas com /srv/forge. Retirou links singularity v2.x, não tem mais máquinas com ele na rede

@@ Line 13: / Line 13: @@
 * Dataset's e containers podem ser armazenados no serviço de storage da rede, assim ficam disponíveis em qualquer máquina de processamento para rodar seu experimento. Geralmente na pasta /srv/storage/datasets/nome_do_usuario e /srv/storage/singularity/images/nome_do_usuario.
-<br> <br> <br>
+<br><br><br>
 == Versão em uso no VeRLab/JLab ==

@@ Line 93: / Line 93: @@
 == Dicas de Uso ==
-O uso do Singularity é direto ao ponto em muitos sentidos. Isso se deve ao fato de que, para utilizar os recursos da GPU, o container Singularity faz um linking com o driver da máquina host, o que já disponibiliza, para o container, a mesma versão do driver e do CUDA que já estão instalados na máquina host.
+O uso do Singularity é direto ao ponto em muitos sentidos. Isso se deve ao fato de que, para utilizar os recursos da GPU, o container Singularity faz um linking com o driver da máquina host, o que já disponibiliza, para o container, a mesma versão do driver e do CUDA que já estão instalados na máquina host.<br>
 Ainda assim, é importante prestar atenção à versão do driver Nvidia instalada no sistema para que o container consiga acessar a GPU!
-A versão de CUDA instalada dentro do container é totalmente independente da versão instalada na máquina host, o que significa que é possível rodar uma versão do CUDA no container que é diferente da versão instalada na máquina host. Mas é importante prestar atenção que a versão do driver do container será sempre igual à versão do driver na máquina host, pois é feito um link do container para o host, e isso não pode ser mudado. Por conta disso, pode ser que a versão do driver atual não suporte todas as versões do CUDA. Para ver quais versões são suportadas, é importante se atentar a quais
+A versão de CUDA instalada dentro do container é totalmente independente da versão instalada na máquina host, o que significa que é possível rodar uma versão do CUDA no container que é diferente da versão instalada na máquina host. Mas é importante prestar atenção que a versão do driver do container será sempre igual à versão do driver na máquina host, pois é feito um link do container para o host, e isso não pode ser mudado.
-A versão instalada do driver pode ser obtida rodando <code>nvidia-smi</code> dentro da máquina host.
+Pode-se verificar a versão do driver Nvidia instalado executando '''<code>nvidia-smi</code>''' na máquina host.

@@ Line 19: / Line 19: @@
 Atualmente temos a versão 4.1.x instalada nas máquinas da rede VeRLab/JLab.
-=== '''Singularity CE v4.x''' ( ''Community Edition'', ''freeware'', versão em todas as máquinas a partir de jun/2024) ===
+=== '''Singularity CE v4.x''' ( ''Community Edition'', ''freeware'', versão em todas as máquinas <span style="color: red;">a partir de jun/2024</span>) ===
 * [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity4  Link para dicas de uso do Singularity CE v4.x]
 A versão 2.5.x já foi utilizada, mas seu suporte parou em jul/2018 e foi descontinuada na rede VeRLab/Jlab desde mar/2022.
 <!-- Comentado
 * '''Singularity v2.5.x''' (''freeware'', <span style="color: red;">versão sem suporte desde jul/2018, vai ser descontinuada na rede VeRLab/JLab</span>)

@@ Line 17: / Line 17: @@
 == Versão em uso no VeRLab/JLab ==
-Atualmente temos a versão 3.10.x instalada nas máquinas da rede VeRLab/JLab.
+Atualmente temos a versão 4.1.x instalada nas máquinas da rede VeRLab/JLab.
 === '''Singularity CE v4.x''' ( ''Community Edition'', ''freeware'', versão em todas as máquinas a partir de jun/2024) ===
-** [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity4  Link para dicas de uso do Singularity CE v4.x]
+* [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity4  Link para dicas de uso do Singularity CE v4.x]
-** [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity3  Link para dicas de uso do Singularity CE v3.x]
+* [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity3  Link para dicas de uso do Singularity CE v3.x]

@@ Line 19: / Line 19: @@
 Atualmente temos a versão 3.10.x instalada nas máquinas da rede VeRLab/JLab.
-=== '''Singularity CE v3.x''' ( ''Community Edition'', ''freeware'', versão em todas as máquinas a partir de mar/2022) ===
+=== '''Singularity CE v4.x''' ( ''Community Edition'', ''freeware'', versão em todas as máquinas a partir de jun/2024) ===
 ** [https://www.verlab.dcc.ufmg.br/mediawiki/index.php/Singularity3  Link para dicas de uso do Singularity CE v3.x]

← Older revision		Revision as of 18:21, 30 May 2024
Line 85:		Line 85:
	* Para executar o container em modo leitura ('''<code>$singularity shell...</code>'''), a pasta <code>/srv/forge</code> é espelhada nas demais máquinas:		* Para executar o container em modo leitura ('''<code>$singularity shell...</code>'''), a pasta <code>/srv/forge</code> é espelhada nas demais máquinas:
	**<code>/srv/storage/singularity/forge$</code>		**<code>/srv/storage/singularity/forge$</code>
		+
		+	== Dicas de Uso ==
		+
		+	O uso do Singularity é direto ao ponto em muitos sentidos. Isso se deve ao fato de que, para utilizar os recursos da GPU, o container Singularity faz um linking com o driver da máquina host, o que já disponibiliza, para o container, a mesma versão do driver e do CUDA que já estão instalados na máquina host.
		+	A principal vantagem dessa abordagem é evitar ter que fazer configurações extras como a do nvidia-container-toolkit, que é necessária no Docker.
		+
		+	Ainda assim, é importante prestar atenção à versão do driver Nvidia instalada no sistema para que o container consiga acessar a GPU!
		+
		+	A versão de CUDA instalada dentro do container é totalmente independente da versão instalada na máquina host, o que significa que é possível rodar uma versão do CUDA no container que é diferente da versão instalada na máquina host. Mas é importante prestar atenção que a versão do driver do container será sempre igual à versão do driver na máquina host, pois é feito um link do container para o host, e isso não pode ser mudado. Por conta disso, pode ser que a versão do driver atual não suporte todas as versões do CUDA. Para ver quais versões são suportadas, é importante se atentar a quais
		+	versões do CUDA a versão do driver atual suporta. Isso pode ser verificado em https://docs.nvidia.com/deploy/cuda-compatibility/index.html.
		+
		+	A versão instalada do driver pode ser obtida rodando <code>nvidia-smi</code> dentro da máquina host.

@@ Line 41: / Line 41: @@
 **<code>/homeLocal/</code> : pasta local na máquina, montada no barra da mesma. O usuário pode armazenar seus containers e dados de experimentos.
 **<code>/srv/storage/datasets</code>) : pasta no servidor de storage para armazenar datasets
-**<code>/srv/storage/singularity/images/</code> : pasta no servidor de storage para armazenar as imagens singularity fechadas (<code>.img</code> ou  <code>.simg</code>) que são executadas nos experimentos.
+**<code>/srv/storage/singularity/images/</code> : pasta no servidor de storage para armazenar as imagens singularity fechadas (<code>.sif</code>) que são executadas nos experimentos.
 **<code>/srv/storage/singularity/forge/</code> : pasta no servidor de storage para criação de imagens singularity em modo sandbox (evitar deixar as imagens em sandbox, mais detalhes abaixo)
 *** Foi escolhido que das máquinas de processamento na rede, apenas '''EPONA, GHOST e MAGRITTE''' serão capazes de criar um container e abrir em modo edição com '''<code> $sudo singularity shell --writable... </code>'''.

@@ Line 55: / Line 55: @@
-* A máquina container para rodar os experimentos deve estar em formato de imagem para rodar mais rápido (<code>.img</code> ou  <code>.simg</code>).
+* A máquina container para rodar os experimentos deve estar em formato de imagem para rodar mais rápido (<code>.sif</code>.
 ** Porém, enquanto estiver em teste e instalando pacotes, ela deve ser uma "pasta sandbox".
-** Pedimos que não mantenham muitas imagens singularity em modo sandbox. Sempre que possível, feche sua imagem (converter para <code>.img</code> ou  <code>.simg</code>) e de preferência coloque-as na pasta storage/singularity/images.
+** Pedimos que não mantenham muitas imagens singularity em modo sandbox. Sempre que possível, feche sua imagem (converter para <code>.sif</code> e de preferência coloque-as na pasta storage/singularity/images.
 ** '''Obs:''' Imagens em modo sandbox deixam uma quantidade enorme de arquivos, e como o servidor de storage tem que mapear todos os arquivos na memória RAM, e às vezes a mesma estoura por esse motivo.
 <br> <br> <br>
 == Instalação ==

@@ Line 43: / Line 43: @@
 **<code>/srv/storage/singularity/images/</code> : pasta no servidor de storage para armazenar as imagens singularity fechadas (<code>.img</code> ou  <code>.simg</code>) que são executadas nos experimentos.
 **<code>/srv/storage/singularity/forge/</code> : pasta no servidor de storage para criação de imagens singularity em modo sandbox (evitar deixar as imagens em sandbox, mais detalhes abaixo)
-*** Foi escolhido que das máquinas de processamento na rede, apenas '''EPONA(singularity 2.x) e GHOST(singularity 3.x)''' serão capazes de criar um container e abrir em modo edição com '''<code> $sudo singularity shell --writable... </code>'''.
+*** Foi escolhido que das máquinas de processamento na rede, apenas '''EPONA, GHOST e MAGRITTE''' serão capazes de criar um container e abrir em modo edição com '''<code> $sudo singularity shell --writable... </code>'''.
 *** Outra restrição é que essa permissão só pode ser executada na pasta <code>'''/srv/forge'''</code>
@@ Line 76: / Line 76: @@
 === Servidores de Processamento da rede Verlab/J com GPU Nvidia ===
 * Configurar montagem automática das pastas na rede:
-**<code>/srv/forge</code> (apenas '''EPONA(singularity 2.x) e GHOST(singularity 3.x)''')
+**<code>/srv/forge</code> (apenas '''EPONA, GHOST e MAGRITTE''')
 **<code>/srv/storage/datasets</code>
 **<code>/srv/storage/singularity/images/</code>
 **<code>/srv/storage/singularity/forge/</code>
-* Foi escolhido que das máquinas de processamento na rede, apenas '''EPONA(singularity 2.x) e GHOST(singularity 3.x)''' serão capazes de criar um container e abrir em modo edição com '''<code> $sudo singularity shell --writable... </code>'''.
+* Foi escolhido que das máquinas de processamento na rede, apenas '''EPONA, GHOST e MAGRITTE''' serão capazes de criar um container e abrir em modo edição com '''<code> $sudo singularity shell --writable... </code>'''.
 * Uma segunda restrição é que essa permissão só pode ser executada na pasta <code>'''/srv/forge'''</code>
-* Configurar a montagem da pasta <code>/srv/forge</code> nas máquinas EPONA(singularity 2.x) e GHOST(singularity 3.x) e configurar a montagem das mesmas para que o comando <code> $sudo singularity ... </code> possa ser executado por qualquer usuário, sem necessitar de permissão root
+* Configurar a montagem da pasta <code>/srv/forge</code> nas máquinas EPONA, GHOST e MAGRITTE e configurar a montagem das mesmas para que o comando <code> $sudo singularity ... </code> possa ser executado por qualquer usuário, sem necessitar de permissão root
 * Para executar o container em modo leitura ('''<code>$singularity shell...</code>'''), a pasta <code>/srv/forge</code> é espelhada nas demais máquinas:
 **<code>/srv/storage/singularity/forge$</code>