Nasceu D. Arquimínio em S. Mateus do Pico em 8 de Julho de 1924. Filho de António Rodrigues da Costa e de D. Silenciana de Matos, sendo neto paterno de José Rodrigues da Costa e de Teresa Jacinta do Coração de Jesus e materno de João José de Matos e de Rosária Maria de Matos.
Feitas as primeiras letras, juntamente com outros dois companheiros, foram levados para Macau por Monsenhor José Machado Lourenço, missionando no Extremo-Oriente. O jovem Arquimínio deu entrada no seminário de S. José a 8 de Dezembro do mesmo ano, fazendo com distinção todos os seus estudos eclesiásticos, completando teologia em Junho de 1949. Enquanto estudante no seminário de Macau revelou óptimas qualidades, foi inteligente e virtuoso, sendo por isso mesmo nomeado professor antes da sua ordenação presbiteral, que se efectivou pouco tempo depois, a 6 de Outubro, celebrando três dias após a sua primeira missa. No mesmo seminário exerceu a prefeitura de disciplina desde 1949 a 1953 e foi reitor interino (1955/6) na ausência do reitor daquele estabelecimento de ensino cónego Juvenal Garcia. Visitando os Açores no ano de 1956, passou um período de férias na sua ilha do Pico, gozando placidamente do afecto da família, dos amigos e sorvendo os ares sadios daquela bela terra. Mas Roma esperava-o e, em 1957, foi frequentar o curso de direito canónico na Pontifícia Universidade Gregoriana, concluindo licenciatura no ano de 1959. De novo em Macau, retomou as suas funções de prefeito de disciplina, sendo então nomeado professor do seminário. Em Agosto de 1961 era reitor interino passando a efectivo em Novembro seguinte.

Por motivo de ausência do prelado diocesano de Macau durante o Concílio Vaticano II, foi o dr. Arquimínio nomeado governador do bispado em 29 de Agosto de 1963 e depois em 1965. Leccionou (1968/9) no seminário de Aberdeen, em Hong Kong, as disciplinas de filosofia e latim, sendo ali nomeado prefeito de Estudos do Curso Filosófico. Professor competentíssimo, sacerdote cheio de humildade, é tido como poliglota com destaque para a língua chinesa em que fala e prega fluentemente.

Eleito pelo cabido vigário capitular da diocese em 14 de Junho de 1973, viu-se elevado à dignidade episcopal três anos depois, em 1976, em que o Santo Padre Paulo VI o nomeou finalmente bispo de Macau. A sua sagração decorreu na catedral macaense em dia da Anunciação, 25 de Março daquele ano.

Em 1983 esteve outra vez nos Açores, passando um longo período desde Junho a Setembro na sua terra de origem, visitada igualmente nesse verão por outros ilustres do episcopado, nascidos também na ilha do Pico, como D. José Vieira Alvernaz que, com seu irmão Monsenhor Manuel Vieira Alvernaz, passaram algum tempo na Ribeirinha, e D. Jaime Goulart, bispo resignatário de Dili, que esteve na Candelária de onde era natural.

Conquanto viesse às ilhas para as rever no seu coração de amantíssimo açoriano e dar um justo repouso às suas forças, D. Arquimínio, pelo contrário, atirou-se ao trabalho em S. Mateus na ausência do pároco. Percorreu a ilha contactando o povo, ouvindo, falando, rindo, participando nas maiores manifestações de fé Pico e no Faial. Presidiu à festa do Senhor Bom Jesus Milagroso, proferindo a homilia e levando o Santo Lenho na procissão. Na Prainha do Norte presidiu às festas em honra da Padroeira N.ª S.ª da Aluda, proclamando a Palavra Divina e tomando parte na procissão sob pálio. Sagrou a matriz das Lajes, o primeiro templo a ser sagrado no Pico por D. Arquirnínio. Atravessando o canal que deu o título fabuloso a uma das melhores obras de Nemésio, vai até o Faial no cálido mês de Agosto onde preside na Feteira à festa de N.a S.a de Lurdes. Tomou parte numa missa campal, de onde dirigiu a palavra aos faialenses. Na Piedade do Pico esperava-o a festa da Padroeira assim como em S. Mateus. D. Arquimínio realizou uma notória obra na sua diocese, tão cheia de características especiais pela bipolarização de culturas, que sempre os seus prelados souberam tratar com elevada compreensão.
A 10 de Junho de 1984 D. Arquimínio foi condecorado pelo Governo português com o grau de Grande Oficial da Ordem de Benemerência e em 1986 recebeu o grau de Doutor Honoris Causa em Filosofia pela Universidade da Ásia Oriental de Macau.

Este ilustre açoriano viu o seu pedido de resignação à Diocese de Macau aceite pela Santa Sé a 6 de Outubro de 1988 e, um mês após, a 7 de Novembro de 1988 foi condecorado, agora pelo Presidente da República Portuguesa, com o grau de Grã-Cruz da Ordem de Mérito a 7 de Novembro de 1988.

Desde Janeiro de 1989 que fixou residência na ilha do Pico, na freguesia de S. Mateus, ocupando o seu tempo na recuperação da quinta que era de seu pai que, após o seu falecimento, ficou abandonada.

O Pe. Tomás Bettencourt Cardoso, que na sua estada em Macau procedeu à recolha de textos de D. Arquimínio (e outros bispos açorianos de Macau) descreve-nos, em Nota Introdutória, a maneira de ser de Arquimínio de forma sucinta e lapidar: "Bispo-Padre. Em Macau, Padre-Bispo; nos Açores é Bispo-Padre. E por isso, óptimo colega. Celebra, confessa, prega, catequiza, senta-se ao harmónio tocando e ensaiando e ensinando, compõe, pacifica, substitui... Serve! É, de facto, óptimo colega!...

"E ainda tem tempo para escrever, respondendo semanalmente no jornal católico da Ilha a quem lhe faz perguntas por escrito."