A energia que era pra ser fornecida na saída da fonte, está sendo desperdiçada no MOSFET (vira calor). Veja se consegue colocar um trimpot no lugar dos resistores que determinam a frequência de oscilação do 555 e assim conseguir achar uma frequência mais adequada para o chaveamento (sem falar no duty cycle que precisaria ser acertado também).
O MOSFET pode esquentar por alguns motivos: transição on-off ou off-on demorada (ou ambas) o que faz com que fique na região linear por mais tempo; frequência de chaveamento alta (quanto mais transições, mais ele vai ficar conduzindo); ele não entra em corte ou condução plenas (no corte a corrente deve ser perto de zero, e na condução a tensão dreno-fonte deve ser perto de zero, de forma que a potência no MOSFET seja baixa em cada caso).

Já calcularam o duty cycle no qual o transistor precisa operar ?

Apesar de eu compreender em partes, não possuo o conhecimento para acertar esses detalhes. Sou do tipo que sabe fazer montagens, desenhar layouts, medir componentes e fazer algumas "debugagens", mas não possuo teoria >>(:.

Fiz um novo teste, vi algumas versões dessa smps sem o resistor de 56K. O removi, e sem carga o comportamento melhorou, mas com carga a tensão torna a cair bastante e o mosfet esquenta. Medi o indutor (fora da placa, claro), e o valor está correto (100uH).

Vou fazer uma placa usando um layout já verificado, mas que acredito que não vá me servir pelo tamanho da placa. Pelo menos consigo verificar se os componentes que estou usando funcionam em um layout verificado, se continuar o mesmo comportamento sei que o problema está ou nos componentes ou na placa do amplificador.

Vou providenciar também um CI mais adequado para a aplicação. Fui na loja de componentes essa semana, e esqueci de comprar o MC34063 )>|.

Bom, olhando o esquema que você postou, com resistores de 1k, 10k e capacitor de 2,2nF  na temporização astável do 555, o que significaria uma frequência de 31168Hz, eu simulei o que seria necessário num circuito com o MC34063 (supondo entrada de 12V, saída de 140V e corrente de 35mA para conseguir uns 5W de potência):



Veja que para usar com o MC34063, precisaria de um indutor de 400uH. Se aumentarmos a frequência, o indutor diminui de valor.  Os períodos Ton = 29us e Toff = 3us.

Eu já testei usar indutores maiores, e muitas vezes ajuda.
Outra peça importante, o mosfet precisa dissipar todo o calor que ele produz.
Eu montei vários amplificadores sem dissipador(IRF644, Rds_on=0,27 ohms), mas com correntes baixas, inferiores a 15mA.

Qualquer coisa maior que isso (corrente ou a resistência) vai exigir dissipador, ou a tensão vai cair com o aquecimento.

Tenho essa mesma fonte com o 555 aqui pra testar. Com o IRF820 (Rds_on=3 ohms) com dissipador a tensão estabilizou em 100v com uma corrente de apenas 7,4mA (usei como carga resistores com valor total de 13,8k ohms).

Para o IRF644 setei a tensão em 200v e ele chegou a aquecer com essa carga de 13,8k ohms (15mA aproximadamente, o que dá uns 3W), mas é possível segurar sem medo de queimar os dedos, é só levemente quente. O IRF820 mesmo com dissipador estava muito quente a ponto de queimar os dedos. Infelizmente não tenho como medir a temperatura e fazer isso de forma mais profissional. Acho que usar um termistor poderia afetar a transferência de calor.

Outro componente que ficou quente ao toque foi o indutor. Isso que estou usando um daqueles chineses do ebay, de 3A. [spoiler][/spoiler]

Talvez um fio mais grosso aquecesse (resistência menor) menos. Vou ver se acho uns de 10A, provavelmente tem uma resistência menor.
Ainda não sei o porquê, mas os toroidais não são indicados, deve ser algo relacionado à carga mudando com a música.

Eu testei essa fonte do 555, mas desde que comecei a comprar na Tayda só uso o MAX1771.
Ele inclusive caiu de preço, de 4 dólares agora é vendido a 2.

O MC34063, por outro lado, parece uma opção interessante com um preço mais amigável, tenho que montar um protótipo com ele também. 

Eu já estava me preocupando em relação a ter que comprar outro indutor, esse deu trabalho pra encontrar um vendedor, e também estava pensando em comprar um CI mais adequado para fazer o teste. Após ler os comentários do teste feito pelo Thomas (agradeço novamente a ajuda!), testei algo aqui e aparentemente resolvi o problema.

Como comentei, fiz duas placas (sem contar a primeira) com layouts diferentes e em cada um usei um IRF diferente. Em uma placa, usei o IRF644, mas por algum motivo que não descobri o capacitor ligado à saída esquenta e estoura. Na outra placa "funcional", usei o IRF740 e a tensão é elevada, mas ao conectar o Superfly o IRF esquenta bastante e a tensão também cai bastante. Bom, sei que essa segunda placa "funciona", já que a tensão está sendo elevada. Também sei que a tensão cai quando o IRF esquenta, e que o IRF644 tem resistência interna bem menor que a do IRF740 (e consequentemente esquenta menos). Nessa placa, nenhum componente esquenta a não ser o IRF.

Então retirei o IRF644 da outra placa e coloquei nessa placa "funcional", para tentar eliminar a possibilidade de o problema ser o IRF740. Vai que resolvesse alguma coisa, ou que o capacitor dessa placa também estourasse :D alguma conclusão sempre dá pra tirar dessas coisas. Coloquei sem dissipador mesmo, fui testando no dedo.

Liguei sem carga. Tensão subiu, exatamente igual a quando estava com o IRF740. Ajustei em cerca de 160V, desliguei tudo e conectei o Superfly. De cara, notei que o som estava diferente, um pouco mais alto e com timbre mais "aveludado". Medi a tensão, estava em 156V logo ao ligar o amp! Caiu um pouquinho, mas nada comparado ao IRF740. Toquei uns 5 minutos, a tensão ficou na faixa dos 150V, e o IRF644 praticamente não esquentou. O problema era o IRF740 mesmo!

Depois que desliguei tudo, me lembrei que eu havia retirado o resistor de 56K. Qual é a função desse resistor? Já vi uma versão dessa SMPS com o resistor e outra sem ele, ambas dadas como funcionais. Depois vou colocá-lo e testar.

Editado: ah e obrigado pela ajuda, xformer. Ainda não consigo acompanhar tanta informação :D mas estou aprendendo um pouquinho mais com cada ajuda sua.

Com o problema da smps resolvido, hora de continuar a montagem.

Placa do amplificador potenciômetros e jack de entrada no lugar. Já deu para perceber o que usei como gabinete para a montagem :D


A nova placa da smps. O mosfet foi aparafusado na caixinha, sendo isolado eletricamente dela. Por erros (meus) de projeto, acabei precisando usar fios para ligar o mosfet à placa. Improvisei uma "arruela não condutora" para evitar contato entre a porca que prende o transformador e os componentes da placa.


Tudo colocado dentro da caixinha.


Visão traseira. Entrada de alimentação e saída para caixa.


O ampzinho de frente. Usei knobs mini chicken head. Acho eles feios :D só comprei porque achei um preço muito bom no aliexpress, mas achei que nesse amplificador eles ficaram legais. Transformador Schatz feito de acordo com as especificações passadas ao A.sim.


E claro que não poderia faltar uma foto das válvulas acesas.


Agradeço novamente à ajuda de todos. Assim que possível, posto outro sample de como ele ficou na montagem definitiva.

Que construção linda marcao_cfh! Inspirador!!!
Parabéns!

Parabéns, ficou show!
Tem até mais espaço sobrando que na minha montagem!

Agora falta só fazer um vídeo dele

Linda montagem marcao_cfh!! Aguardamos ansiosos samples!

Muito obrigado, pessoal!

Aqui está um vídeo que gravei, testando algumas regulagens. O potenciômetro da esquerda é o de ganho, e o da direita é o de volume. Não reparem no guitarrista ruim e nem no falante velho que usei :D por incrível que pareça, essa caixinha dá um timbre muito bom.

marcao, parabéns pelo projeto e por todo o trabalho que você teve para construir o Superfly.
O som em si tá legalzinho, mas, magro, quase sem graves, como sempre ocorre quando se utiliza válvulas miniatura.

Eu tenho aqui um pedal Seymour Duncan Mayhem que utiliza 2 mini pentodos Philips de aplicação militar e o som, mesmo acionando o booster, é magrinho que só.
Mas isso, é uma característica inerente às válvulas miniatura, então, não tem como fugir.

Muito bom o som Marcão ! Surpreendente

O som em si tá legalzinho, mas, magro, quase sem graves, como sempre ocorre quando se utiliza válvulas miniatura.
... e o som, mesmo acionando o booster, é magrinho que só.
Mas isso, é uma característica inerente às válvulas miniatura, então, não tem como fugir.

A falta de graves que se nota não tem relação com o fato de as válvulas serem miniatura.

Ou válvulas miniatura não amplificam DC ?

Pode ser que algum acoplamento esteja com a frequência de corte meio elevada, já que o TS 750 responde a partir de 60 Hz, garantindo bons graves. Não encontrei o esquemático do amplificador, para conferir.

Acho que é mais a fonte que não aguenta a corrente necessária para reprodução de graves e embola, o que faz com que os circuitos ja sejam dimensionados com corte de graves.