As operações no Tesouro Direto são eftuadas em múltiplos de 1% do preço unitário, dessa forma, basta calcular o valor mais próximo da quantia que você pretende investir, conforme já exemplificou o @Dieguito. No caso, como o preço do título é reajustado diariamente pela variação da taxa Selic, você terá que refazer o cálculo mensalmente. O ideal é comprar uma quantidade fixa do papel, e não um valor fixo, dessa forma, o seu aporte acompanhará a valorização do título
Não há esse tipo de limitação no Tesouro Direto. Você pode aportar quanto quiser, respeitando o teto de 1 milhão por mês.
A marcação a mercado no Tesouro Selic é praticamente irrelevante.