Estou lendo o novo livro organizado por Jessica Cohen e William Easterly - What works in development: thinking big and thinking small. Recomendo. Cada capítulo mereceria um tratamento detalhado aqui, desde a teoria de oferta de educação pública de Lant Prichett, que acusa os resultados provenientes de randomized evaluations de 'policy irrelevant', até os comentários de David Weil e Paul Romer ao capítulo de Kremer e Holla acerca da estranha convicção dos economistas sobre sua capacidade de governar melhor que os policy makers.
Meu comentário hoje é mais geral, sobre o debate levantado por Dani Rodrik no que diz respeito à suposta superioridade das evidências provenientes de randomized evaluations vis a vis aquelas advindas de regressões que utilizam dados não-experimentais.
O fundamento desse argumento é que experimentos desenhados de maneira a garantir a adoção aleatória de um programa (ou ao menos afetar positivamente a probabilidade de adoção, de maneira a garantir a identificação de um efeito local - a partir da resposta dos ditos 'compliers') não sofrem do problema de validade interna, isto é, de identificação causal do efeito de interesse - ausência de 'counfounding effects' -, que são pervasivos em análises econométricas que utilizam dados não-experimentais.
Tomemos um exemplo: podemos estar interessados em qual a melhor maneira de prover um bem semi-público cujo consumo desejamos maximizar (digamos, porque seu consumo gera externalidades positivas; exemplos são insumos ligados a educação ou saúde) - de forma gratuita ou a um preço positivo (ou ainda, a um preço negativo, de forma subsidiada)? Não é claro ex-ante qual seria a melhor forma de fazê-lo porque (1) de um lado, em não se tratando de bens de Giffen, sua quantidade demandada deveria diminuir com o preço, mas (2) de outro lado, é possível que preço positivo ajude a selecionar os usuários que mais precisam desse bem ou que possuem maior retorno no seu uso, evitando que o bem seja utilizado para outros fins (e.g.: redes anti-mosquito para prevença de malária utilizadas para pesca) e ainda, há alguma evidência de 'sunk-cost fallacy', isto é, de que os indivíduos valorizam mais bens pelos quais despendem recursos, o que poderia aumentar sua utilização.
Há várias maneiras de tentar responder à pergunta de interesse, mas vamos nos restringir a duas delas. Primeiro, regredir as taxas de utilização desse bem em vários países e em vários pontos no tempo incluindo como regressores seu preço médio além de vários controles que podem estar correlacionados com o preço e com a demanda pelo bem em questão. Esse tipo de evidência em geral encontra dificuldade em convencer o leitor treinado de que identifica um efeito causal: todos os regressores relevantes foram incluídos? A quantidade demandada também não afeta preço? A especificação estimada é a verdadeira, ou suficentemente flexível? Em termos gerais, o pesquisador gostaria de explorar uma variação exógena no preço a que esse bem é ofertado de modo a estimar seu efeito causal sobre a quantidade demandada. A dificuldade em convencer a audiência sobre a validade do instrumento é, no entanto, um desafio enorme e, em última instância, uma questão de retórica.
Alternativamente, suponha que seja possível desenhar um experimento que determinasse que o bem fosse ofertado a preços distintos (incluindo zero), randomizado no nível individual, de modo que seja possível eliminar a preocupação com 'counfounding effects'. O pesquisador pode argumentar com mais segurança que identifica um efeito causal de preço sobre quantidade. Mas como garantir que esse resultado não é específico daquele desenho de experimento, daquela região, daquele momento no tempo? Esse é o problema de validade externa, isto é, de generalização dos resultados experimentais para outros contextos.
O ponto interessante do argumento de Rodrik é que o discurso dos pesquisadores para convencer sua audiência de que os efeitos identificados não se restringem às especificidades do contexto do experimento em análise não é menos questão de retórica do que a justificativa da validade do instrumento no caso de regressões que utilizam dados não-experimentais.
Poderia discutir muitas ressalvas feitas a este ponto. Por exemplo, Sendhil Mullanaithan argumenta que não é menos difícil generalizar de maneira top-down do que de maneira bottom-up; em outras palavras, o primeiro método também sofre do problema de validade externa. De todo modo, acredito que seja um balde de água fria na visão de que randomized evaluations sejam o novo 'padrão ouro' da caixa de ferramentas dos economistas.
Não há posição privilegiada de nenhum método para alcançar uma suposta verdade, tudo em última instância é uma questão de discurso. Uma outra dimensão é aquela de 'policy relevance,' à qual retorno no próximo post.
Meu comentário hoje é mais geral, sobre o debate levantado por Dani Rodrik no que diz respeito à suposta superioridade das evidências provenientes de randomized evaluations vis a vis aquelas advindas de regressões que utilizam dados não-experimentais.
O fundamento desse argumento é que experimentos desenhados de maneira a garantir a adoção aleatória de um programa (ou ao menos afetar positivamente a probabilidade de adoção, de maneira a garantir a identificação de um efeito local - a partir da resposta dos ditos 'compliers') não sofrem do problema de validade interna, isto é, de identificação causal do efeito de interesse - ausência de 'counfounding effects' -, que são pervasivos em análises econométricas que utilizam dados não-experimentais.
Tomemos um exemplo: podemos estar interessados em qual a melhor maneira de prover um bem semi-público cujo consumo desejamos maximizar (digamos, porque seu consumo gera externalidades positivas; exemplos são insumos ligados a educação ou saúde) - de forma gratuita ou a um preço positivo (ou ainda, a um preço negativo, de forma subsidiada)? Não é claro ex-ante qual seria a melhor forma de fazê-lo porque (1) de um lado, em não se tratando de bens de Giffen, sua quantidade demandada deveria diminuir com o preço, mas (2) de outro lado, é possível que preço positivo ajude a selecionar os usuários que mais precisam desse bem ou que possuem maior retorno no seu uso, evitando que o bem seja utilizado para outros fins (e.g.: redes anti-mosquito para prevença de malária utilizadas para pesca) e ainda, há alguma evidência de 'sunk-cost fallacy', isto é, de que os indivíduos valorizam mais bens pelos quais despendem recursos, o que poderia aumentar sua utilização.
Há várias maneiras de tentar responder à pergunta de interesse, mas vamos nos restringir a duas delas. Primeiro, regredir as taxas de utilização desse bem em vários países e em vários pontos no tempo incluindo como regressores seu preço médio além de vários controles que podem estar correlacionados com o preço e com a demanda pelo bem em questão. Esse tipo de evidência em geral encontra dificuldade em convencer o leitor treinado de que identifica um efeito causal: todos os regressores relevantes foram incluídos? A quantidade demandada também não afeta preço? A especificação estimada é a verdadeira, ou suficentemente flexível? Em termos gerais, o pesquisador gostaria de explorar uma variação exógena no preço a que esse bem é ofertado de modo a estimar seu efeito causal sobre a quantidade demandada. A dificuldade em convencer a audiência sobre a validade do instrumento é, no entanto, um desafio enorme e, em última instância, uma questão de retórica.
Alternativamente, suponha que seja possível desenhar um experimento que determinasse que o bem fosse ofertado a preços distintos (incluindo zero), randomizado no nível individual, de modo que seja possível eliminar a preocupação com 'counfounding effects'. O pesquisador pode argumentar com mais segurança que identifica um efeito causal de preço sobre quantidade. Mas como garantir que esse resultado não é específico daquele desenho de experimento, daquela região, daquele momento no tempo? Esse é o problema de validade externa, isto é, de generalização dos resultados experimentais para outros contextos.
O ponto interessante do argumento de Rodrik é que o discurso dos pesquisadores para convencer sua audiência de que os efeitos identificados não se restringem às especificidades do contexto do experimento em análise não é menos questão de retórica do que a justificativa da validade do instrumento no caso de regressões que utilizam dados não-experimentais.
Poderia discutir muitas ressalvas feitas a este ponto. Por exemplo, Sendhil Mullanaithan argumenta que não é menos difícil generalizar de maneira top-down do que de maneira bottom-up; em outras palavras, o primeiro método também sofre do problema de validade externa. De todo modo, acredito que seja um balde de água fria na visão de que randomized evaluations sejam o novo 'padrão ouro' da caixa de ferramentas dos economistas.
Não há posição privilegiada de nenhum método para alcançar uma suposta verdade, tudo em última instância é uma questão de discurso. Uma outra dimensão é aquela de 'policy relevance,' à qual retorno no próximo post.
3 comentários:
Puta post...Parabéns
alto nível, baita dica de aquisição
Anderson Teixeira
Os randomized experiments ainda são a febre no campo de desenvolvimento econômico... Na minha opinião, uma modinha intelectual, pois não responde nenhuma das grandes questões do desenvolvimento. Mas o campo vai continuar a se expandir, porque eles conseguiram captar quaquilhões de recursos de pesquisa e como todos sabemos: money makes the world go round.
Money makes the world go round
Fear makes it turn much faster!
Postar um comentário