Violation of TOS of HIT listing policy at Amazon Mechanical Turk?

This morning a friend of mine sent me a direct message on twitter commenting me that he had received an email warning him about violation of terms; I asked him to forward me the email and... surprise: I also had  the same email in the inbox.

This is the message I have received:

Greetings from Amazon Mechanical Turk,
Your Human Intelligence Tasks "Install and register with dropbox" have been removed from the Amazon Mechanical Turk marketplace because they violated the terms of our HIT listing policy. The removal could be due to many reasons, including but not limited to:* requiring disclosure of the Worker's identity or e-mail address, either directly or indirectly* requiring registration at another website or group* asking Workers to post an advertisement, review or comment on a website* directly or indirectly promoting a site, service, or opinion or engaging in unsolicited contacting of users* requiring a Worker to download or install an application* violating the terms and conditions of an activity or website (for instance asking Workers to vote or like something)* having explicit or offensive content, for instance nudity, without having the Adult Content Qualification* asking Workers to solicit third parties* generating "referred" site visits or click-through traffic* asking workers to take action to manipulate a search engine's relationship data* violating copyrights* disrupting or degrading the operation of any website or internet service* creating a security risk for Mechanical Turk, any Mechanical Turk user, or any third party
You can find more information on our terms of service here:https://requester.mturk.com/mturk/help?helpPage=policies
You can also learn more about invalid HITs by reading this blog post on the Mechanical Turk blog:http://mechanicalturk.typepad.com/blog/2010/12/some-thoughts-on-invalid-hits-.html
If you continue to post Human Intelligence Tasks that violate the terms of our HIT listing policy, your account will be suspended.
Sincerely,Amazon Mechanical Turkhttp://requester.mturk.com/410 Terry Avenue NorthSEATTLE, WA 98109-5210 USA

Wow, so I can get banned for doing so. But, I read carefully the blog entry they recommend and, here is an example of what can be done in order to publish a HIT that do not break the TOS:

0987654321a
You are not removing them fast enough after being for example this hit posted this Monday by Kermit Welda to create HotMail accounts.
https://www.mturk.com/mturk/pr...Register an e-mail address on Hotmail
1. Go to http://hotmail.com to complete the sign up form.
2. Click "Sign up" button.
3. Use evert.wunsch to fill the Hotmail address in the sign up form.
4. Click on the Check Availability button
5. If the desired login name is not available, select the first one suggested.
6. Write the resulting username here:
7. Use h2Guahjz4H to fill the Create a password and Retype password fields.
8. Click "Or choose a security question for password reset"
Somebody or a group of people is very active in doing that HIT. Already 100 of them gone in fifteen minutes. They should be warned not to do HITs that clearly breaks the TOS of Mturk. If we have dry up the pool of workers that are willing to do spam hits. The spammers will to move on. If people that are willing do them, you may have no choice to suspend their Mturk accounts.

amazonmturk
Hi -- This HIT is valid and complies with our guidelines. What was your specific concern?
spamgirl
"Some examples of invalid HITs include requests that:
* Require registration at another website or group
* Violate the terms and conditions of an activity or website (for instance asking Workers to vote for something)"
Paying people to register accounts is against the TOS of Hotmail, Twitter, Facebook, etc. etc. etc. How is that VALID?

amazonmturk
Hi Spamgirl -
For this specific HIT, they provide the credentials for registration, so there's no violation of the registration -- the intent of that rule is to prevent exposure of PII. Additionally, there's nothing in the TOS's of the sites you mention that prohibit this (Twitter even commented that this was "OK" in the TechCrunch article about similar HITs posted by Quora).
I get that you don't like these HITs, but they are valid. 

So, it is clear what you have to do: include, before my "Dropbox HIT" instructions for creating an email address. In this way, you'll be not breaking Amazon MTurk TOS.

Cómo aumentar tu espacio gratis de Dropbox con Amazon Mechanical Turk - por un costo mínimo

Si no conoces Dropbox, deberías estar usándolo ahora mismo. Es una pequeña pieza de software que permite sincronizar carpetas entre computadores usando Internet. Te da una capacidad inicial de 2 GB, más un incremento de 250 MB por cada amigo que lo instale con tu link especial. Descárgalo de aquí y ambos tendremos 250 MB ;)

Hay muchas formas de ganar espacio gratis en Dropbox (no se necesita pagar una cantidad mensual o anual para ocupar el espacio) como usar Google AdWords o esta guía - o recomendarlo a sus amigos. Pero... ¿qué tal si no queremos usar AdWords, y no tenemos amigos a quienes recomendarlo?

 Reciente gané 2 GB adicionales usando Amazon Mechanical Turk. Cada 250 MB me costó U$ 0.2, y los 2 GB fueron agregados a mi cuenta en cerca de 17 minutos. Muy rápido y barato, no? Un total de U$ 1.6 - ¡menos de dos dólares! El proceso es sencillo: crear una nueva cuenta con Amazon, y luego crear una nueva tarea en mturk que incluya TU link de referido.

 PASOS

1. Si no tienes, crea una nueva cuenta con Amazon.

2. Dirígete al sitio web de mturk y regístrate como requester.

3. Agrega algo de crédito a tu cuenta. Ve a Prepay MTURK HIT (Human Intelligence Task, Tareas para Inteligencia Humana). 

4. Ve al Tab de diseño.

5. Selecciona cualquier plantilla, ya que la vamos a cambiar de todas formas (por ejemplo, Basic Open-Ended Question).

6. Configura la nueva plantilla de HIT. Lee todas las explicaciones y llena los campos de acuerdo a eso. Esto es lo que yo escribí: 

Sección "Describe your HIT"

Title: Install and register with dropbox

Description: Install and register with dropbox

Keywords: software, installation, windows, linux, mac

Sección "Working on your HIT"

Time allotted per assignment: 1 Hours

HIT expires in: 7 Days

Mechanical Turk Masters: Do not require that workers be Masters to do your HITs

Aditional qualifications: Borré todo. Queremos que todos intenten hacer nuestro HIT.

Require qualification for preview: No

Sección "Paying Workers"

Reward per assignment: $ 0.2

Number of assignments per HIT: (El número de gente que quieres que hagan tu HIT. Empieza con un número bajo, como 3)

Results are automatically approved in: 20 Days (Aquí queremos un número alto, porque necesitamos revisar que el trabajador hizo un buen trabajo)

7. Click en el botón amarillo "Design Layout".

8. En la barra de tareas, click en "Edit HTML Source". Selecciónalo todo y borralo. Luego copia y pega el código mostrado aquí http://pastebin.com/vjMz9Vq8 PERO CAMBIA ESTE TEXTO http://db.tt/G5gv7vw CON TU PROPIO LINK DE REFERIDO. Si no sabes cuál es tu link de referido, búscalo aquí una vez te hayas autenticado en el sitio de Dropbox. La página se verá así, pero con tu propio link de referido, por supuesto:

El trabajador tendrá que seguir los pasos y luego escribir el correo que utilizó para crear su nueva cuenta de Dropbox. Como recibes un email cada vez que recibes espacio adicional, sabrás quién hizo un buen trabajo y se merece tu dinero. 

9. Click  en el botón "Preview and Finish". Luego haz click en el botón "Finish".

10. Publiquemos ahora el HIT. Ve a la pestaña "Publish" y selecciona la tarea que acabas de crear. En mi caso, se llama: Dropbox. Mostrará una vista preliminar, click en el botón "Next" y revisa las propiedades de tu batch, incluyendo cuánto te costará. Ahora haz clic en "Publish Hit" y espera a que te llegue tu nuevo espacio :D

 

Ahora es tiempo de administrar tu HIT, y esperar para aprobar lo que los workers hicieron. Ve a la pestaña "Manage", luego haz click en "Batches in progress (1)" y espera hasta que la barra verde se llene (100%).

Luego haz click en el botón "Results" y mira una tabla que aparece con los email de tus trabajadores. Selecciona todas las filas en las cuales los email son iguales a las notificaciones de Dropbox que te llegaron al correo y haz click en el botón de Aprobación. Si aparecen email que no reconoces, seleccionalos y hazle clic al botón "Reject", y escribe una explicación como: "No siguió las instrucciones de la tarea". Por favor siempre paga por los HIT realizados correctamente.

¡Eso es todo! ¡Disfruta!

How to increase your Dropbox's free space with Amazon Mechanical Turk - for a minimal cost

UPDATE 2012/03/04: MTurk sent me an email warning me about violation of TOS. Please read the details here before creating and publishing the HIT I'm describing in this blog entry.


If you don't know Dropbox, you should be using it right now. It's a litte piece of software that lets you sync a folder between computers using Internet. It gives you an initial capacity of 2 GB, plus increases of 250 MB for each guy or gal who installs it with a special link. Download and install from here and both of us will get 250 MB ;)

There are a lot of ways of gaining space in Dropbox for free (you don't need to pay a monthly or yearly fee to use the space), like using Google AdWords or using this cheapskate guide - or recommending it to your friends. But what if we don't want to use AdWords, and we have no more friends to recommend it?

I've recently gained aditional 2 GB using Amazon Mechanical Turk. Each 250 MB cost U$ 0.2, and all 2 GB was added to my account in about 17 minutes. Pretty fast and cheap, right? A total of U$ 1.6 - less than two bucks! The process is simple: create a new account with Amazon, then create a new task in mturk that includes YOUR referral link.

STEPS

1. If you don't have it, create an account with Amazon.

2. Go to mturk website and sign in as requester.

3. Add some credit to your account. Go to Prepay MTURK HIT (Human Intelligence Task). 

4. Go to Design tab.

5. Select any template you wish, we are gonna change it anyway (for example, Basic Open-Ended Question).

6. Set up the new HIT template. Read all explanations and fill the fields acording to that. This is what I typed:

"Describe your HIT" Section

Title: Install and register with dropbox

Description: Install and register with dropbox

Keywords: software, installation, windows, linux, mac

"Working on your HIT" Section

Time allotted per assignment: 1 Hours

HIT expires in: 7 Days

Mechanical Turk Masters: Do not require that workers be Masters to do your HITs

Aditional qualifications: I cleared everything. We need everyone try to do this HIT.

Require qualification for preview: No

"Paying Workers" Section

Reward per assignment: $ 0.2

Number of assignments per HIT: (The number of people you wish to do this HIT. Start with a low number, like 3)

Results are automatically approved in: 20 Days (Here we want a high number, because we need to check that the worker did a good job)

7. Click on "Design Layout" yellow button.

8. On the toolbar, click on "Edit HTML Source". Select all and delete it. Then copy and paste the code shown here http://pastebin.com/vjMz9Vq8 BUT change this text http://db.tt/G5gv7vw with your own referral link. If you don't know your referral link, look for it here once you've sign in in dropbox website. The page will look like this, but with your own referral link, of course:

click to zoom in

The worker have to follow the steps and then write the email she used to create his new dropbox account. Because when you receive additional space dropbox send you an email, you'll know who did a good job and who wants only your money.

9. Click on "Preview and Finish" button. Then click on "Finish" button.

10. Now let's publish the HIT. Go to "Publish" tab and select the task you've just created. In my case, it is called: Dropbox. It will show a preview, click on "Next" button and review your batch properties, including what will cost you. Click on "Publish Hit" and wait for new space to arrive :D

click to zoom in

Now is time to manage your hit, and wait to approve what your workers did. Go to "Manage" tab, then click on "Batches in progress (1)" and wait until the green bar fills (100%).

click to zoom in

Then click on Results button, and you'll see a table listing your Workers emails. Check the rows whose emails are equal at your dropbox notifications email and then click the approve button. If there is emails that you don't recognize, just check again the rows and click on "reject" button, and write an explanation like: "you did not followed the instructions of the task." Please Always pay for the correctly done HITs.

That's it! Enjoy!

Amazon Mechanical Turk

La semana antepasada me estrené en Mechanical Turk (MTurk), un servicio en beta ofrecido por Amazon para dos cosas: publicar tareas para que seres humanos las completen, o ganar dinero haciendo tareas que otros publican.

Para efectos del servicio, MTurk maneja los siguientes términos:

• HIT, Human Intelligence Task, es una tarea que requiere de la inteligencia de un ser humano para ser completada. La tarea puede ser: clasificar imágenes, transcripción de texto desde imágenes o audio, contestar encuestas o escribir textos
• Worker, trabajador, la persona que escoje y desarrolla un HIT. De esto hablaré más adelante.
• Requester, solicitante, es quien crea los HIT y pide a los Worker que desarrollen el trabajo.

El servicio es interesante, pues hay muchas tareas monótonas o que requieren que seres humanos las resuelvan, y si uno no se tiene a un androide, un humanoide esclavo o un pasante, es necesario contratar de alguna manera a alguien para que haga el trabajo sucio. ¿Y qué mejor que utilizar internet para ello?

Worker

Para efectos de conocer el servicio, me apunté primero como Worker para conocer la dinámica del sitio. Básicamente uno entra allí y encuentra una lista de tareas de diferentes tipos, como como las que mencioné arriba en la parte de los HIT. Algunos HIT requieren que uno pase pruebas de calificación (por ejemplo, probar de que uno conoce el idioma en el que está formulada la encuesta, o que conoce de un tema específico, como Computer Science) antes de que estos se desbloqueen. En términos generales, se encuentra un portal en el cual se pueden buscar HIT con diferentes criterios, como mostrar únicamente HIT a los que uno esté calificado (sea porque se ha pasado el examen de calificación, o porque uno se encuentra en una zona geográfica permitida por el HIT), la recompensa (Reward) u otros criterios como palabras clave.

Vista general del buscador de HIT con perfil Worker

Las tareas que desarrollé como Worker fueron: un par de encuestas, y una tarea donde debía leer imágenes muy mal digitalizadas y escribir el texto que allí aparecía. Una vez completado el HIT, puede que se aprueben automáticamente los pagos o pueda que se requiera que el Requester verifique que uno ha hecho bien la tarea... porque hay muchos Workers deshonestos. Dediqué media tarde a desarrollar y observar cómo funcionaba el sistema, y desde la perspectiva de Worker es muy fácil encontrar tareas sencillas y con una remuneración aceptable, aunque hay muchas tareas con recompensas exageradas (U$20) que suena a que nunca serán pagadas o que buscan robar datos de las personas para suplantación de identidad (mucho cuidado allí); también hay recompensas ridículamente bajas (U$0.01) que no valen la pena.

Vista del Dashboard

Para el Worker existe una vista llamada Dashboard, en la cual se pueden visualizar las recompensas alcanzadas tras el desarrollo de HIT. En una tarde gané casi U$ 2, una cantidad ridícula para el tiempo invertido.

Para el sistema de pagos a los Worker MTurk tiene disponible la transferencia al balance de tarjetas de regalo de Amazon.com.

Requester


El perfil tras el cual estaba y que realmente me interesaba de MTurk es el de Requester, para conseguir los datos de unas encuestas que necesitaba.

El perfil de Requester arranca mostrando un menú superior con las tareas que se pueden hacer con él: Diseñar, Publicar, Administrar, Desarrollar. Exploré todos los ítem menos el último, que ofrece opciones avanzadas como un API para desarrollar aplicaciones y operar desde línea de comandos.

¿Qué trabajo queremos que el worker haga?

En la sección de Diseño se ofrecen muchas plantillas de acuerdo al tipo de HIT que queremos que el Worker desarrolle: categorización, investigación, escritura, encuesta, etiquetamiento, moderación, transcripción, traducción y otros. Dado que lo mío era una encuesta, arranqué con esa plantilla y de ahí organicé lo que necesitaba preguntar a los Workers.

Una vez escogida la plantilla, hay tres pasos que se deben seguir para guardarla:

1. Definir las propiedades del HIT. Entre ellas el nombre, la descripción, el tiempo que tiene disponible un worker para desarrollarlo, las calificaciones requeridas para que el Worker pueda hacer el HIT, el tiempo de expiración, el tiempo que se auto-aprueba el HIT desarrollado por un worker, el número de workers diferentes que pueden desarrollar el HIT y la recompensa que se va a otorgar a cada Worker una vez lo desarrolle.
2. Diseñar el HIT. Allí se muestra la vista normal de la forma, pero resulta indispensable conocer de código HTML pues no ofrece herramientas WYSIWYG para formularios.
3. Ver el HIT diseñado y guardarlo.

En la sección de Publicación se escoge la plantilla personalizada (o cualquier otra, si se acomoda a lo que queremos resolver) y la publicamos. MTurk ofrece un resumen de los costos, incluyendo la comisión que el sitio cobra (10% de la recompensa, con un mínimo de U$0.005 por tarea), antes de la publicación. Es importante tener en cuenta que se debe tener saldo en la cuenta para poder publicar un HIT.

Una vez los Workers empiecen a trabajar, en la sección de Administración se puede visualizar el avance en los resultados en tiempo real. Se pueden ver los resultados y aprobar desde la interfaz web, o descargando un archivo CSV y llenando unas columnas especiales según las instrucciones que en el sitio brindar. Vale la pena recordar que los HIT que no sean marcados como rechazados son automáticamente aprobados y generarán cargos a nuestra cuenta.

Un batch de HIT en curso.

Manejando workers deshonestos

En internet pulula gente que está detrás del dinero fácil, y MTurk no es una excepción. Por ello como Requester es importante:

1. Dejar muy claro los objetivos que queremos que el Worker desarrolle en el HIT.
2. Crear preguntas de verificación que permitan conocer si el Worker leyó y desarrolló correctamente el HIT.

Respecto al segundo punto es clave dejar al menos una pregunta abierta de validación. En mi caso particular, mi HIT era en español, luego esperaba que mucha gente no fuera hispano-hablante intentara contestar mi encuesta. Por ello puse de forma intencional el campo que preguntaba la edad como texto, y muchos dejaban el espacio en blanco, llenaban palabras o letras aleatorias (lo estaban haciendo al azar). También coloqué un "código" dentro de la encuesta para que al final el encuestado lo colocara en una casilla de verificación - al menos así uno se asegura que el Worker al menos leyó las instrucciones.

Para finalizar, si usted va a usar MTurk para objetivos académicos, recomiendo leer Running experiments on Amazon Mechanical Turk (PDF) pues toca varios aspectos del servicio desde ese punto de vista.

¡Buena suerte utilizando MTurk!