Uploaded image for project: 'Help-Desk'
  1. Help-Desk
  2. HELP-6087

FIWARE.Request.Tech.Data.BigData-Analysis.How do I increase my quota on Cosmos/HDFS - seems to be blocked from running hive queries

    Details

    • Type: extRequest
    • Status: Closed
    • Priority: Major
    • Resolution: Done
    • Fix Version/s: 2021
    • Component/s: FIWARE-TECH-HELP
    • Labels:
      None

      Description

      When trying to run a hive query, I receive the following,

      Caused by: org.apache.hadoop.ipc.RemoteException:
      org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: The DiskSpace
      quota of /user/ms is exceeded: quota=5368709120 diskspace consumed=5.7g

      although looking at my HDFS usage, where I have only one file, I see the
      file size is only about ~ 2G

      [ms@cosmosmaster-gi ~]$ hadoop fs -ls
      /user/ms/def_serv/def_servpath/all_ongoingtraffic
      Found 1 items
      rw-rr- 3 ms ms 2028349191 2016-03-02 15:14
      /user/ms/def_serv/def_servpath/all_ongoingtraffic/all_ongoingtraffic.txt

      Thanks!

      Menachem Shtalhaim

      menachem.shtalhaim@n-join.com <elkana@n-join.com> | +972-5
      <%2B972-527-213941>47241959 | www.n-join.com

      n-Join – Maximizing industrial potential

      Since January 1st, old domains won't be supported and messages sent to any domain different to @lists.fiware.org will be lost.
      Please, send your messages using the new domain (Fiware-incense-coaching@lists.fiware.org) instead of the old one.
      _______________________________________________
      Fiware-incense-coaching mailing list
      Fiware-incense-coaching@lists.fiware.org
      https://lists.fiware.org/listinfo/fiware-incense-coaching
      [Created via e-mail received from: Menachem Shtalhaim <menachem.shtalhaim@n-join.com>]

        Issue Links

          Activity

          Hide
          pandriani Pasquale Andriani added a comment -

          Hi Francisco, could you check this please?
          Thanks in advance,
          P.

          Show
          pandriani Pasquale Andriani added a comment - Hi Francisco, could you check this please? Thanks in advance, P.
          Hide
          fw.ext.user FW External User added a comment -

          Hi,

          Every file consumes 3 times its size, because of the replication factor.
          Thus, by having a 2 GB file it is normal the quota limit has been reached.
          Please, tell me you Cosmos user name and I¹ll increase the quota up to 10
          GB.

          Regards,
          Francisco

          El 9/3/16 17:21, "Pasquale Andriani (JIRA)" <jira-help-desk@fi-ware.org>

          ________________________________

          Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.

          The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.

          Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
          Since January 1st, old domains won't be supported and messages sent to any domain different to @lists.fiware.org will be lost.
          Please, send your messages using the new domain (Fiware-tech-help@lists.fiware.org) instead of the old one.
          _______________________________________________
          Fiware-tech-help mailing list
          Fiware-tech-help@lists.fiware.org
          https://lists.fiware.org/listinfo/fiware-tech-help

          Show
          fw.ext.user FW External User added a comment - Hi, Every file consumes 3 times its size, because of the replication factor. Thus, by having a 2 GB file it is normal the quota limit has been reached. Please, tell me you Cosmos user name and I¹ll increase the quota up to 10 GB. Regards, Francisco El 9/3/16 17:21, "Pasquale Andriani (JIRA)" <jira-help-desk@fi-ware.org> ________________________________ Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción. The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it. Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição Since January 1st, old domains won't be supported and messages sent to any domain different to @lists.fiware.org will be lost. Please, send your messages using the new domain (Fiware-tech-help@lists.fiware.org) instead of the old one. _______________________________________________ Fiware-tech-help mailing list Fiware-tech-help@lists.fiware.org https://lists.fiware.org/listinfo/fiware-tech-help
          Hide
          pandriani Pasquale Andriani added a comment -

          Hi Francisco,
          please use the JIRA EMAIL feature, otherwise you reply will never reach to user.

          Thanks in advance,
          P.

          Show
          pandriani Pasquale Andriani added a comment - Hi Francisco, please use the JIRA EMAIL feature, otherwise you reply will never reach to user. Thanks in advance, P.
          Hide
          fw.ext.user FW External User added a comment -

          Hi Pasquale,

          I always send a copy to the list and to the personal email of the user

          Regards,
          Francisco

          El 10/3/16 11:42, "Pasquale Andriani (JIRA)" <jira-help-desk@fi-ware.org>

          ________________________________

          Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción.

          The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it.

          Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição

          Show
          fw.ext.user FW External User added a comment - Hi Pasquale, I always send a copy to the list and to the personal email of the user Regards, Francisco El 10/3/16 11:42, "Pasquale Andriani (JIRA)" <jira-help-desk@fi-ware.org> ________________________________ Este mensaje y sus adjuntos se dirigen exclusivamente a su destinatario, puede contener información privilegiada o confidencial y es para uso exclusivo de la persona o entidad de destino. Si no es usted. el destinatario indicado, queda notificado de que la lectura, utilización, divulgación y/o copia sin autorización puede estar prohibida en virtud de la legislación vigente. Si ha recibido este mensaje por error, le rogamos que nos lo comunique inmediatamente por esta misma vía y proceda a su destrucción. The information contained in this transmission is privileged and confidential information intended only for the use of the individual or entity named above. If the reader of this message is not the intended recipient, you are hereby notified that any dissemination, distribution or copying of this communication is strictly prohibited. If you have received this transmission in error, do not read it. Please immediately reply to the sender that you have received this communication in error and then delete it. Esta mensagem e seus anexos se dirigem exclusivamente ao seu destinatário, pode conter informação privilegiada ou confidencial e é para uso exclusivo da pessoa ou entidade de destino. Se não é vossa senhoria o destinatário indicado, fica notificado de que a leitura, utilização, divulgação e/ou cópia sem autorização pode estar proibida em virtude da legislação vigente. Se recebeu esta mensagem por erro, rogamos-lhe que nos o comunique imediatamente por esta mesma via e proceda a sua destruição
          Hide
          pandriani Pasquale Andriani added a comment -

          Hi, I was looking at the EMAIL tab nothing appears... How can I check whether the personal email has been user?

          Apologise if I'm wrong,
          P.

          Show
          pandriani Pasquale Andriani added a comment - Hi, I was looking at the EMAIL tab nothing appears... How can I check whether the personal email has been user? Apologise if I'm wrong, P.
          Hide
          mev Manuel Escriche added a comment -

          Hi Pasquale,
          if Francisco does like that, you cannot check he's using the right email address.

          Hi Francisco
          Then, please, Francisco, I'd appreciate you'd use the email tool in JIRA.
          It gives us complete transparency.

          Thanks in advance!
          Manuel

          Show
          mev Manuel Escriche added a comment - Hi Pasquale, if Francisco does like that, you cannot check he's using the right email address. Hi Francisco Then, please, Francisco, I'd appreciate you'd use the email tool in JIRA. It gives us complete transparency. Thanks in advance! Manuel
          Hide
          pandriani Pasquale Andriani added a comment -

          Got it! Thank you both!

          Show
          pandriani Pasquale Andriani added a comment - Got it! Thank you both!

            People

            • Assignee:
              frb Francisco Romero
              Reporter:
              fw.ext.user FW External User
            • Votes:
              0 Vote for this issue
              Watchers:
              3 Start watching this issue

              Dates

              • Created:
                Updated:
                Resolved: